用scrapy 爬取的文本信息，sdk方法会报错
0
收藏
[0.210215, 0.789785]
2019-09-23 09:37:44 [scrapy.core.scraper] ERROR: Error processing {'content': 'news.china.com/socialgd/100001...-快照-中华网新闻频道', 'ranking': 5}
Traceback (most recent call last):
File "d:\douban\venv\lib\site-packages\twisted\internet\defer.py", line 654, in _runCallbacks
current.result = callback(current.result, *args, **kw)
File "D:\pachong\sanliu\sanliu\pipelines.py", line 71, in process_item
negative_prob = a['items'][0]['negative_prob']
KeyError: 'items'
收藏
点赞
0
个赞
请登录后评论
TOP
切换版块
楼主解决了吗
您看看是不是并行调用超出您的qps限制了，比如最初您qps只有2，那您多个窗口每秒去调用肯定会超出限制，可以考虑增加购买，当然是确定是这个问题之后哈。
我用多个窗口去访问爬虫接口就会出现问题
没有呀。有呀。qps限制了。
你这个是不是没有包含 这个 “items” 字段？