用scrapy 爬取的文本信息,sdk方法会报错
157******05 发布于2019-09-23 浏览:1324 回复:6
0
收藏

[0.210215, 0.789785]
2019-09-23 09:37:44 [scrapy.core.scraper] ERROR: Error processing {'content': 'news.china.com/socialgd/100001...-快照-中华网新闻频道', 'ranking': 5}
Traceback (most recent call last):
File "d:\douban\venv\lib\site-packages\twisted\internet\defer.py", line 654, in _runCallbacks
current.result = callback(current.result, *args, **kw)
File "D:\pachong\sanliu\sanliu\pipelines.py", line 71, in process_item
negative_prob = a['items'][0]['negative_prob']
KeyError: 'items'

收藏
点赞
0
个赞
共6条回复 最后由阿拉灯水瓶回复于2021-08-16
#7阿拉灯水瓶回复于2021-08-16

楼主解决了吗

 

0
#6Bestyangliyan回复于2019-11-02

您看看是不是并行调用超出您的qps限制了,比如最初您qps只有2,那您多个窗口每秒去调用肯定会超出限制,可以考虑增加购买,当然是确定是这个问题之后哈。

0
#5157******05回复于2019-10-25

我用多个窗口去访问爬虫接口就会出现问题

 

0
#4157******05回复于2019-10-25

0
#3157******05回复于2019-10-25

没有呀。有呀。qps限制了。

 

0
#2lxm4561518回复于2019-10-16

  你这个是不是没有包含 这个 “items” 字段?

0
TOP
切换版块