二维码

scrapyd listjobs 查询为空

1994 人阅读 | 时间:2018年12月27日 10:09

有个爬虫运行后许久,用 listjobs.json 找不到查询进程,因为_set_start_urls队列要加入很多url地址,scrapyd 用twisted来管理子进程,把scrapy当子进程创建 ,并和它通信,twisted机制我还不怎么了解 ,大概过程是scrapy在set_start_urls 过程中使用了个循环,没有发出信号自然scrapyd收不到已经运行的信号,在循环的时候调用print 打印一下结果就能解决问题。

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,你说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

©著作权归作者所有:来自ZhiKuGroup博客作者没文化的原创作品,如需转载,请注明出处,否则将追究法律责任 来源:ZhiKuGroup博客,欢迎分享。

评论专区
  • 昵 称必填
  • 邮 箱选填
  • 网 址选填
◎已有 0 人评论
搜索
作者介绍
30天热门
×
×
关闭广告
关闭广告
本站会员尊享VIP特权,现在就加入我们吧!登录注册×
»
会员登录
新用户注册
×
会员注册
已有账号登录
×