scrapyd listjobs 查询为空
1990 人阅读 | 时间:2018年12月27日 10:09
有个爬虫运行后许久,用 listjobs.json 找不到查询进程,因为_set_start_urls队列要加入很多url地址,scrapyd 用twisted来管理子进程,把scrapy当子进程创建 ,并和它通信,twisted机制我还不怎么了解 ,大概过程是scrapy在set_start_urls 过程中使用了个循环,没有发出信号自然scrapyd收不到已经运行的信号,在循环的时候调用print 打印一下结果就能解决问题。
©著作权归作者所有:来自ZhiKuGroup博客作者没文化的原创作品,如需转载,请注明出处,否则将追究法律责任
来源:ZhiKuGroup博客,欢迎分享。
评论专区
好东西,赞一个!http://www.jinpaibeer.cn/tags-1025.html