有个爬虫运行后许久,用 listjobs.json 找不到查询进程,因为_set_start_urls队列要加入很多url地址,scrapyd 用twisted来管理子进程,把scrapy当子进程创建 ,并和它通信,twisted机制我还不怎么了解 ,大概过程是scrapy在set_start_urls 过程中使用了个循环,没有发出信号自然scrapyd收不到已经运行的信号,在循环的时候调用print 打印一下结果就能解决问题。
喜欢 (0) 打赏 分享
感谢您的支持,我会继续努力的!
打开支付宝扫一扫,即可进行扫码打赏哦
superadmin
评论专区