如何让python编写的爬虫实时运行？

Question

问题如标题所说，用scrapy框架写了几个爬虫，由于一些原因，需要实时或者说是隔几十秒左右跑一遍，查了一下好像 time.stop（）能实现，但是我这边加了之后没效果。请求支援

Answer 1

可以用quartz来调度scrapy

Answer 2

scrapy当队列里面没有任务的时候就会退出。所以你这样就可以 用crontab计划任务一下