我正在使用命令行运行多个刮刀,这是一个自动化过程。
Python:2.7.12Scrapy:1.4.0操作系统:Ubuntu 16.04.4 LTS
我想知道scrapy如何处理这种情况
没有足够的内存/cpu 带宽来启动刮刀。
在爬虫运行期间没有足够的内存/cpu 带宽。
我已经浏览了文档,但找不到任何东西。
任何回答这个问题的人,你都不必知道正确的答案,如果你能指出我知道的任何资源的大致方向,这会有所帮助,那也将不胜感激
相关分类