当没有足够的资源可用时,scrapy 如何表现

我正在使用命令行运行多个刮刀,这是一个自动化过程。

Python:2.7.12
Scrapy:1.4.0
操作系统:Ubuntu 16.04.4 LTS

我想知道scrapy如何处理这种情况

  1. 没有足够的内存/cpu 带宽来启动刮刀。

  2. 在爬虫运行期间没有足够的内存/cpu 带宽。

我已经浏览了文档,但找不到任何东西。

任何回答这个问题的人,你都不必知道正确的答案,如果你能指出我知道的任何资源的大致方向,这会有所帮助,那也将不胜感激


12345678_0001
浏览 93回答 1
1回答
打开App,查看更多内容
随时随地看视频慕课网APP

相关分类

Python