使用scrapy-redis进行分布式爬虫时,发现用2台电脑爬取数据时,一台能爬而另一台不能爬

使用scrapy-redis进行分布式爬虫时,发现用2台电脑爬取数据时,一台能爬而另一台不能爬。如果只使用单独一台都可以爬,但同时一起爬就只能有一台可以爬取,另外一台不能爬取,不能爬取是报错如下:

https://img.mukewang.com/5b9b1acf0001aea808880069.jpg

猛跑小猪
浏览 1090回答 1
1回答
打开App,查看更多内容
随时随地看视频慕课网APP

相关分类

Python