scrapy-redis 能分布式post请求吗?

Question

scrapy-redis 能分布式post请求吗

Answer 1

scrapy 通用爬虫框架其功能比较完善帮迅速写简单爬虫并且跑起scrapy-redis更便实现scrapy布式爬取提供些redis基础组件（注意scrapy-redis些组件完整框架）认scrapy工厂能够产要spiderscrapy-redis其厂商帮助scrapy工厂更实现某些功能制造些设备用于替换scrapy工厂原设备 所要想跑布式先让scrapy工厂搭建起再用scrapy-redis设备更换scrapy某些设备 些scrapy-redis组件突特点呢使用redis数据库替换scrapy原本使用队列结构（deque）换数据结构相应操作都要换啦所与队列相关些组件