scrapy-redis 采集失败如何将url移出DupeFilter

问题:采集页面时由于网络原因可能返回为空内容,但这条采集记录被记录在redis的DupeFilter中,导致不能二次采集。
请问:在spider 的编写过程中如何将采集失败的url手动移出redis的xx:DupeFilter。

慕桂英4014372
浏览 651回答 1
1回答
打开App,查看更多内容
随时随地看视频慕课网APP

相关分类

Python