猿问

crawlspider中deny的设置无效?

在Rule中设置了deny,但是并未生效:

代码如下:

'123123':(        Rule(LinkExtractor(allow='\d+-\d+-\d+/.*?-.*?.shtml', deny=('http://search.******.com.cn/.*?')),
         callback='parse_item', follow=True),        Rule(LinkExtractor(allow='a[href^="http"]',deny_domains=('http://auto.******.com.cn')), follow=True)
        )

运行的时候还是有debug是禁止的链接

holdtom
浏览 522回答 1
1回答
随时随地看视频慕课网APP

相关分类

Python
我要回答