scrapy Rule如何解析json格式的链接?

rules = {    'sina':(
        Rule(LinkExtractor(allow='/\d+-\d+-\d+\/.*?-.*?.shtml', deny=('http://search.sina.com.cn/.*?')),
             callback='parse_item', follow=True),
        )
}

如上,目的是从目标页面解析出符合条件的链接
目标页面示例:https://feed.sina.com.cn/api/roll/get?pageid=121&lid=1356&num=20&versionNumber=1.2.4&page=1&encode=utf-8&callback=feedCardJsonpCallback&_=1545017197742
试了很多正则的方法,都匹配不出来"urls":"[\"https:\\\/\\\/news.sina.com.cn\\\/o\\\/2018-12-18\\\/doc-ihqhqcir7816653.shtml\"]"这里面的链接,正则表达式测试过没问题,但是在scrapy 的Rule里就不行


手掌心
浏览 566回答 1
1回答
打开App,查看更多内容
随时随地看视频慕课网APP

相关分类

Python