使用起始网址在分页链接中刮擦不起作用

我试图刮掉一个带有分页链接的网站,所以我这样做了


import scrapy


class SummymartSpider(scrapy.Spider):

    name = 'dummymart'

    allowed_domains = ['www.dummrmart.com/product']

    start_urls = ['https://www.dummymart.net/product/auto-parts--118?page%s'% page for page in range(1,20)]

有效!!与单个网址,它的工作原理,但当我尝试做到这一点:


  import scrapy

    class DummymartSpider(scrapy.Spider):

        name = 'dummymart'

        allowed_domains = ['www.dummymart.com/product']

        start_urls = ['https://www.dummymart.net/product/auto-parts--118?page%s',

        'https://www.dummymart.net/product/accessories-tools--112?id=1316264860?page%s'% page for page in range(1,20)]

它不起作用,但是对于多个URL,我如何实现相同的逻辑?谢谢


开满天机
浏览 150回答 1
1回答
打开App,查看更多内容
随时随地看视频慕课网APP

相关分类

Python