在 parse() 方法中为每个 start_url 传递附加信息

Question

我正在编写一个爬虫蜘蛛，我想在其中parse()为每个start_url.

我已经从列表中创建了一个映射，start_urls并且additional_data我在方法中使用了该映射。

class ExampleSpider(scrapy.Spider):

    name = 'example'

    allowed_domains = ['alldomain.com']

    start_urls = ['http://a.com/', 'http://b.com/', 'http://c.com/']

    additional_data = [x,y,z]

    dict_map = dict(zip(start_urls, additional_data))

    def parse(self, response):

        url_first_additional_data = dict_map[response.url]

        # do other processing

有没有其他更好的方法来做同样的事情，我不确定 response.url 是否也会有请求 url，如果我有大量的附加数据，地图会占用大量内存吗？

Answer 1

如果您想将其他参数传递给解析函数，您可以通过覆盖默认的启动请求方法来实现。start_urls如果您想使用方法，您应该将您的 init 方法重命名为其他名称start_requests，因为我将其重命名为 starting_urlsdef start_requests(self):    for url in self.starting_urls:        yield Request(            url,            cb_kwargs={'additional_argument': dict_map[url]}        )def parse(self, response, additional_argument):    # Here you can use that additional_argument    pass同样为了在解析中获取 url，Response 对象中也有原始请求对象。所以你可以通过response.request.urldef parse(self, response):    additional_argument = self.dict_map[response.request.url]请注意，我将starting_url 重命名为start_urls