如果管道中的条件为 True ，如何在蜘蛛中增加计数器？[SCRAPY-Python]

Question

我正在抓取物品并在网址中使用邮政编码（cp）

def parse(self, response):

    liste = ['09', '81']

    for counter in range(len(liste)):

        cp = liste[counter]

        for i in range(0, 2):

            user_agent = random.choices(user_agent_list)

            headers = {

                'User-Agent': str(user_agent),

                "Connection": "close",

            }

         next_pagination_link ='https://www.seloger.com/list.htm?projects=2&types=1,2&places=[{cp:' + 

                               str(cp) + '}]&sort=d_dt_crea&enterprise=0&qsVersion=1.0&LISTING- 

                               LISTpg=' + str(i) + ''

在 pipilines.py 中，我在 process_item 方法中使用此脚本来删除 sql 数据库中的现有项目：

    if record is None:

        print('storing item')

        self.store_db(item)

        return True

    elif record is not None:

        raise DropItem("Item already exists: %s" % item['lien_du_bien'])

我想要做的是：如果一个项目被丢弃，我想将蜘蛛中的变量计数器增加 1，以便移动到另一个邮政编码。

有没有办法做到这一点 ？

Answer 1

在def process_item(self, item, spider)您的管道内部，您可以spider.YOUR_SPIDER_VARIABLE访问 Spider 的任何变量def process_item(self, item, spider):    if record is None:        print('storing item')        self.store_db(item)        return True    elif record is not None:        spider.VARIABLE_TO_INCREMENT        raise DropItem("Item already exists: %s" % item['lien_du_bien'])