使用scrapy组织csv导出

Question

为了将我的数据导出到 CSV 文件，我目前正在使用（主要是因为我从来没有很好地理解管道）：

custom_settings = {

    'FEED_FORMAT': 'csv',

    'FEED_URI' : 'datosAmazon.csv'

}

这个自定义设置在我的蜘蛛里面。

现在，我正在抓取不同类别的物品，例如笔记本电脑和手机。

问题是，当我去查看我的数据时，事情并没有组织起来，可能会出现一台笔记本电脑，然后是一部手机，然后是 2 台笔记本电脑，手机等等。

我目前以这种方式进入不同的类别

def start_requests(self):

    keywords = ['laptop', 'cellphone']

    for keyword in keywords:

        yield Request(self.search_url.format(keyword))

有没有办法让数据更有条理（2个文件会更好），或者一个简单的管道解决方案。

Answer 1

没有仅设置的方法来实现您想要的。也就是说，从自定义管道导出到多个文件非常简单：scrapy.exporters.CSVItemExporter在open_spider方法中创建多个导出器 ( ) （可能将它们存储在 dict 中）在方法中选择正确的导出器（基于项目）process_item并调用其export_item关闭close_spider方法中的文件不要忘记激活您的管道:)