Scrapy 输出 JSON 或 CSV

Question

我正在尝试使用此代码settings.py进行网络抓取

FEED_EXPORT_ENCODING = 'utf-8'

import datetime

now = datetime.datetime.now ()

formatted = now.strftime ("%Y%m%d_%H%M")

FEED_URI = f'\\C:\\Users\\Acer\\Desktop\\{formatted}.csv'

FEED_TYPE = 'csv'

有了这个 special_offers.py

# -*- coding: utf-8 -*-

import scrapy

import datetime

class SpecialOffersSpider(scrapy.Spider):

    name = 'special_offers'

    allowed_domains = ['www.tinydeal.com']

    def start_requests(self):

        yield scrapy.Request(url='https://www.tinydeal.com/specials.html', callback=self.parse, headers={

            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'

        })

    def parse(self, response):

        for product in response.xpath("//ul[@class='productlisting-ul']/div/li"):

            yield {

                'title': product.xpath(".//a[@class='p_box_title']/text()").get(),

                'url': response.urljoin(product.xpath(".//a[@class='p_box_title']/@href").get()),

                'discounted_price': product.xpath(".//div[@class='p_box_price']/span[1]/text()").get(),

                'original_price': product.xpath(".//div[@class='p_box_price']/span[2]/text()").get(),

                'User-Agent': response.request.headers['User-Agent'].decode('utf-8'),

                'datetime': datetime.datetime.now().strftime("%Y%m%d %H%M")

            }

        next_page = response.xpath("//a[@class='nextPage']/@href").get()

        if next_page:

            yield scrapy.Request(url=next_page, callback=self.parse, headers={

                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'

            })

然后我打开终端并使用

scrapy crawl special_offers

问题是，当我导出 JSON 时，数据在 }{ 之间没有逗号。例如，使 Power BI 无法读取我的文件

Answer 1

您如何获取抓取的数据？根据您显示的内容，我怀疑您是从终端复制的。是这样吗？如果是，有一种方法可以使用以下命令将其直接保存到文件中：scrapy crawl special_offers -o <where save the file>/special_offers.json希望这可以解决您的问题。请告诉我。