BeautifulSoup 转 CSV

Question

我已经设置了 BeautifulSoup 来为两个网页找到一个特定的类。

我想知道如何将每个 URL 的结果写入一个 CSV 中的唯一单元格？

我可以读取的 URL 数量也有限制，因为一旦我开始工作，我想将其扩展到大约 200 个 URL。

该类始终相同，我不需要任何格式，只需要每个 URL 一个单元格中的原始 HTML。

感谢您的任何想法。

from bs4 import BeautifulSoup

import requests

urls = ['https://www.ozbargain.com.au/','https://www.ozbargain.com.au/forum']

for u in urls:

    response = requests.get(u)

    data = response.text

    soup = BeautifulSoup(data,'lxml')

    soup.find('div', class_="block")

Answer 1

用于pandas处理表格数据：pd.DataFrame创建表格，并将pd.to_csv表格保存为 csv（也可以查看文档，例如追加模式）。基本上它。import requestsimport pandas as pdfrom bs4 import BeautifulSoupdef func(urls):    for url in urls:        data = requests.get(url).text        soup = BeautifulSoup(data,'lxml')        yield {            "url": url, "raw_html": soup.find('div', class_="block")        }urls = ['https://www.ozbargain.com.au/','https://www.ozbargain.com.au/forum']data = func(urls)table = pd.DataFrame(data)table.to_csv("output.csv", index=False)