从 Python webscrape 创建 SQL 数据库

我正在尝试将使用 Python 脚本(如下所示)从天气预报中抓取的一些基本数据传输到 SQL 数据库。我将数据存储在数组中,并在 Pandas 数据框中格式化。


import requests

import pandas

from bs4 import BeautifulSoup

page = requests.get('https://weather.com/weather/tenday/l/USOR0190:1:US')

soup = BeautifulSoup(page.content, 'html.parser')

feed = soup.select('main.region.region-main')

days = [i.get_text() for i in soup.select('span.day-detail.clearfix')]

descs = [i['title'] for i in soup.select('td.description')]

descs2 = [i.get_text() for i in soup.select('td.description span')]

temp = [i.get_text() for i in soup.select('td.temp div')]

temps = ["High: " + i[:3] + " / Low: " + i[3:] for i in temp]

frame = pandas.DataFrame({

    "Date": days,

    "Desc": descs2,

    "Temp": temps,

    "More": descs

})

接下来的步骤是什么?我应该使用 SQLite、SQLalchemy 还是其他一些引擎?我对 SQL 一无所知,正在即时学习。我相信我已经设置了允许使用这些引擎的环境,所以这应该不是问题。


白衣染霜花
浏览 139回答 1
1回答
打开App,查看更多内容
随时随地看视频慕课网APP

相关分类

Python