使用 map_partitions 和 pd.df.to_sql 从 dask

Dask 没有像 Pandas 那样的 df.to_sql() ,所以我试图复制该功能并使用该map_partitions方法创建一个 sql 表。这是我的代码:


import dask.dataframe as dd

import pandas as pd

import sqlalchemy_utils as sqla_utils


db_url = 'my_db_url_connection'

conn = sqla.create_engine(db_url)


ddf = dd.read_csv('data/prod.csv')

meta=dict(ddf.dtypes)

ddf.map_partitions(lambda df: df.to_sql('table_name', db_url, if_exists='append',index=True), ddf, meta=meta)

这将返回我的 dask 数据框对象,但是当我查看我的 psql 服务器时,没有新表......这里出了什么问题?


不负相思意
浏览 181回答 2
2回答
打开App,查看更多内容
随时随地看视频慕课网APP

相关分类

Python