Dask 如何在 Python 中从 SQL Server 读取数据

我必须使用 dask 数据框,因为我的数据有 1.5 亿行和 50,000 列


我试着用


conn = pyodbc.connect('Driver={SQL Server};'

                      'Server=DELL;'

                      'Database=DB;'

                      'Trusted_Connection=yes;')

df_features = dd.read_sql_table(table="Features" , con=conn , index_col="ID")

我收到了这个错误


TypeError: read_sql_table() missing 1 required positional argument: 'uri'

所以我尝试了这个


df_features = dd.read_sql_table(table="Features" , uri="mssql+pyodbc:///?odbc_connect=Driver={SQL Server}; Server=DELL; Database=DB; Trusted_Connection=yes;", index_col="ID")

并得到了这个错误


OperationalError: (pyodbc.OperationalError) ('08001', '[08001] [Microsoft][ODBC SQL Server Driver]Neither DSN nor SERVER keyword supplied (0) (SQLDriverConnect)')

(Background on this error at: http://sqlalche.me/e/e3q8)

如何在 dask 数据框中连接到 SQL Server?


慕后森
浏览 107回答 2
2回答

慕田峪4524236

你需要一个 URI,而不是一些连接对象。此 URI 的格式必须是 SQLalchemy 可以理解的格式,因此请阅读他们的文档以了解如何为 ODBC 设置格式。文档:https ://docs.sqlalchemy.org/en/13/dialects/mysql.html#module-sqlalchemy.dialects.mysql.pyodbc原因是,Dask 需要能够序列化和传递任务,但不能序列化连接对象。但是,如果您只使用线程,则可以传递一个 SQLalchemy 引擎对象(这是在 master 中)。

绝地无双

Windows ODBC 驱动程序管理器在关键字和=以下应该可以解决问题:df_features = dd.read_sql_table(    table="Features",    uri="mssql+pyodbc:///?odbc_connect=DRIVER={SQL Server};SERVER=my.db.server;DATABASE=DB;Trusted_Connection=yes;",    index_col="ID")
打开App,查看更多内容
随时随地看视频慕课网APP

相关分类

Python