并行调用 pandas 数据帧上的函数

Question

我有一个 2 亿条记录文件，正在使用 pandas read_csv 以 10000 的块大小读取该文件。这些数据帧被转换为列表对象，并且该列表对象被传递给函数。

file_name=str(sys.argv[2])

df=pd.read_csv(file_name, na_filter=False, chunksize=10000)

for data in df:

    d=data.values.tolist()

    load_data(d)

有没有什么方法可以并行运行load_data函数调用，以便可以同时将10000条以上的记录传递给该函数？

Answer 1

是的，dask 很擅长这个尝试import dask.dataframe as dddx = dd.read_csv(file_name, na_filter=False)ans_delayed = dx.apply(my_function, meta='{the return type}')ans = ans_delayed.compute()如果您确实需要将数据作为列表，您可以尝试import dask.bag as dbgenrator = pd.read_csv(file_name, na_filter=False, chunksize=10000)ans = db.from_sequence(generator).map(lambda df: load_data(df.values.tolist())).compute()