是否可以使用 Dask 和 Fastparquet 读取器来读取手动分区的 Parquet 数据集？

Question

我创建了一个 Parquet 数据集，分区如下：

2019-taxi-trips/
    - month=1/
        - data.parquet
    - month=2/
        - data.parquet
    ...
    - month=12/
        - data.parquet

该组织遵循Hive Metastore 使用的Parquet 数据集分区约定。_metadata该分区方案是手动生成的，因此目录树中的任何位置都没有文件。

我现在想将该数据集读入 Dask。

对于本地磁盘上的数据，以下代码有效：

import dask.dataframe as dd

dd.read_parquet(

    "/Users/alekseybilogur/Desktop/2019-taxi-trips/*/data.parquet",

    engine="fastparquet"

)

我将这些文件复制到 S3 存储桶（通过s3 sync; 分区文件夹是存储桶中的顶级键，如下所示），并尝试使用相同的基本功能从云存储中读取它们：

import dask.dataframe as dd; dd.read_parquet(

    "s3://2019-nyc-taxi-trips/*/data.parquet",

    storage_options={

        "key": "...",

        "secret": "..."

    },

    engine="fastparquet")

这引发了IndexError: list index out of range. 完整的堆栈跟踪在这里。

目前是否可以直接从 AWS S3 读取这样的数据集？

Answer 1

目前存在一个错误fastparquet，导致此代码无法工作。与此同时，在这个错误得到解决之前，解决这个问题的一个简单方法是使用后端pyarrow。dd.read_parquet(    "s3://2019-nyc-taxi-trips/*/data.parquet",    storage_options={        "key": "...",        "secret": "..."    },    engine="pyarrow")