Pytables：可以减小 Appended Earray 的大小吗？

Question

在我的例子中，输出文件 (earray.h5) 的大小很大。有没有办法附加数据，使输出文件不那么大？例如，在我的例子中（见下面的链接）一个 13GB 的输入文件（dset_1：2.1E8 x 4 和 dset_2：2.1E8 x 4）给出了一个只有一列（2.5E10 x 1）的 197 GB 输出文件。所有元素都是 float64。

我想减小输出文件的大小，这样脚本的执行速度就不会受到影响，并且输出文件的读取也可以高效地供以后使用。沿着列而不只是行保存数据有帮助吗？对此有什么建议吗？下面给出的是一个 MWE。

# no. of chunks from dset-1 and dset-2 in inp.h5

loop_1 = 40

loop_2 = 20 

# save to disk after these many rows

app_len = 10**6 

# **********************************************

#       Grabbing input.h5 file

# **********************************************

filename = 'inp.h5'

f2 = h5py.File(filename, 'r')

chunks1 = f2['dset_1']

chunks2 = f2['dset_2']

shape1, shape2 = chunks1.shape[0], chunks2.shape[0]

f1 = tables.open_file("table.h5", "w")

a = f1.create_earray(f1.root, "dataset_1", atom=tables.Float64Atom(), shape=(0, 4))

size1 = shape1//loop_1

size2 = shape2//loop_2

# ***************************************************

#       Grabbing chunks to process and append data

# ***************************************************

for c in range(loop_1):

    h = c*size1

    # grab chunks from dset_1 of inp.h5  

    chunk1 = chunks1[h:(h + size1)]

    for d in range(loop_2):

        g = d*size2

        chunk2 = chunks2[g:(g + size2)] # grab chunks from dset_2 of inp.h5 

        r1 = chunk1.shape[0]

        r2 = chunk2.shape[0]

        left, right = 0, 0

        for j in range(r1):  # grab col.2 values from dataset-1

            e1 = chunk1[j, 1]

            #...Algaebraic operations here to output a row containing 4 float64

            #...append to a (earray) when no. of rows reach a million

        del chunk2

    del chunk1

f2.close()

Answer 1

这是一个“仅”写入 1.5e6 行的简单示例。我没有做任何事情来优化非常大的文件的性能。您正在创建一个非常大的文件，但没有说明有多少行（显然超过 10**6）。以下是根据另一个线程中的评论提出的一些建议。我推荐的区域（3 个与 PyTables 代码相关，2 个基于外部使用）。PyTables 代码建议：创建文件时启用压缩（filters=创建文件时添加参数）。从 开始tb.Filters(complevel=1)。expectedrows=在.create_tables()（根据 PyTables 文档，“这将优化 HDF5 B 树和使用的内存量”）中定义参数。默认值设置在tables/parameters.py（查找 EXPECTED_ROWS_TABLE；在我的安装中它只有 10000）。如果您要创建 10**6（或更多）行，我建议您将此设置为更大的值。setting 有一个附带的好处expectedrows=。如果你没有定义 chunkshape，'一个合理的值是根据 expectedrows 参数计算的'。检查使用的值。这不会减小创建的文件大小，但会提高 I/O 性能。如果您在创建文件时没有使用压缩，则有 2 种方法可以压缩现有文件：外部实用程序：PyTables 实用程序ptrepack- 针对 HDF5 文件运行以创建新文件（对于从未压缩到压缩，反之亦然）。它随 PyTables 一起提供，并在命令行上运行。HDF5 实用程序h5repack- 与ptrepack. 它随 HDF Group 的 HDF5 安装程序一起提供。文件压缩需要权衡取舍：它减小了文件大小，但增加了访问时间（降低了 I/O 性能）。我倾向于使用经常打开的未压缩文件（以获得最佳 I/O 性能）。然后完成后，我将其转换为压缩格式以进行长期存档。您可以继续以压缩格式使用它们（API 处理干净）。