有没有办法在 h5py 中一次获取所有组中的数据集？

Question

我将数据存储在 .h5 中。我使用以下代码来显示组名，并调用其中一个组 (Event_[0]) 来查看其中的内容：

with h5py.File(data_path, 'r') as f:

    ls = list(f.keys())

    print('List of datasets: \n', ls)

    data = f.get('group_1')

    dataset1 = np.array(data)

    print('Shape of dataset1: \n', dataset1.shape)

    f.close()

它工作正常，但我有 2000 个组，每个组有一个数据集。如何避免为每个组编写相同的代码？有没有办法得到（'所有团体'）？

编辑：再举一个例子：我用

f['Event_[0]'][()]

看一组。这也可以应用于多个组吗？

Answer 1

只需迭代键列表：with h5py.File(data_path, 'r') as f:    alist = []    ls = list(f.keys())    print('List of datasets: \n', ls)    for key in ls:         group = f.get(key)         dataset = group.get(datasetname)[:]         print('Shape of dataset: \n', dataset.shape)         alist.append(dataset)    # don't need f.close() in a with没有allgroups; 有 iter 和 visit 方法，但它们最终做同样的事情 - 对于文件中的每个组，获取所需的数据集。 h5py文档应该是完整的，没有隐藏的方法。这visit是递归的，类似于用于访问目录和文件的 Python OS 功能。在h5py文件和组中表现得像 Python dicts。它是行为类似于numpy数组的数据集。

Answer 2

如果您知道您将始终拥有此数据模式，则可以使用键（如上一个答案所示）。这意味着只有根级别的组，而数据集是每个组下的唯一对象。当您不知道文件的确切内容时，“访问者”功能非常方便。有 2 个访问者函数。他们是visit()和visititems()。每个递归地遍历对象树，为每个对象调用访问者函数。唯一的区别是可调用函数visit接收 1 个值：name，而visititems接收 2 个值：name和node（一个 h5py 对象）。名称就是一个对象的名称，而不是完整的路径名。我更喜欢visititems有两个原因：1) 拥有节点对象允许您对对象类型进行测试（如下所示），以及 2) 确定路径名需要您知道路径或使用对象的名称属性来获取它。下面的示例创建一个简单的 HDF5 文件，创建一些组和数据集，然后关闭该文件。然后它以读取模式重新打开并用于visititems()遍历文件对象树。（注意：访问者函数可以有任何名称并且可以与任何对象一起使用。它从文件结构中的那个点开始递归遍历。）f.close()此外，您在使用构造时不需要with / as:。import h5pyimport numpy as npdef visit_func(name, node) :    print ('Full object pathname is:', node.name)    if isinstance(node, h5py.Group) :        print ('Object:', name, 'is a Group\n')    elif isinstance(node, h5py.Dataset) :        print ('Object:', name, 'is a Dataset\n')    else :        print ('Object:', name, 'is an unknown type\n')arr = np.arange(100).reshape(10,10)with h5py.File('SO_63315196.h5', 'w') as h5w:    for cnt in range(3):        grp = h5w.create_group('group_'+str(cnt))         grp.create_dataset('data_'+str(cnt),data=arr)     with h5py.File('SO_63315196.h5', 'r') as h5r:         h5r.visititems(visit_func)