PyTorch：从多个数据集进行批处理

Question

我有多个要在训练中使用的数据集。我希望每个批次都来自一个数据集，但每个时期都有（可能）所有数据集的批次。

将数据集合并为一个简单Dataset的对象并使用默认值Dataloader会导致在一批中包含来自不同数据集的样本。

我自己的猜测是Dataset为每个数据集创建一个单独的对象并覆盖 Dataloader 或采样器，但我不知道该怎么做。

Answer 1

我认为解决您的问题的最佳方法是拥有一个带有单个数据加载器的合并数据集，但有一个自定义BatchSampler生成基于合并数据集中不同数据集的索引。