torchtext BucketIterator最小填充

Question

我正在尝试在torchtext中使用BucketIterator.splits函数从csv文件中加载数据以在CNN中使用。除非我的批处理中最长的句子比最大的过滤器大小短，否则一切都正常。

在我的示例中，我使用了大小分别为3、4和5的过滤器，因此，如果最长的句子没有至少5个单词，则会出现错误。有没有一种方法可以让BucketIterator动态设置批次的填充，还可以设置最小填充长度？

这是我用于BucketIterator的代码：

train_iter, val_iter, test_iter = BucketIterator.splits((train, val, test), sort_key=lambda x: len(x.text), batch_size=batch_size, repeat=False, device=device)

我希望有一种方法可以设置sort_key或类似的最小长度？

我尝试了这个，但是不起作用：

FILTER_SIZES = [3,4,5]

train_iter, val_iter, test_iter = BucketIterator.splits((train, val, test), sort_key=lambda x: len(x.text) if len(x.text) >= FILTER_SIZES[-1] else FILTER_SIZES[-1], batch_size=batch_size, repeat=False, device=device) 

Answer 1

我浏览了torchtext源代码以更好地了解sort_key在做什么，并了解了为什么我的原始想法不起作用。我不确定这是否是最好的解决方案，但是我想出了一个可行的解决方案。我创建了一个tokenizer函数，如果它比最长的过滤器长度短，则填充文本，然后从那里创建BucketIterator。FILTER_SIZES = [3,4,5]spacy_en = spacy.load('en')def tokenizer(text):&nbsp; &nbsp; token = [t.text for t in spacy_en.tokenizer(text)]&nbsp; &nbsp; if len(token) < FILTER_SIZES[-1]:&nbsp; &nbsp; &nbsp; &nbsp; for i in range(0, FILTER_SIZES[-1] - len(token)):&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; token.append('<PAD>')&nbsp; &nbsp; return tokenTEXT = Field(sequential=True, tokenize=tokenizer, lower=True, tensor_type=torch.cuda.LongTensor)train_iter, val_iter, test_iter = BucketIterator.splits((train, val, test), sort_key=lambda x: len(x.text), batch_size=batch_size, repeat=False, device=device)

Answer 2

尽管@ paul41的方法有效，但还是有些滥用。这样做的正确方法是使用preprocessing或postprocessing（相应地在数字化之前或之后）。这是一个示例postprocessing：def get_pad_to_min_len_fn(min_length):&nbsp; &nbsp; def pad_to_min_len(batch, vocab, min_length=min_length):&nbsp; &nbsp; &nbsp; &nbsp; pad_idx = vocab.stoi['<pad>']&nbsp; &nbsp; &nbsp; &nbsp; for idx, ex in enumerate(batch):&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; if len(ex) < min_length:&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; batch[idx] = ex + [pad_idx] * (min_length - len(ex))&nbsp; &nbsp; &nbsp; &nbsp; return batch&nbsp; &nbsp; return pad_to_min_lenFILTER_SIZES = [3,4,5]min_len_padding = get_pad_to_min_len_fn(min_length=max(FILTER_SIZES))TEXT = Field(sequential=True, use_vocab=True, lower=True, batch_first=True,&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;postprocessing=min_len_padding)如果在主循环中定义了嵌套函数（例如min_length = max(FILTER_SIZES)），则需要将参数传递给内部函数，但如果可行，则可以在函数内部对参数进行硬编码。