负对数似然的约简参数

Question

PyTorch中负对数似然损失函数中的reduction参数的直观解释是什么？该参数可以采用“mean”或“sum”等值。它是对批次的元素求和吗？

torch.nn.functional.nll_loss(outputs.mean(0), target, reduction="sum")

Answer 1

从文档中：指定要应用于输出的缩减：'none' | '意思' | '和'。'none'：不应用减少，'mean'：输出的总和将除以输出中的元素数，'sum'：输出将被求和。注意： size_average 和 reduce 正在被弃用，同时，指定这两个 args 中的任何一个都将覆盖 reduction。默认值：“平均”如果使用 none，输出将与批量大小相同，如果使用均值，则为均值（总和除以批次）如果使用 sum，它将是所有元素的总和。您还可以使用以下代码验证这一点：import torch logit = torch.rand(100,10)target = torch.randint(10, size=(100,)) m = torch.nn.functional.nll_loss(logit, target)s = torch.nn.functional.nll_loss(logit, target, reduction="sum") l = torch.nn.functional.nll_loss(logit, target, reduction="none")print(torch.abs(m-s/100))print(torch.abs(l.mean()-m))输出应为 0 或非常接近 0。