从压缩表示转换张量的最佳方法

Question

我有一个代表稀疏 3-D 矩阵的压缩格式的张量。我需要将它转换为普通矩阵（它实际代表的矩阵）。因此，在我的例子中，矩阵的任何二维切片的每一行只能包含一个非零元素。作为数据，我有这些行中的每一行、值和它出现的索引。例如，张量

inp = torch.tensor([[ 1,  2],

 [ 3,  4],

 [-1,  0],

 [45,  1]])

表示一个 4x5 矩阵（第一维来自张量的第一维，第二维来自元数据）A，其中A[0][2] = 1, A[1][4] = 3, A[2][0] = -1, A[3][1] = 45.

这只是我的 Matrix 的一个二维切片，我有可变数量的切片。我能够使用 sparse_coo_tensor 通过以下方式对二维切片执行此操作，如上所述：

>>> torch.sparse_coo_tensor(torch.stack([torch.arange(0, 4), inp.t()[1]]), inp.t()[0], [4,5]).to_dense()

tensor([[ 0,  0,  1,  0,  0],

        [ 0,  0,  0,  0,  3],

        [-1,  0,  0,  0,  0],

        [ 0, 45,  0,  0,  0]])

这是实现此目标的最佳方法吗？有没有更简单、更易读的替代方案？如何在不循环的情况下将其扩展到 3-D 矩阵？对于 3-D 矩阵，您可以想象输入类似于

inp_list = torch.stack([inp, inp, inp, inp])

并且所需的输出将是上述输出堆叠 4 次。

我觉得如果我正确地创建一个索引数组我应该能够做一些事情，但是我想不出一种不使用某种循环的方法来做到这一点。

Answer 1

好的，在对不同类型的索引进行了大量实验之后，我让它工作了。事实证明，答案就在 Advanced Indexing 中。不幸的是，PyTorch 文档没有详细介绍高级索引。这是 Numpy 文档中的链接。对于上述问题，此命令起到了作用：>>> k_lst = torch.zeros([4,4,5])>>> k_lst[torch.arange(4).unsqueeze(1), torch.arange(4), inp_list[:,:,1]] = inp_list[:,:,0].float()>>> k_lsttensor([[[ 0.,  0.,  1.,  0.,  0.],     [ 0.,  0.,  0.,  0.,  3.],     [-1.,  0.,  0.,  0.,  0.],     [ 0., 45.,  0.,  0.,  0.]],    [[ 0.,  0.,  1.,  0.,  0.],     [ 0.,  0.,  0.,  0.,  3.],     [-1.,  0.,  0.,  0.,  0.],     [ 0., 45.,  0.,  0.,  0.]],    [[ 0.,  0.,  1.,  0.,  0.],     [ 0.,  0.,  0.,  0.,  3.],     [-1.,  0.,  0.,  0.,  0.],     [ 0., 45.,  0.,  0.,  0.]],    [[ 0.,  0.,  1.,  0.,  0.],     [ 0.,  0.,  0.,  0.,  3.],     [-1.,  0.,  0.,  0.,  0.],     [ 0., 45.,  0.,  0.,  0.]]])这正是我想要的。我在搜索这个时学到了很多东西，我想与任何偶然发现这个问题的人分享这个。那么，为什么会这样呢？答案在于广播的工作方式。如果您查看所涉及的不同索引张量的形状，您会发现它们（必然）是可广播的。>>> torch.arange(4).unsqueeze(1).shape, torch.arange(4).shape, inp_list[:,:,1].shape(torch.Size([4, 1]), torch.Size([4]), torch.Size([4, 4]))显然，要访问此处的 k_lst 等 3-D 张量的元素，我们需要 3 个索引 - 每个维度一个。如果你给算子3个相同形状的张量[]，它可以通过从3个张量中匹配对应的元素得到一堆合法的索引。如果这 3 个张量具有不同的形状，但可以广播（就像这里的情况），它会复制缺少张量的相关行/列所需的次数以获得具有相同形状的张量。最终，就我而言，如果我们研究如何分配不同的值，这相当于做k_lst[0,0,inp_list[0,0,1]] = inp_list[0,0,0].float()k_lst[0,1,inp_list[0,1,1]] = inp_list[0,1,0].float()k_lst[0,2,inp_list[0,2,1]] = inp_list[0,2,0].float()k_lst[0,3,inp_list[0,3,1]] = inp_list[0,3,0].float()k_lst[1,0,inp_list[1,0,1]] = inp_list[1,0,0].float()k_lst[1,1,inp_list[1,1,1]] = inp_list[1,1,0].float()...k_lst[3,3,inp_list[3,3,1]] = inp_list[3,3,0].float()这个格式让我想起了torch.Tensor.scatter()，但是如果能用它来解决这个问题，我还没想好怎么办。

Answer 2

我相信你所说的是你有一个稀疏张量并且想要转换它。从tf.sparse.to_dense开始，然后是tensorflow.Tensor.eval()