是否可以组合多个 SHA1 状态来获得 Golang 中的最终状态？

Question

在 中Go1.13，我有一个上传服务器。该服务器接受 2 种上传类型。

分块和分块+线程。在分块上传上，一切都按预期进行。当它们写入磁盘时，我计算每个块。用户可以按照良好的顺序一一上传多个块。

这意味着，我可以SHA1使用 将每个块的状态保存到磁盘BinaryMarshaler，然后读取先前的状态并继续计算下一个块，直到找到最终的哈希值。最终的哈希值完美地给出了整个文件SHA1。

当它被订购时，我可以附加到现有状态。但问题开始于线程......（同时）

    hashComplete := sha256.New()

    // read previous sttate from disk

    state, err := ioutil.ReadFile(ctxPath)

    if err != nil {

        return err

    }

    if len(state) > 0 {

        unmarshaler, _ := hashComplete.(encoding.BinaryUnmarshaler)

        if err := unmarshaler.UnmarshalBinary(state); err != nil {

            return err

        }

    }

    // In here im writing file to disk and hash. file object is simple File.

    writer := io.MultiWriter(file, hashComplete)

    n, err := io.Copy(writer, src) // src is source (io.Reader)

    marshaler, _ := hashComplete.(encoding.BinaryMarshaler)

    newState, err := marshaler.MarshalBinary()

    if err != nil {

        return err

    }

    shaCtxFile.Write(newState) // Here im saving last state to disk.

    // Then later, after upload finishes, I read this file and get the SHA1 hex from it. It is correct.

现在这是按特定/良好顺序分块上传。另一种上传方式是Chunked+Threaded。这意味着，用户可以同时上传块，然后发送请求以按照给定顺序（在最后一个请求）将它们连接在一起。

我已经计算了每个块SHA1并将其保存到磁盘。

我的问题是可以组合这些状态并获得最终的哈希值，还是需要在连接后重新哈希。有没有办法结合这些状态？

Answer 1

假设您指的是整个文件的最终哈希值，那么不行，您不能组合部分数据的多个 SHA-1 哈希值来创建整个文件的哈希值，就好像它是一次计算出来的一样。原因是初始 SHA-1 状态始终相同，并且重新哈希将在该特定状态下重新启动。此外，在计算最终哈希值之前，将填充最终块并添加长度（哈希函数内部）。但是，您当然可以创建哈希列表或哈希树，在其中定义块的大小。然后，您可以对块上的所有散列进行散列以创建最顶层的散列值。现在，您的哈希值与文件上的 SHA-1 不同，但该哈希值与您的定义一致，并且可以重新计算，即使是以多线程方式也是如此。对于文件中的数据来说，它仍然是唯一的（当然假设按顺序放入哈希值），因此它可以用于验证文件的完整性。而且，据我所知，这是对于普通安全哈希函数使用多线程哈希计算的唯一方法。当然，SHA-1 的抗碰撞性已被破坏。不幸的是，这正是您使用它的目的。所以请使用 SHA-256。如果 256 位太多，那么使用 SHA-256 并采用最左边的 160 位是更安全的替代方案。