如何在 Go 中计算一个非常大的文件的 SHA256？

Question

我有一个非常大的文件，我需要计算 Go 中的校验和（30 到 200GB 之间）。我使用通用sha256sum程序来获取数据的规范散列，但是在 Go 中尝试做同样的事情时，我无法获得相同的散列。

我最初是从这个功能开始的，它确实按预期工作：

func checksum(file string) (string, error) {

    f, err := os.Open(file)

    if err != nil {

        return "", err

    }

    defer func() {

        _ = f.Close()

    }()

    copyBuf := make([]byte, 1024 * 1024)

    h := sha256.New()

    if _, err := io.CopyBuffer(h, f, copyBuf); err != nil {

        return "", err

    }

    return hex.EncodeToString(h.Sum(nil)), nil

}

但是，需求发生了变化，我需要在读取缓冲区时对其进行一些处理，因此我将代码修改为类似的内容。但是，现在哈希不正确，我不确定我做错了什么。

    f, err := os.Open("<large file>")

    if err != nil {

        panic(err)

    }

    defer func() {

        _ = f.Close()

    }()

    buf := make([]byte, 1024 * 1024)

    h := sha256.New()

    for {

        bytesRead, err := f.Read(buf)

        if err != nil {

            if err != io.EOF {

                panic(err)

            }

            fmt.Println("EOF")

            break

        }

        // do some other work with buf before adding it to the hasher

        // processBuffer(buf)

        fmt.Printf("bytes read: %d\n", bytesRead)

        h.Write(buf)

    }

    fmt.Printf("checksum: %s\n", hex.EncodeToString(h.Sum(nil)))

有人知道我做错了什么吗？

Answer 1

我想到了。我需要在写入之前截断缓冲区：h.Write(buf[:bytesRead])代替h.Write(buf)