为什么这个 Go 代码的速度与 Python 的速度相同(而且没有快多少)?

我需要为超过 1GB 的文件计算 sha256 校验和(按块读取文件),目前我正在使用 python:


import hashlib

import time


start_time = time.time()



def sha256sum(filename="big.txt", block_size=2 ** 13):

    sha = hashlib.sha256()

    with open(filename, 'rb') as f:

        for chunk in iter(lambda: f.read(block_size), b''):

           sha.update(chunk)

    return sha.hexdigest()


input_file = '/tmp/1GB.raw'

print 'checksum is: %s\n' % sha256sum(input_file)

print 'Elapsed time: %s' % str(time.time() - start_time)

我想尝试一下golang认为我可以获得更快的结果,但是在尝试以下代码后,它运行慢了几秒钟:


package main


import (

    "crypto/sha256"

    "fmt"

    "io"

    "math"

    "os"

    "time"

)   


const fileChunk = 8192


func File(file string) string {

    fh, err := os.Open(file)


    if err != nil {

        panic(err.Error())

    }   


    defer fh.Close()


    stat, _ := fh.Stat()

    size := stat.Size()

    chunks := uint64(math.Ceil(float64(size) / float64(fileChunk)))

    h := sha256.New()


    for i := uint64(0); i < chunks; i++ {

        csize := int(math.Min(fileChunk, float64(size-int64(i*fileChunk))))

        buf := make([]byte, csize)

        fh.Read(buf)

        io.WriteString(h, string(buf))

    }   


    return fmt.Sprintf("%x", h.Sum(nil))

}   


func main() {

    start := time.Now()

    fmt.Printf("checksum is: %s\n", File("/tmp/1G.raw"))

    elapsed := time.Since(start)

    fmt.Printf("Elapsed time: %s\n", elapsed)

}

如果可能,知道如何改进golang代码吗?也许使用所有计算机 CPU 内核,一个用于读取,另一个用于散列,有什么想法吗?


SMILET
浏览 200回答 2
2回答
打开App,查看更多内容
随时随地看视频慕课网APP

相关分类

Go