无法在 Mac OS X 上的 Go 1.5 中对超过 32768 字节的切片进行 gzip

Question

我正在尝试使用compress/gzip. 每当我在笔记本电脑上压缩长度超过 2^15 的切片时，解压后索引为 2^15 或更大的每个字节都设置为 0。当我在我的研究集群上运行相同的代码时，它也会中断。

调用go version我的笔记本电脑打印：

$ go version

go version go1.5 darwin/amd64

调用go version集群打印：

$ go version

go version go1.3.3 linux/amd64

下面是我写的一个演示测试文件。它生成不同长度的随机切片，压缩它们，然后解压缩它们。它检查没有调用返回错误，并检查压缩和解压缩的切片是否相同：

package compress

import (

    "bytes"

    "compress/gzip"

    "math/rand"

    "testing"

)

func byteSliceEq(xs, ys []byte) bool {

    if len(xs) != len(ys) { return false }

    for i := range xs {

        if xs[i] != ys[i] { return false }

    }

    return true

}

func TestGzip(t *testing.T) {

    tests := []struct {

        n int

    }{

        { 1<<10 },

        { 1<<15 },

        { 1<<15 + 1 },

        { 1<<20 },

    }

    rand.Seed(0)

    for i := range tests {

        n := tests[i].n

        in, out := make([]byte, n), make([]byte, n)

        buf := &bytes.Buffer{}

        for i := range in { in[i] = byte(rand.Intn(256)) }

        writer := gzip.NewWriter(buf)

        _, err := writer.Write(in)

        if err != nil {

            t.Errorf("%d) n = %d: writer.Write() error: %s",

                i + 1, n, err.Error())

        }

        err = writer.Close()

        if err != nil {

            t.Errorf("%d) n = %d: writer.Close() error: %s",

                i + 1, n, err.Error())

        }

        reader, err := gzip.NewReader(buf)

        if err != nil {

            t.Errorf("%d) n = %d: gzip.NewReader error: %s",

                i + 1, n, err.Error())

        }

        reader.Read(out)

        err = reader.Close()

        if err != nil {

            t.Errorf("%d) n = %d: reader.Close() error: %s",

                i + 1, n, err.Error())

        }

当我运行这个测试时，我得到以下输出：

$ go test --run "TestGzip"

--- FAIL: TestGzip (0.12s)

    gzip_test.go:77: 3) n = 32769: in[32768] = 78, but out[32768] = 0

    gzip_test.go:77: 4) n = 1048576: in[32768] = 229, but out[32768] = 0

FAIL

exit status 1

有谁知道这里发生了什么？我是否以某种方式滥用了该软件包？如果我没有提供足够的信息，请告诉我。

Answer 1

问题出在这一行：reader.Read(out)不能保证一步Reader.Read()读取整个out切片。gzip.Reader.Read()是执行io.Reader.Read()。引用其文档（“一般合同”）：Read(p []byte) (n int, err error)Read 将最多len(p) 个字节读入 p。不保证Reader.Read()会一直读取直到out被填满，如果实现需要，它可能会在更少的字节处停止（即使没有达到 EOF）。如果您传递“大”切片，则在实现的内部缓存耗尽时很容易发生这种情况。Read()返回读取的字节数（和error），您可以使用它来检查是否读取了完整的切片。或者更好的是，您可以使用它io.ReadFull()来确保out已完全阅读：if _, err = io.ReadFull(reader, out); err != nil {&nbsp; &nbsp; t.Errorf("Error reading full out slice:", err)}通过应用此更改，您的测试将通过。