通过 AWS SDK GO 将 gzip 压缩文件流式传输到 S3

Question

我按照 AWS 站点上的示例对文件进行 gzip 压缩并将它们流式传输到 S3，可在此处找到：http: //docs.aws.amazon.com/sdk-for-go/latest/v1/developerguide/common-examples.title。 html

我有一个问题，我的 S3 存储桶中唯一登陆的是基本上只有 GZIP 标头的文件。每个文件的大小为 23b。

知道什么会导致这种情况吗？

我的代码：

func (t *Table) Upload() {

  year := time.Now().Format("2006")

  month := time.Now().Format("01")

  day := time.Now().Format("02")

  reader, writer := io.Pipe()

  go func() {

    gw := gzip.NewWriter(writer)

    io.Copy(gw, t.File)

    t.File.Close()

    gw.Close()

    writer.Close()

  }()

  uploader := s3manager.NewUploader(session.New(&aws.Config{Region: aws.String(os.Getenv("AWS_REGION"))}))

  result, err := uploader.Upload(&s3manager.UploadInput{

    Body:   reader,

    Bucket: aws.String(os.Getenv("S3_BUCKET")),

    Key:    aws.String(fmt.Sprintf("%s/%s/%s/%s/%s", os.Getenv("S3_KEY"), year, month, day, t.Name+".csv.gz")),

  })

  if err != nil {

    log.WithField("error", err).Fatal("Failed to upload file.")

  }

  log.WithField("location", result.Location).Info("Successfully uploaded to")

}

Answer 1

我发现即使您可能有这样设计的结构（就像我一样）：type Table struct {                                                                                                                                                                                                                                                                                                             Name     string                                                                                                                                                                                                                                                                                                               Path     string                                                                                                                                                                                                                                                                                                               FileName string                                                                                                                                                                                                                                                                                                               File     *os.File                                                                                                                                                                                                                                                                                                             Buffer   *bufio.Writer                                                                                                                                                                                                                                                                                                        Data     chan string                                                                                                                                                                                                                                                                                                        }使用需要指向该结构的指针的函数不一定会使 Table.File 处于打开状态。我确保在写入文件完成时文件已关闭，并在我的上传功能中重新打开它。这解决了问题并将完整的 gzip 文件上传到 S3。

Answer 2

您是否调用t.File.Write()其他代码？如果你这样做，光标t.File可能是文件的结尾。所以你应该将文件光标寻找到文件的来源。t.File.Seek(0,0) 之前调用 io.Copy(gw,t.File)（第 9 行）