使用 golang 的 http.ResponseWriter 进行 AWS S3 大文件反向代理

Question

我有一个名为的请求处理程序Download，我想从 Amazon S3 访问一个大文件并将其推送到用户的浏览器。我的目标是：

• 在授予用户访问文件的权限之前记录一些请求信息

• 不要将文件过多地缓冲到内存中。文件可能会变得太大。

这是我迄今为止探索的内容：

func Download(w http.ResponseWriter, r *http.Request) {

    sess := session.New(&aws.Config{

        Region:             aws.String("eu-west-1"),

        Endpoint:           aws.String("s3-eu-west-1.amazonaws.com"),

        S3ForcePathStyle:   aws.Bool(true),

        Credentials:        cred,

    })

    downloader := s3manager.NewDownloader(sess)

    // I can't write directly into the ResponseWriter. It doesn't implement WriteAt. 

    // Besides, it doesn't seem like the right thing to do.

    _, err := downloader.Download(w, &s3.GetObjectInput{

        Bucket: aws.String(BUCKET),

        Key: aws.String(filename),

    })

    if err != nil {

        log.Error(4, err.Error())

        return

    }

}

我想知道是否没有更好的方法（考虑到我正在努力实现的目标）。

欢迎任何建议。先感谢您 ：-）

Answer 1

如果文件可能很大，您不希望它通过您自己的服务器。最好的方法（在我看来）是让用户直接从 S3 下载它。您可以通过生成预先签名的 url来做到这一点：func Download(w http.ResponseWriter, r *http.Request) {    ...    sess := session.New(&aws.Config{        Region:             aws.String("eu-west-1"),        Endpoint:           aws.String("s3-eu-west-1.amazonaws.com"),        S3ForcePathStyle:   aws.Bool(true),        Credentials:        cred,    })    s3svc := s3.New(sess)    req, _ := s3svc.GetObjectRequest(&s3.GetObjectInput{        Bucket: aws.String(BUCKET),        Key: aws.String(filename),    })    url, err := req.Presign(5 * time.Minute)    if err != nil {        //handle error    }    http.Redirect(w, r, url, http.StatusTemporaryRedirect)}预签名 url 仅在有限的时间内有效（在本例中为 5 分钟，根据您的需要进行调整）并将用户直接带到 S3。再也不用担心下载了！

Answer 2

如果您确实想通过您的服务流式传输文件（而不是按照已接受的答案中的建议直接下载）-import (    ...    "github.com/aws/aws-sdk-go/aws"    "github.com/aws/aws-sdk-go/service/s3")func StreamDownloadHandler(w http.ResponseWriter, r *http.Request) {    sess, awsSessErr := session.NewSession(&aws.Config{        Region:      aws.String("eu-west-1"),        Credentials: credentials.NewStaticCredentials("my-aws-id", "my-aws-secret", ""),    })    if awsSessErr != nil {        http.Error(w, fmt.Sprintf("Error creating aws session %s", awsSessErr.Error()), http.StatusInternalServerError)        return    }    result, err := s3.New(sess).GetObject(&s3.GetObjectInput{        Bucket: aws.String("my-bucket"),        Key:    aws.String("my-file-id"),    })    if err != nil {        http.Error(w, fmt.Sprintf("Error getting file from s3 %s", err.Error()), http.StatusInternalServerError)        return    }    w.Header().Set("Content-Disposition", fmt.Sprintf("attachment; filename=\"%s\"", "my-file.csv"))    w.Header().Set("Cache-Control", "no-store")    bytesWritten, copyErr := io.Copy(w, result.Body)    if copyErr != nil {        http.Error(w, fmt.Sprintf("Error copying file to the http response %s", copyErr.Error()), http.StatusInternalServerError)        return    }    log.Printf("Download of \"%s\" complete. Wrote %s bytes", "my-file.csv", strconv.FormatInt(bytesWritten, 10))}