正确使用 fasthttp.Client 结合 goroutines

Question

我是 Go 新手，正在寻找使用 goroutine 的正确net/http方法fasthttp。不幸的是，那里没有很多fasthttp客户示例。

我找到了以下代码：（Example1）

package main

import (

    "bufio"

    "fmt"

    "github.com/valyala/fasthttp"

    "log"

    "net"

    "os"

    "sync"

    "time"

)

func grabPage(fastClient *fasthttp.Client, i int, wg *sync.WaitGroup) {

    defer wg.Done()

    _, body, err := fastClient.GetTimeout(nil, "https://en.wikipedia.org/wiki/Immanuel_Kant", time.Duration(time.Second*20))

    if err != nil {

        log.Fatal(err)

    }

    f, err := os.Create(fmt.Sprintf("./data/%d.txt", i))

    if err != nil {

        log.Fatal(err)

    }

    defer f.Close()

    w := bufio.NewWriter(f)

    w.Write(body)

}

func main() {

    var wg sync.WaitGroup

    total := 500

    c := &fasthttp.Client{

        Dial: func(addr string) (net.Conn, error) {

            return fasthttp.DialTimeout(addr, time.Second*10)

        },

        MaxConnsPerHost: total,

    }

    wg.Add(total)

    for index := 0; index < total; index++ {

        go grabPage(c, index, &wg)

    }

    wg.Wait()

}

在这段代码中，开发人员在函数中创建了一个fasthttp.Client实例，并使用. 据我了解，这样您创建一个实例，所有请求都使用这个实例来完成这项工作。main()go grabPage(c, ...)

在另一个页面上，开发人员使用了类似的东西：（Example2）

func grabPage(i int, wg *sync.WaitGroup) {

    defer wg.Done()

    fastClient := &fasthttp.Client{

        Dial: func(addr string) (net.Conn, error) {

            return fasthttp.DialTimeout(addr, time.Second*10)

        },

        MaxConnsPerHost: 500,

    }

    _, body, err := fastClient.GetTimeout(nil, "https://en.wikipedia.org/wiki/Immanuel_Kant", time.Duration(time.Second*20))

    if err != nil {

        log.Fatal(err)

    }

    f, err := os.Create(fmt.Sprintf("./data/%d.txt", i))

    if err != nil {

        log.Fatal(err)

    }

    defer f.Close()

    w := bufio.NewWriter(f)

    w.Write(body)

}

最大的问题是，两种解决方案都正确吗？还是 Example2 解决方案真的创建了一个新实例并为每个 goroutine 使用了大量内存？

我为我的问题从片段中制作了示例，在 Example2 中肯定defer丢失了。这不是问题的一部分。

一个小问题： (fastClient *fasthttp.Client, i int, wg *sync.WaitGroup)-> fastClient 和 wg 是指针，那么为什么调用grabPage(c, index, &wg)而不是grabPage(&c, index, &wg)呢？

Answer 1

大答案：两者都是正确的（因为它们工作得很好），只是不同。根据文档， afasthttp.Client对于并发使用是安全的，因此共享一个实例很好。它可能会遇到并发连接限制，但这可能不是问题。第二个示例确实有一些开销，并且无法重用连接或参数，但这可能是一个无关紧要的用例（如果我只执行两个操作，节省开销可能不值得优化） .对于问题的第二部分：c已经是 a&nbsp;*fasthttp.Client，所以不需要获取它的地址（&fasthttp.Client返回一个指向 new 的指针fasthttp.Client）wg是一个平原sync.WaitGroup，所以必须采取地址