Go程序中goroutine的合理使用

Question

我的程序有一个长时间运行的任务。我有一个jdIdList太大的列表- 最多1000000项目，所以下面的代码不起作用。有没有办法通过更好地使用 goroutine 来改进代码？

似乎我有太多的 goroutine 正在运行，这使我的代码无法运行。

运行的合理数量的 goroutine 是多少？

var wg sync.WaitGroup

wg.Add(len(jdIdList))

c := make(chan string)

// just think jdIdList as [0...1000000]

for _, jdId := range jdIdList {

    go func(jdId string) {

        defer wg.Done()

        for _, itemId := range itemIdList {

            // following code is doing some computation which consumes much time(you can just replace them with time.Sleep(time.Second * 1)

            cvVec, ok := cvVecMap[itemId]

            if !ok {

                continue

            }

            jdVec, ok := jdVecMap[jdId]

            if !ok {

                continue

            }

            // long time compute

            _ = 0.3*computeDist(jdVec.JdPosVec, cvVec.CvPosVec) + 0.7*computeDist(jdVec.JdDescVec, cvVec.CvDescVec)

        }

        c <- fmt.Sprintf("done %s", jdId)

    }(jdId)

}

go func() {

    for resp := range c {

        fmt.Println(resp)

    }

}()

Answer 1

看起来您同时运行了太多东西，导致您的计算机内存不足。这是您的代码版本，它使用有限数量的工作程序 goroutines 而不是您的示例中的一百万个 goroutines。由于一次只有几个 goroutine 运行，因此在系统开始交换之前，它们每个都有更多的可用内存。确保每个小计算所需的内存乘以并发 goroutines 的数量小于您系统中的内存，因此如果for jdId := range work循环内的代码需要少于 1GB 的内存，并且您有 4 个内核和至少 4 GB 的 RAM，设置clvl为4应该可以正常工作。我还删除了等待组。代码仍然是正确的，但仅使用通道进行同步。通道上的 for 范围循环从该通道读取，直到它关闭。这就是我们在完成时告诉工作线程的方式。https://play.golang.org/p/Sy3i77TJjAruntime.GOMAXPROCS(runtime.NumCPU()) // not needed on go 1.5 or laterc := make(chan string)work := make(chan int, 1) // increasing 1 to a higher number will probably increase performanceclvl := 4 // runtime.NumCPU() // simulating having 4 cores, use NumCPU otherwisevar wg sync.WaitGroupwg.Add(clvl)for i := 0; i < clvl; i++ {&nbsp; &nbsp; go func(i int) {&nbsp; &nbsp; &nbsp; &nbsp; for jdId := range work {&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; time.Sleep(time.Millisecond * 100)&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; c <- fmt.Sprintf("done %d", jdId)&nbsp; &nbsp; &nbsp; &nbsp; }&nbsp; &nbsp; &nbsp; &nbsp; wg.Done()&nbsp; &nbsp; }(i)}// give workers something to dogo func() {&nbsp;&nbsp; &nbsp; for i := 0; i < 10; i++ {&nbsp; &nbsp; &nbsp; &nbsp; work <- i&nbsp; &nbsp; }&nbsp; &nbsp; close(work)}()// close output channel when all workers are donego func() {&nbsp;&nbsp; &nbsp; wg.Wait()&nbsp; &nbsp; close(c)}()count := 0for resp := range c {&nbsp; &nbsp; fmt.Println(resp, count)&nbsp; &nbsp; count += 1}它在 go playground 上生成了这个输出，同时模拟了四个 CPU 内核。done 1 0done 0 1done 3 2done 2 3done 5 4done 4 5done 7 6done 6 7done 9 8done 8 9请注意如何不保证排序。该jdId变量保存您想要的值。您应该始终使用gorace 检测器来测试您的并发程序。另请注意，如果您使用的是 go 1.4 或更早版本并且尚未将 GOMAXPROCS 环境变量设置为内核数，则应该这样做，或者添加runtime.GOMAXPROCS(runtime.NumCPU())到程序的开头。