为什么 HTTP 请求总是需要与完全超时一样长的时间？
我正在制作一个 _golang git bruteforcer。它的行为有点奇怪，我想这与并发有关。 sync.WaitGroup
这是代码：
package main
import { <snipped for brevity> }
// ReadFile : Reads File and returns it's contents
func ReadFile(fileName string) []string { <snipped for brevity> }
func joinString(strs ...string) string { <snipped for brevity> }
// MakeRequest : Makes requests concurrently
func MakeRequest(client *http.Client, url string, useragent string, ch chan<- string, wg *sync.WaitGroup) {
defer wg.Done()
// start := time.Now()
request, err := http.NewRequest("GET", url, nil)
if err != nil {
fmt.Println(err)
return
}
request.Header.Set("User-Agent", useragent)
response, err := client.Do(request)
if err != nil {
return
}
// secs := time.Since(start).Seconds()
if response.StatusCode < 400 {
// fmt.Printf("Time elapsed %f", secs)
bodyBytes, err := ioutil.ReadAll(response.Body)
if err != nil {
log.Fatal(err)
}
defer response.Body.Close()
bodyString := string(bodyBytes)
notGit, err := regexp.MatchString("<html>", strings.ToLower(bodyString))
if !notGit && len(bodyString) > 0 { // empty pages and html pages shouldn't be included
fmt.Println(bodyString)
ch <- fmt.Sprintf(" %s ", Green(url))
}
}
}
在职的 ：
它从文件中读取 url 并/.git, /.git/HEAD, /.git/description, /.git/index在网络服务器上进行检查。
问题： 如果我将http.Client超时更改为2 seconds它将在 2 秒内完成，如果是 50 秒它将等到 50 秒，输入文件是否包含 10 个 url 或 500 个 url 并不重要。我的理解是，如果有更多的 url，它将等到 goroutine 传递的最后一个 URL 超时。
GCT10151回答
-
达令说
在代码中，您从文件中读取 URL，然后并行触发所有这些 URL 的请求，然后等待所有并行请求完成。所以这实际上是有道理的，并不表明存在问题：如果我将 http.Client 超时更改为 2 秒，它将在 2 秒内完成，如果是 50 秒，它将等到 50 秒，输入文件是否包含 10 个 url 或 500 个 url 并不重要。假设您的文件有 500 个 URL。您并行触发 500 个请求...然后等待所有请求完成（请记住，它们都是并行执行的）。那需要多长时间？在最坏的情况下（所有请求都在 50 秒超时），总共只需要 50 秒（因为它们都在并行等待这 50 秒）。在最好的情况下（所有请求都成功通过且没有超时），应该需要几秒钟。在一般情况下，您可能会看到（在 50 秒处出现几次超时），然后需要 50 秒（在最坏的情况下，您将等待这几个请求并行等待这 50 秒）。
随时随地看视频慕课网APP
相关分类
Go