框架 GoColly - 重定向到 HTTPS 不起作用

Question

我正在使用 GoColly 框架来获取一些 url 的正文。现在我正在测试 Netflix 网站，下面有这段代码

u = "http://netflix.com"

uri, err := url.Parse(u)

if err != nil {

    fmt.Println(err.Error())

    continue

}

c := colly.NewCollector()

c.AllowedDomains = []string{"netflix.com"}

c.OnResponse(func(r *colly.Response) {

    q.r.Set("success:"+u, string(r.Body))

})

c.OnError(func(r *colly.Response, err error) {

    log.Println(err.Error())

    q.r.Set("failed:"+u, err.Error())

})

c.Visit(uri.String())

c.Wait()

我正在使用 GoColly 框架来获取一些 url 的正文。现在我正在测试 Netflix 网站，下面有这段代码

u = "http://netflix.com"

uri, err := url.Parse(u)

if err != nil {

    fmt.Println(err.Error())

    continue

}

c := colly.NewCollector()

c.AllowedDomains = []string{"netflix.com"}

c.OnResponse(func(r *colly.Response) {

    q.r.Set("success:"+u, string(r.Body))

})

c.OnError(func(r *colly.Response, err error) {

    log.Println(err.Error())

    q.r.Set("failed:"+u, err.Error())

})

c.Visit(uri.String())

c.Wait()

当我执行它时，它会返回此错误Get https://www.netflix.com/ : Not following redirect to www.netflix.com because its not in AllowedDomains

有什么想法吗？

Answer 1

c.AllowedDomains = []string{"netflix.com"}您在此处指定了没有子域的域www ，这就是在允许的域中找不到它的原因。c.AllowedDomains = []string{"www.netflix.com"}