golang HTML 字符集解码

Question

我正在尝试解码非utf-8 编码的HTML 页面。

<meta http-equiv="Content-Type" content="text/html; charset=gb2312">

有没有可以做到这一点的图书馆？我在网上找不到一个。

PS 当然，我可以使用 goquery 和 iconv-go 提取字符集并解码 HTML 页面，但我不想重新发明轮子。

Answer 1

Golang 官方提供了扩展包：charset和encoding。下面的代码确保 HTML 包可以正确解析文档：func detectContentCharset(body io.Reader) string {    r := bufio.NewReader(body)    if data, err := r.Peek(1024); err == nil {        if _, name, ok := charset.DetermineEncoding(data, ""); ok {            return name        }    }    return "utf-8"}// Decode parses the HTML body on the specified encoding and// returns the HTML Document.func Decode(body io.Reader, charset string) (interface{}, error) {    if charset == "" {        charset = detectContentCharset(body)    }    e, err := htmlindex.Get(charset)    if err != nil {        return nil, err    }    if name, _ := htmlindex.Name(e); name != "utf-8" {        body = e.NewDecoder().Reader(body)    }    node, err := html.Parse(body)    if err != nil {        return nil, err    }    return node, nil}

Answer 2

goquery可以满足您的需求。例如：import "https://github.com/PuerkitoBio/goquery"func main() {    d, err := goquery.NewDocument("http://www.google.com")    dh := d.Find("head")    dc := dh.Find("meta[http-equiv]")    c, err := dc.Attr("content") // get charset    // ...}更多的操作可以在Document结构中找到。