ruby 1.9：UTF-8中的无效字节序列

Question

我正在用Ruby（1.9）编写一个爬虫，该爬虫使用了来自许多随机站点的大量HTML。
尝试提取链接时，我决定只使用.scan(/href="(.*?)"/i)nokogiri / hpricot（主要是提高速度）。问题是我现在收到很多“ invalid byte sequence in UTF-8”错误。
据我了解，该net/http库没有任何特定于编码的选项，并且进来的东西基本上没有正确标记。
实际使用该传入数据的最佳方法是什么？我尝试.encode设置了replace和invalid选项，但到目前为止没有成功...

Answer 1

我建议您使用HTML解析器。只要找到最快的一个。解析HTML并不像看起来那样容易。浏览器会在UTF-8 HTML文档中解析无效的UTF-8序列，只需将“ ...”符号放入即可。因此，一旦解析了HTML中的无效UTF-8序列，生成的文本便是有效字符串。即使在属性值内部，您也必须解码amp等HTML实体这是一个很好的问题，总结了为什么不能可靠地使用正则表达式解析HTML： RegEx匹配除XHTML自包含标签之外的其他打开标签

Answer 2

attachment = file.readbegin   # Try it as UTF-8 directly   cleaned = attachment.dup.force_encoding('UTF-8')   unless cleaned.valid_encoding?     # Some of it might be old Windows code page     cleaned = attachment.encode( 'UTF-8', 'Windows-1252' )   end   attachment = cleaned rescue EncodingError   # Force it to UTF-8, throwing out invalid bits   attachment = attachment.force_encoding("ISO-8859-1").encode("utf-8", replace: nil) end