无效字符的字节到字符串转换

Question

我需要解析可能无效或包含一些错误的 UDP 数据包。我想用.字节到字符串转换后替换无效字符，以显示数据包的内容。

我该怎么做？这是我的代码：

func main() {

   a := []byte{'a', 0xff, 0xaf, 'b', 0xbf}

   s := string(a)

   s = strings.Replace(s, string(0xFFFD), ".", 0)

   fmt.Println("s: ", s) // I would like to display "a..b."

   for _, r := range s {

      fmt.Println("r: ", r)

   }

   rs := []rune(s)

   fmt.Println("rs: ", rs)

}

Answer 1

您的方法的根本问题是类型转换[]byte为的结果中string没有任何U+FFFDs ：此类型转换仅将字节从源逐字复制到目标。就像字节切片一样，Go 中的字符串没有义务包含 UTF-8 编码的文本；它们可以包含任何数据，包括与文本无关的不透明二进制数据。但是对字符串的一些操作——即将它们类型转换为[]rune并使用它们迭代range——确实将字符串解释为 UTF-8 编码的文本。这正是你被绊倒的地方：你的range调试循环试图解释字符串，每次解码正确编码的代码点的尝试失败时，都会range产生一个替换字符，U+FFFD.重申一下，通过类型转换获得的字符串不包含您希望被正则表达式替换的字符。至于如何从您的数据中实际生成有效的 UTF-8 编码字符串，您可以采用两步过程：将你的字节切片类型转换为字符串——就像你已经做的那样。使用任何将字符串解释为 UTF-8 的方法——替换将在此过程中动态出现的 U+FFFD——在您进行迭代时。像这样的东西：var sb strings.Builderfor _, c := range string(b) {  if c == '\uFFFD' {    sb.WriteByte('.')  } else {    sb.WriteRune(c)  }}return sb.String()关于性能的说明：由于将 a 类型转换[]byte为string复制内存——因为字符串是不可变的，而切片不是——类型转换的第一步可能会浪费处理大量数据和/或紧密工作的代码的资源处理循环。在这种情况下，可能值得使用适用于字节片的包的DecodeRune功能。encoding/utf8它的文档中的一个例子可以很容易地适应上面的循环。

Answer 2

您可能希望strings.ToValidUTF8()用于此：ToValidUTF8 返回字符串 s 的副本，其中每次运行无效的 UTF-8 字节序列都被替换字符串替换，该替换字符串可能为空。它“似乎”完全符合您的需要。测试它：a := []byte{'a', 0xff, 0xaf, 'b', 0xbf}s := strings.ToValidUTF8(string(a), ".")fmt.Println(s)输出（在Go Playground上试试）：a.b.我写“貌似”是因为如您所见，a和b: 之间只有一个点，因为可能有 2 个字节，但有一个无效序列。请注意，您可以避免[]byte=>string转换，因为有一个bytes.ToValidUTF8()等价的操作并返回 a []byte：a := []byte{'a', 0xff, 0xaf, 'b', 0xbf}a = bytes.ToValidUTF8(a, []byte{'.'})fmt.Println(string(a))输出将是相同的。在Go Playground上试试这个。如果您对多个（无效序列）字节可能会缩小为一个点感到困扰，请继续阅读。另请注意，要检查可能包含或不包含文本的任意字节切片，您可以简单地使用hex.Dump()which 生成如下输出：a := []byte{'a', 0xff, 0xaf, 'b', 0xbf}fmt.Println(hex.Dump(a))输出：00000000  61 ff af 62 bf                                    |a..b.|您的预期输出a..b.包含其他（有用的）数据，例如十六进制偏移量和字节的十六进制表示。要获得“更好”的输出图片，请尝试使用更长的输入：a = []byte{'a', 0xff, 0xaf, 'b', 0xbf, 50: 0xff}fmt.Println(hex.Dump(a))00000000  61 ff af 62 bf 00 00 00  00 00 00 00 00 00 00 00  |a..b............|00000010  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|00000020  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|00000030  00 00 ff                                          |...|

Answer 3

并且非常清楚地解释了从字符串中扫描 unicode 符文的问题。只需添加以下注释：如果您的意图是仅查看 ASCII 范围内的字符（可打印字符 < 127）并且您并不真正关心其他 unicode 代码点，您可以更直率：// create a byte slice with the same byte length as svar bs = make([]byte, len(s))// scan s byte by byte :for i := 0; i < len(s); i++ {&nbsp; &nbsp; switch {&nbsp; &nbsp; case 32 <= s[i] && s[i] <= 126:&nbsp; &nbsp; &nbsp; &nbsp; bs[i] = s[i]&nbsp; &nbsp; // depending on your needs, you may also keep characters in the 0..31 range,&nbsp; &nbsp; // like 'tab' (9), 'linefeed' (10) or 'carriage return' (13) :&nbsp; &nbsp; // case s[i] == 9, s[i] == 10, s[i] == 13:&nbsp; &nbsp; //&nbsp; &nbsp;bs[i] = s[i]&nbsp; &nbsp; default:&nbsp; &nbsp; &nbsp; &nbsp; bs[i] = '.'&nbsp; &nbsp; }}fmt.Printf("rs: %s\n", bs)这个功能会给你一些接近“文本”部分的东西hexdump -C。