当某些行足够长导致“bufio.Scanner: token too long”错误时

Question

我有一个文本文件，其中每一行代表一个 JSON 对象。我正在用一个简单的for循环在 Go 中处理这个文件：

scanner := bufio.NewScanner(file)

for scanner.Scan() {

   jsonBytes = scanner.Bytes()

   var jsonObject interface{}

   err := json.Unmarshal(jsonBytes, &jsonObject)

   // do stuff with "jsonObject"...

}

if err := scanner.Err(); err != nil {

   log.Fatal(err)

}

当此代码到达包含特别大 JSON 字符串 (~67kb) 的一行时，我收到错误消息“bufio.Scanner：令牌太长”。

有没有一种简单的方法可以增加可读的最大行大小NewScanner？或者，当需要读取过大NewScanner但通常已知不是不安全大小的行时，您是否可以完全采用另一种方法？

Answer 1

从包文档：需要对错误处理或大令牌进行更多控制，或者必须在读取器上运行顺序扫描的程序，应改用 bufio.Reader。看起来首选的解决方案是 bufio.Reader.ReadLine。

Answer 2

你也可以这样做：scanner := bufio.NewScanner(file)buf := make([]byte, 0, 64*1024)scanner.Buffer(buf, 1024*1024)for scanner.Scan() {    // do your stuff}Scanner.Buffer() 的第二个参数设置最大令牌大小。在上面的示例中，只要没有任何行大于 1MB，您就可以扫描文件。

Answer 3

您肯定不想首先逐行阅读。你为什么不这样做：d := json.NewDecoder(file)for {   var ob whateverType   err := d.Decode(&ob)   if err == io.EOF {       break   }   if err != nil {       log.Fatalf("Error decoding: %v", err)   }   // do stuff with "jsonObject"...}