如何读取大型平面文件

Question

我有一个平面文件，其中包含 339276 行文本，大小为 62.1 MB。我试图读取所有行，根据我拥有的一些条件解析它们，然后将它们插入到数据库中。

我最初尝试使用 bufio.Scan() 循环和 bufio.Text() 来获取该行，但我的缓冲区空间不足。我改用 bufio.ReadLine/ReadString/ReadByte（我尝试了每个）并且每个都遇到了同样的问题。我没有足够的缓冲空间。

我尝试使用 read 并设置缓冲区大小，但正如文档所说，它实际上是一个可以变小但永远不会大于 64*1024 字节的常量。然后我尝试使用 File.ReadAt 设置起始位置并在我引入每个部分时将其移动，但无济于事。

我如何将整个文件（一行一行或一次整个文件）读入一个切片，以便我可以对这些行进行处理？

这是我尝试过的一些代码：

                 file, err := os.Open(feedFolder + value)

                 handleError(err)

                 defer file.Close()

                 //              fileInfo, _ := file.Stat()

                 var linesInFile []string

             r := bufio.NewReader(file)

             for {

                     path, err := r.ReadLine("\n") // 0x0A separator = newline

                     linesInFile = append(linesInFile, path)

                     if err == io.EOF {

                             fmt.Printf("End Of File: %s", err)

                             break

                     } else if err != nil {

                             handleError(err) // if you return error

                     }

             }

             fmt.Println("Last Line: ", linesInFile[len(linesInFile)-1])

这是我尝试过的其他事情：

var fileSize int64 = fileInfo.Size()

    fmt.Printf("File Size: %d\t", fileSize)

    var bufferSize int64 = 1024 * 60

    bytes := make([]byte, bufferSize)

    var fullFile []byte

    var start int64 = 0

    var interationCounter int64 = 1

    var currentErr error = nil

         for currentErr != io.EOF {

            _, currentErr = file.ReadAt(bytes, st)

            fullFile = append(fullFile, bytes...)

            start = (bufferSize * interationCounter) + 1

            interationCounter++

          }

     fmt.Printf("Err: %s\n", currentErr)

     fmt.Printf("fullFile Size: %s\n", len(fullFile))

     fmt.Printf("Start: %d", start)

我很茫然。要么我不完全了解缓冲区的工作原理，要么我不了解其他东西。谢谢阅读。

Answer 1

在我看来，这个变体readLines比建议的 peterSO 更短更快func readLines(filename string) (map[int]string, error) {    lines := make(map[int]string)    data, err := ioutil.ReadFile(filename)    if err != nil {        return nil, err    }    for n, line := range strings.Split(string(data), "\n") {        lines[n] = line    }    return lines, nil}