有效地列出具有非常多条目的目录中的文件

Question

我需要递归读取目录结构，但我还需要在阅读每个目录的所有条目后执行额外的步骤。因此，我需要编写自己的递归逻辑（并且不能使用简单的filepath.Walk例程）。但是，ioutil.ReadDir和filepath.Glob例程只返回切片。如果我要突破 ext4或xfs的限制，并且有一个包含数十亿个文件的目录怎么办？我希望golang有一个函数，它os.FileInfo通过一个通道而不是一个排序的切片返回一系列未排序的（或者甚至更好的原始字符串）。在这种情况下，我们如何有效地读取文件条目？

上面引用的所有函数似乎都依赖readdirnames于os/dir_unix.go，并且由于某种原因，它只是在看起来很容易产生一个gothread并将值推入通道时才创建一个数组. 这样做可能有合理的逻辑，但尚不清楚它是什么。我是 Go 的新手，所以我也很容易错过一些对其他人显而易见的原则。

这是源代码，为方便起见：

func (f *File) readdirnames(n int) (names []string, err error) {

    // If this file has no dirinfo, create one.

    if f.dirinfo == nil {

        f.dirinfo = new(dirInfo)

        // The buffer must be at least a block long.

        f.dirinfo.buf = make([]byte, blockSize)

    }

    d := f.dirinfo

    size := n

    if size <= 0 {

        size = 100

        n = -1

    }

    names = make([]string, 0, size) // Empty with room to grow.

    for n != 0 {

        // Refill the buffer if necessary

        if d.bufp >= d.nbuf {

            d.bufp = 0

            var errno error

            d.nbuf, errno = fixCount(syscall.ReadDirent(f.fd, d.buf))

            if errno != nil {

                return names, NewSyscallError("readdirent", errno)

            }

            if d.nbuf <= 0 {

                break // EOF

            }

        }

        // Drain the buffer

        var nb, nc int

        nb, nc, names = syscall.ParseDirent(d.buf[d.bufp:d.nbuf], n, names)

        d.bufp += nb

        n -= nc

    }

    if n >= 0 && len(names) == 0 {

        return names, io.EOF

    }

    return names, nil

}

Answer 1

ioutil.ReadDir并且filepath.Glob只是围绕读取目录条目的便利功能。如果提供的参数 > 0&nbsp;，则可以直接使用Readdir或Readdirnames方法批量读取目录条目n。对于像读取目录条目这样基本的事情，不需要添加 goroutine 和通道的开销，并且还提供了返回错误的替代方法。如果您愿意，您始终可以使用自己的 goroutine 和通道模式包装批量调用。