常见问题[04]：如何高效迭代处理大型数据集

Summary

希望可以迭代处理一个元素列表，不过整个列表会占用大量内存，或者生成整个列表的速度非常慢。

最简单的方法是使用file()函数。这会打开文件，将每一行分别加载到一个数组中的一个元素，然后关闭文件。不过，这样将把整个文件都保存在内存中。

$file = file('log.txt');foreach ($file as $line) {    if (preg_match('/^error: /',$line)) print $line.'</br>';
}

Solve

更好的解决办法是，使用一个生成器，如下：

// The Generatorfunction FileLineGenerator($file) {    if(!$fh = fopen($file,'r')) {        return;
    }    while (false !== ($line = fgets($fh))) {        yield $line;
    }
    fclose($fh);
}// Test$file = FileLineGenerator('log.txt');foreach ($file as $line) {    if (preg_match('/^error: /',$line)) {        print $line.'</br>';
    }
}

作者：Nosee123
链接：https://www.jianshu.com/p/68e420e9a6cb