手记

常见问题[04]:如何高效迭代处理大型数据集

Summary

希望可以迭代处理一个元素列表,不过整个列表会占用大量内存,或者生成整个列表的速度非常慢。

最简单的方法是使用file()函数。这会打开文件,将每一行分别加载到一个数组中的一个元素,然后关闭文件。不过,这样将把整个文件都保存在内存中。

$file = file('log.txt');foreach ($file as $line) {    if (preg_match('/^error: /',$line)) print $line.'</br>';
}

Solve

更好的解决办法是,使用一个生成器,如下:

// The Generatorfunction FileLineGenerator($file) {    if(!$fh = fopen($file,'r')) {        return;
    }    while (false !== ($line = fgets($fh))) {        yield $line;
    }
    fclose($fh);
}// Test$file = FileLineGenerator('log.txt');foreach ($file as $line) {    if (preg_match('/^error: /',$line)) {        print $line.'</br>';
    }
}



作者:Nosee123
链接:https://www.jianshu.com/p/68e420e9a6cb


0人推荐
随时随地看视频
慕课网APP