如何在不将其加载到内存的情况下逐行读取Python中的大型文本文件？

Question

如何在不将其加载到内存的情况下逐行读取Python中的大型文本文件？

我需要逐行读一个大文件。假设该文件的容量超过5GB，我需要读取每一行，但显然我不想使用readlines()因为它会在内存中创建一个非常大的列表。

下面的代码将如何适用于这种情况？是xreadlines一个地读进记忆？需要生成器表达式吗？

f = (line for line in open("log.txt").xreadlines())  # how much is loaded in memory?f.next()

另外，我还能做些什么才能像linux那样，按相反的顺序读取这些内容呢？tail指挥部？

我发现：

http://code.google.com/p/pytailer/

和

"按文本文件行读取的Python头、尾和后读"

两个人都干得很好！

Answer 1

我提供这个答案是因为基思虽然简洁，但没有关闭文件明示with open("log.txt") as infile:     for line in infile:         do_something_with(line)

Answer 2

您所需要做的就是使用文件对象作为迭代器。for line in open("log.txt"):     do_something_with(line)更好的方法是在最近的Python版本中使用上下文管理器。with open("log.txt") as fileobject:     for line in fileobject:         do_something_with(line)这也将自动关闭文件。

Answer 3

一种古老的方法：fh = open(file_name, 'rt')line = fh.readline()while line:     # do stuff with line     line = fh.readline()fh.close()