在Python中获取大文件的MD5哈希值

Question

在Python中获取大文件的MD5哈希值

我使用了hashlib（它取代了Python 2.6 / 3.0中的md5），如果我打开一个文件并将其内容放入hashlib.md5()函数中，它工作正常。

问题在于非常大的文件，它们的大小可能超过RAM大小。

如何在不将整个文件加载到内存的情况下获取文件的MD5哈希值？

Answer 1

将文件分成128个字节的块并连续使用它们将它们送到MD5 update()。这利用了MD5具有128字节摘要块的事实。基本上，当MD5 digest()是文件时，这正是它正在做的事情。如果确保在每次迭代时释放内存（即不将整个文件读取到内存中），则该内存不应超过128个字节。一个例子是像这样读取块：f = open(fileName)while not endOfFile:     f.read(128)

Answer 2

如果您关心更多pythonic（没有'while True'）阅读文件的方式，请检查以下代码：import hashlibdef checksum_md5(filename):     md5 = hashlib.md5()     with open(filename,'rb') as f:          for chunk in iter(lambda: f.read(8192), b''):              md5.update(chunk)     return md5.digest()请注意，iter（）func需要一个空的字节字符串，以便返回的迭代器在EOF处停止，因为read（）返回b''（不仅仅是''）。