有没有比列出目录中的所有文件更快的查找文件的方法？

Question

我的工作流程如下所示：

for i in some_list:
    if i not in os.listdir(a_directory):
        x = do_something(i)
        x.to_pickle(f"{a_directory}/{i}")

它os.listdir很昂贵，因为目录很大，而且它是通过网络文件系统进行的。

我有多个工作人员做这项工作，所以我不能只列出一次目录的内容。如果我这样做，那么我的工人就会重复他们的工作，而且do_something毕竟比os.listdir.

有没有什么东西可以查找特定文件的存在，而不是将它们全部转储到 python 列表中供我进行字符串匹配？

Answer 1

您可以根据以下问题直接检查文件是否存在：检查文件是否存在从那个答案来看：import os.pathos.path.isfile(fname)或者：from pathlib import Pathmy_file = Path("/path/to/file")if my_file.is_file():    # file exists