Python を使用して大量のファイルを含むフォルダーをループするにはどうすればよいですか?

大規模なモデルのトレーニング データを処理する場合、多くの場合、数千万または数億のファイルが含まれる可能性のある大きなフォルダーを走査する必要があります。このとき、OS などの一般的な Python 走査関数は非常に遅くなります。 .walk、glob、path.rglob など。同時に、全体の移動時間は推定できません。

この記事では、Python の os.scandir を使用し、幅優先検索アルゴリズムに基づいて、制御可能かつ効率的なファイルの走査を実現し、同時に走査ログを出力します。ファイルを非表示にし、多数のファイルを含むフォルダーを横断する機能を実装します。

os.scandir は、パスで指定されたディレクトリ内のエントリに対応する os.DirEntry オブジェクトのイテレータを返すディレクトリ反復関数です。これらのエントリは、特別なエントリを除き、任意の順序で生成されます。そして「」」。 os.scandir の操作効率は os.walk よりも高く、PEP 471 では、Python 公式もディレクトリの横断に os.scandir を使用することを推奨しています。

ソース コード

def traverse_dir_files_for_large(root_dir, ext=""):
    """
    列出文件夹中的文件, 深度遍历
    :param root_dir: 根目录
    :param ext: 后缀名
    :return: 文件路径列表
    """
    paths_list = []
    dir_list = list()
    dir_list.append(root_dir)
    while len(dir_list) != 0:
        dir_path = dir_list.pop(0)
        dir_name = os.path.basename(dir_path)
        for i in tqdm(os.scandir(dir_path), f"[Info] dir {dir_name}"):
            path = i.path
            if path.startswith('.'):  # 去除隐藏文件
                continue
            if os.path.isdir(path):
                dir_list.append(path)
            else:
                if ext:  # 根据后缀名搜索
                    if path.endswith(ext):
                        paths_list.append(path)
                else:
                    paths_list.append(path)
    return paths_list

出力ログ:

[情報] 初期化パスが開始します!
[情報] データ セット パス: / alphafoldDB/pdb_from_uniprot
[情報] dir pdb_from_uniprot: 256it [00:10, 24.47it/s]
[情報] dir 00: 240753it [00:30, 7808.36it/s]
[情報] dir 01: 241432it [00:24、9975.56it/s]
[情報] dir 02: 240466it [00:24、9809.68it/s]
[情報] dir 03: 241236it [00:22、10936.76それ /s]
[情報] ディレクトリ 04: 241278it [00:24、10011.14it/s]
[情報] ディレクトリ 05: 241348it [00:25、9414.16it/s]

補足

##上記のメソッドに加えて、エディターはフォルダーをトラバースするための他の Python メソッドもコンパイルしました。必要な場合は参照してください

方法 1: os.walk() を介してファイルを直接処理します。

def traverse_dir_files(root_dir, ext=None, is_sorted=True):
    """
    列出文件夹中的文件, 深度遍历
    :param root_dir: 根目录
    :param ext: 后缀名
    :param is_sorted: 是否排序，耗时较长
    :return: [文件路径列表, 文件名称列表]
    """
    names_list = []
    paths_list = []
    for parent, _, fileNames in os.walk(root_dir):
        for name in fileNames:
            if name.startswith('.'):  # 去除隐藏文件
                continue
            if ext:  # 根据后缀名搜索
                if name.endswith(tuple(ext)):
                    names_list.append(name)
                    paths_list.append(os.path.join(parent, name))
            else:
                names_list.append(name)
                paths_list.append(os.path.join(parent, name))
    if not names_list:  # 文件夹为空
        return paths_list, names_list
    if is_sorted:
        paths_list, names_list = sort_two_list(paths_list, names_list)
    return paths_list, names_list

方法 2: pathlib.Path().rglob() を介してトラバースする必要があります。ファイルをフィルタリングして、速度を向上させます。 glob() は再帰的トラバーサルをサポートしていないことに注意してください。

以上がPython を使用して大量のファイルを含むフォルダーをループするにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。