メモリの問題を回避するために、大きなテキスト ファイルを 1 行ずつ効率的に処理するにはどうすればよいですか?

メモリ効率よく大きなテキスト ファイルを 1 行ずつ読み取る

メモリを圧迫せずに大きなテキスト ファイルを処理するには、次のようなアプローチを検討します。全体をロードせずに、一度に 1 行ずつ読み取ります。 content.

解決策:

重要なのは、for ループを使用してファイル オブジェクト自体を反復処理することです。

with open("log.txt") as infile:
    for line in infile:
        print(line)

By using aコンテキスト マネージャー (open(...) を使用) では、処理後にファイルが適切に閉じられるようにします。

方法動作します:

open() 関数は、反復をサポートするファイル オブジェクトを返します。ファイル内の各行は文字列として表され、ループはこれらの行を反復処理します。これにより、ファイル全体をメモリにロードすることなく、各行を個別に処理できます。

使用例:

log.txt が大きなテキスト ファイルであると仮定すると、コードはそれを行ごとに次のように読み取ります

with open("log.txt") as infile:
    for line in infile:
        # Perform operations on each line here (e.g., print, write to another file)

利点:

• メモリ効率が高い: 一度に 1 行だけがメモリにロードされます。
• スケーラブル: 数十億ものファイルを含む大きなファイルの処理にも使用できます。
• シンプルでポータブル: さまざまなプラットフォームやプログラミング環境で動作します。

以上がメモリの問題を回避するために、大きなテキスト ファイルを 1 行ずつ効率的に処理するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。