検索
ホームページバックエンド開発Python チュートリアルPython でファイルを読み取る 4 つの異なる方法の比較

Pythonテキスト処理は、主に Pythonファイルの読み取り方法の比較に関する関連情報を紹介します。それを理解して学ぶために、必要な友達は来て、以下を見てください。

はじめに

Python にはさまざまなファイルの読み取り方法があることは誰もが知っていますが、大きなファイルを読み取る必要がある場合、読み取り方法が異なれば効果も異なります。以下に詳しい紹介を見てみましょう。

シナリオ

2.9Gの大きなファイルを一行ずつ読み込む

  • CPU i7 6820HQ

  • RAM 32G

各行のメソッド

読み取りと1 つの分割string操作を実行します

次のメソッドはすべて with...as メソッドを使用してファイルを開きます。

with ステートメントは、使用後のファイルの自動クローズ、スレッド内のロックの自動取得と解放など、使用中に例外が発生したかどうかに関係なく、必要な「クリーニング」操作が実行され、リソースが解放されるようにリソースにアクセスするのに適しています。 、など。

方法 1 ファイルを読み取る最も一般的な方法

with open(file, 'r') as fh:
 for line in fh.readlines():
 line.split("|")

実行結果: 15.4346568584 秒かかりました

システム モニターには、メモリが突然 4.8G から 8.4G に急増したことが示されています (fh.readlines()) will 読み取られたデータのすべての行はメモリに保存されます。この方法は小さなファイルに適しています。

方法2

with open(file, 'r') as fh:
 line = fh.readline()
 while line:
 line.split("|")

実行結果: 22.3531990051秒かかりました

メモリ内のデータは1行しかアクセスされないため、メモリにはほとんど変化はありませんが、時間は明らかに長くなります。前回は、データをさらに処理するのは効率的ではないと言いました。

方法3

with open(file) as fh:
 for line in fh:
 line.split("|")

実行結果: 13.9956979752秒かかりました

メモリはほとんど変化がなく、方法2よりも速度が速くなります。 fh の

行は、ファイル オブジェクト fh を反復可能として扱い、バッファリングされた IO とメモリ管理を自動的に使用するため、大きなファイルについて心配する必要はありません。これは非常に Python 的な方法です。

方法4 fileinputモジュール

for line in fileinput.input(file):
 line.split("|")

実行結果: 26.1103110313秒かかりました

メモリは200〜300MB増加し、速度は上記で最も遅くなります。

概要

上記の方法は参照のみを目的としており、大きなファイルを読み取るために認識されている 3 つの方法が依然として最適です。ただし、具体的な状況はマシンのパフォーマンスとデータ処理の複雑さに依存します。

【関連する推奨事項】

1. ファイルの後のn行を読み取るPythonコード例

2. Pythonを使用してファイルアプレットを読み取る

以上がPython でファイルを読み取る 4 つの異なる方法の比較の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
Python:自動化、スクリプト、およびタスク管理Python:自動化、スクリプト、およびタスク管理Apr 16, 2025 am 12:14 AM

Pythonは、自動化、スクリプト、およびタスク管理に優れています。 1)自動化:OSやShutilなどの標準ライブラリを介してファイルバックアップが実現されます。 2)スクリプトの書き込み:Psutilライブラリを使用してシステムリソースを監視します。 3)タスク管理:スケジュールライブラリを使用してタスクをスケジュールします。 Pythonの使いやすさと豊富なライブラリサポートにより、これらの分野で優先ツールになります。

Pythonと時間:勉強時間を最大限に活用するPythonと時間:勉強時間を最大限に活用するApr 14, 2025 am 12:02 AM

限られた時間でPythonの学習効率を最大化するには、PythonのDateTime、時間、およびスケジュールモジュールを使用できます。 1. DateTimeモジュールは、学習時間を記録および計画するために使用されます。 2。時間モジュールは、勉強と休息の時間を設定するのに役立ちます。 3.スケジュールモジュールは、毎週の学習タスクを自動的に配置します。

Python:ゲーム、GUIなどPython:ゲーム、GUIなどApr 13, 2025 am 12:14 AM

PythonはゲームとGUI開発に優れています。 1)ゲーム開発は、2Dゲームの作成に適した図面、オーディオ、その他の機能を提供し、Pygameを使用します。 2)GUI開発は、TKINTERまたはPYQTを選択できます。 TKINTERはシンプルで使いやすく、PYQTは豊富な機能を備えており、専門能力開発に適しています。

Python vs. C:比較されたアプリケーションとユースケースPython vs. C:比較されたアプリケーションとユースケースApr 12, 2025 am 12:01 AM

Pythonは、データサイエンス、Web開発、自動化タスクに適していますが、Cはシステムプログラミング、ゲーム開発、組み込みシステムに適しています。 Pythonは、そのシンプルさと強力なエコシステムで知られていますが、Cは高性能および基礎となる制御機能で知られています。

2時間のPython計画:現実的なアプローチ2時間のPython計画:現実的なアプローチApr 11, 2025 am 12:04 AM

2時間以内にPythonの基本的なプログラミングの概念とスキルを学ぶことができます。 1.変数とデータ型、2。マスターコントロールフロー(条件付きステートメントとループ)、3。機能の定義と使用を理解する4。

Python:主要なアプリケーションの調査Python:主要なアプリケーションの調査Apr 10, 2025 am 09:41 AM

Pythonは、Web開発、データサイエンス、機械学習、自動化、スクリプトの分野で広く使用されています。 1)Web開発では、DjangoおよびFlask Frameworksが開発プロセスを簡素化します。 2)データサイエンスと機械学習の分野では、Numpy、Pandas、Scikit-Learn、Tensorflowライブラリが強力なサポートを提供します。 3)自動化とスクリプトの観点から、Pythonは自動テストやシステム管理などのタスクに適しています。

2時間でどのくらいのPythonを学ぶことができますか?2時間でどのくらいのPythonを学ぶことができますか?Apr 09, 2025 pm 04:33 PM

2時間以内にPythonの基本を学ぶことができます。 1。変数とデータ型を学習します。2。ステートメントやループの場合などのマスター制御構造、3。関数の定義と使用を理解します。これらは、簡単なPythonプログラムの作成を開始するのに役立ちます。

プロジェクトの基本と問題駆動型の方法で10時間以内にコンピューター初心者プログラミングの基本を教える方法は?プロジェクトの基本と問題駆動型の方法で10時間以内にコンピューター初心者プログラミングの基本を教える方法は?Apr 02, 2025 am 07:18 AM

10時間以内にコンピューター初心者プログラミングの基本を教える方法は?コンピューター初心者にプログラミングの知識を教えるのに10時間しかない場合、何を教えることを選びますか...

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

mPDF

mPDF

mPDF は、UTF-8 でエンコードされた HTML から PDF ファイルを生成できる PHP ライブラリです。オリジナルの作者である Ian Back は、Web サイトから「オンザフライ」で PDF ファイルを出力し、さまざまな言語を処理するために mPDF を作成しました。 HTML2FPDF などのオリジナルのスクリプトよりも遅く、Unicode フォントを使用すると生成されるファイルが大きくなりますが、CSS スタイルなどをサポートし、多くの機能強化が施されています。 RTL (アラビア語とヘブライ語) や CJK (中国語、日本語、韓国語) を含むほぼすべての言語をサポートします。ネストされたブロックレベル要素 (P、DIV など) をサポートします。

AtomエディタMac版ダウンロード

AtomエディタMac版ダウンロード

最も人気のあるオープンソースエディター

EditPlus 中国語クラック版

EditPlus 中国語クラック版

サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません

PhpStorm Mac バージョン

PhpStorm Mac バージョン

最新(2018.2.1)のプロフェッショナル向けPHP統合開発ツール

WebStorm Mac版

WebStorm Mac版

便利なJavaScript開発ツール