Pythonテキスト処理は、主に Pythonファイルの読み取り方法の比較に関する関連情報を紹介します。それを理解して学ぶために、必要な友達は来て、以下を見てください。
はじめに
Python にはさまざまなファイルの読み取り方法があることは誰もが知っていますが、大きなファイルを読み取る必要がある場合、読み取り方法が異なれば効果も異なります。以下に詳しい紹介を見てみましょう。
シナリオ
2.9Gの大きなファイルを一行ずつ読み込む
CPU i7 6820HQ
RAM 32G
各行のメソッド
読み取りと1 つの分割string操作を実行します
次のメソッドはすべて with...as メソッドを使用してファイルを開きます。
with ステートメントは、使用後のファイルの自動クローズ、スレッド内のロックの自動取得と解放など、使用中に例外が発生したかどうかに関係なく、必要な「クリーニング」操作が実行され、リソースが解放されるようにリソースにアクセスするのに適しています。 、など。
方法 1 ファイルを読み取る最も一般的な方法
with open(file, 'r') as fh: for line in fh.readlines(): line.split("|")
実行結果: 15.4346568584 秒かかりました
システム モニターには、メモリが突然 4.8G から 8.4G に急増したことが示されています (fh.readlines()) will 読み取られたデータのすべての行はメモリに保存されます。この方法は小さなファイルに適しています。
方法2
with open(file, 'r') as fh: line = fh.readline() while line: line.split("|")
実行結果: 22.3531990051秒かかりました
メモリ内のデータは1行しかアクセスされないため、メモリにはほとんど変化はありませんが、時間は明らかに長くなります。前回は、データをさらに処理するのは効率的ではないと言いました。
方法3
with open(file) as fh: for line in fh: line.split("|")
実行結果: 13.9956979752秒かかりました
メモリはほとんど変化がなく、方法2よりも速度が速くなります。 fh の
行は、ファイル オブジェクト fh を反復可能として扱い、バッファリングされた IO とメモリ管理を自動的に使用するため、大きなファイルについて心配する必要はありません。これは非常に Python 的な方法です。
方法4 fileinputモジュール
for line in fileinput.input(file): line.split("|")
実行結果: 26.1103110313秒かかりました
メモリは200〜300MB増加し、速度は上記で最も遅くなります。
概要
上記の方法は参照のみを目的としており、大きなファイルを読み取るために認識されている 3 つの方法が依然として最適です。ただし、具体的な状況はマシンのパフォーマンスとデータ処理の複雑さに依存します。
【関連する推奨事項】
以上がPython でファイルを読み取る 4 つの異なる方法の比較の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

Pythonは、自動化、スクリプト、およびタスク管理に優れています。 1)自動化:OSやShutilなどの標準ライブラリを介してファイルバックアップが実現されます。 2)スクリプトの書き込み:Psutilライブラリを使用してシステムリソースを監視します。 3)タスク管理:スケジュールライブラリを使用してタスクをスケジュールします。 Pythonの使いやすさと豊富なライブラリサポートにより、これらの分野で優先ツールになります。

限られた時間でPythonの学習効率を最大化するには、PythonのDateTime、時間、およびスケジュールモジュールを使用できます。 1. DateTimeモジュールは、学習時間を記録および計画するために使用されます。 2。時間モジュールは、勉強と休息の時間を設定するのに役立ちます。 3.スケジュールモジュールは、毎週の学習タスクを自動的に配置します。

PythonはゲームとGUI開発に優れています。 1)ゲーム開発は、2Dゲームの作成に適した図面、オーディオ、その他の機能を提供し、Pygameを使用します。 2)GUI開発は、TKINTERまたはPYQTを選択できます。 TKINTERはシンプルで使いやすく、PYQTは豊富な機能を備えており、専門能力開発に適しています。

Pythonは、データサイエンス、Web開発、自動化タスクに適していますが、Cはシステムプログラミング、ゲーム開発、組み込みシステムに適しています。 Pythonは、そのシンプルさと強力なエコシステムで知られていますが、Cは高性能および基礎となる制御機能で知られています。

2時間以内にPythonの基本的なプログラミングの概念とスキルを学ぶことができます。 1.変数とデータ型、2。マスターコントロールフロー(条件付きステートメントとループ)、3。機能の定義と使用を理解する4。

Pythonは、Web開発、データサイエンス、機械学習、自動化、スクリプトの分野で広く使用されています。 1)Web開発では、DjangoおよびFlask Frameworksが開発プロセスを簡素化します。 2)データサイエンスと機械学習の分野では、Numpy、Pandas、Scikit-Learn、Tensorflowライブラリが強力なサポートを提供します。 3)自動化とスクリプトの観点から、Pythonは自動テストやシステム管理などのタスクに適しています。

2時間以内にPythonの基本を学ぶことができます。 1。変数とデータ型を学習します。2。ステートメントやループの場合などのマスター制御構造、3。関数の定義と使用を理解します。これらは、簡単なPythonプログラムの作成を開始するのに役立ちます。

10時間以内にコンピューター初心者プログラミングの基本を教える方法は?コンピューター初心者にプログラミングの知識を教えるのに10時間しかない場合、何を教えることを選びますか...


ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

mPDF
mPDF は、UTF-8 でエンコードされた HTML から PDF ファイルを生成できる PHP ライブラリです。オリジナルの作者である Ian Back は、Web サイトから「オンザフライ」で PDF ファイルを出力し、さまざまな言語を処理するために mPDF を作成しました。 HTML2FPDF などのオリジナルのスクリプトよりも遅く、Unicode フォントを使用すると生成されるファイルが大きくなりますが、CSS スタイルなどをサポートし、多くの機能強化が施されています。 RTL (アラビア語とヘブライ語) や CJK (中国語、日本語、韓国語) を含むほぼすべての言語をサポートします。ネストされたブロックレベル要素 (P、DIV など) をサポートします。

AtomエディタMac版ダウンロード
最も人気のあるオープンソースエディター

EditPlus 中国語クラック版
サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません

PhpStorm Mac バージョン
最新(2018.2.1)のプロフェッショナル向けPHP統合開発ツール

WebStorm Mac版
便利なJavaScript開発ツール
