NLP 用 Python: 複数列のデータを含む PDF テキストを処理するには?

NLP 用 Python: 複数列のデータを含む PDF テキストを処理するにはどうすればよいですか?

概要:
自然言語処理 (NLP) の発展により、PDF テキストの処理は非常に重要なタスクになりました。ただし、PDF テキストに複数列のデータが含まれる場合、その処理はより複雑になります。この記事では、Python を使用して複数列のデータを含む PDF テキストを処理し、有用な情報を抽出し、適切なデータ処理を実行する方法を紹介します。

ステップ 1: 必要なライブラリをインストールする
まず、PDF テキストの処理を容易にするために必要な Python ライブラリをいくつかインストールする必要があります。これらのライブラリには pdfplumber と pandas が含まれます。これらは、次のコマンドを使用してインストールできます。

pip install pdfplumber pandas

ステップ 2: 必要なライブラリをインポートする
実際のコードの作成を開始する前に、必要なライブラリをインポートする必要があります。次のコマンドを実行して、pdfplumber ライブラリと pandas ライブラリをインポートできます。

import pdfplumber
import pandas as pd

ステップ 3: PDF ファイルを読み取ってテキストを抽出します
次に、PDF ファイルを読み取ってテキストを抽出する必要があります。 PDF ファイルは、pdfplumber ライブラリの pdfplumber.open() 関数を使用して開き、すべてのテキストは extract_text() メソッドを使用して抽出できます。以下に簡単な例を示します。

with pdfplumber.open('multi_column_data.pdf') as pdf:
    text = ""
    for page in pdf.pages:
        text += page.extract_text()

ステップ 4: テキストを DataFrame に変換する
テキストを抽出した後、処理に適したデータ構造に変換する必要があります。 PDF テキストには複数のデータ列が含まれているため、pandas ライブラリの DataFrame を使用してこのデータを処理できます。テキストを DataFrame に変換する例を次に示します。

data = pd.DataFrame([row.split('
') for row in text.split('

') if row.strip() != ''])

上記のコードでは、split() メソッドを使用してテキストを行ごとに分割し、split('
') List を使用して各行をさらに分割しています。 。また、split('

')を使用してデータを行間で分割し、判定条件を使用して空白行を削除します。

ステップ 5: データの処理とクリーニングを行う
テキストを DataFrame に変換したので、データの処理とクリーニングを開始できます。複数列のデータを処理する場合、pandas が提供するさまざまなメソッドや関数を使用して処理できます。一般的なデータ処理操作の例をいくつか示します。

• 特定の列を選択します:

  selected_data = data[[0, 1]]

• 列の名前を変更します:

  data.columns = ['Column1', 'Column2']

• 欠損値のある行の削除:

  data.dropna(inplace=True)

• データ型の変換:

  data['Column1'] = data['Column1'].astype(int)

ステップ 6: データの保存
最後のステップは、処理されたデータを保存することです。 pandas ライブラリが提供する to_csv() メソッドを使用してデータを CSV ファイルとして保存することも、to_excel() メソッドを使用してデータを Excel ファイルとして保存することもできます。データを CSV ファイルとして保存する例を次に示します。

data.to_csv('processed_data.csv', index=False)

概要:
Python で pdfplumber ライブラリと pandas ライブラリを使用すると、複数列のデータを含む PDF テキストを簡単に処理できます。まず、pdfplumber ライブラリを使用してテキストを抽出し、処理に適したデータ構造に変換します。次に、データの処理とクリーニングに pandas ライブラリを使用します。最後に、処理されたデータを CSV または Excel ファイルとして保存できます。この記事が、複数列のデータを含む PDF テキストを処理する簡単かつ効果的な方法を提供することを願っています。

以上がNLP 用 Python: 複数列のデータを含む PDF テキストを処理するには?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。