Python für NLP: Wie kann ich Text in PDF-Dateien automatisch organisieren und klassifizieren?

Python für NLP: Wie kann ich Text in PDF-Dateien automatisch organisieren und klassifizieren?

Zusammenfassung:
Mit der Entwicklung des Internets und dem explosionsartigen Wachstum von Informationen sind wir täglich mit einer großen Menge an Textdaten konfrontiert. In dieser Zeit wird die automatische Organisation und Klassifizierung von Text immer wichtiger. In diesem Artikel erfahren Sie, wie Sie mit Python und seinen leistungsstarken NLP-Funktionen (Natural Language Processing) automatisch Text aus PDF-Dateien extrahieren, ihn organisieren und klassifizieren.

1. Installieren Sie die erforderlichen Python-Bibliotheken

Bevor wir beginnen, müssen wir sicherstellen, dass die folgenden Python-Bibliotheken installiert sind:

• pdfplumber: wird zum Extrahieren von Text aus PDF verwendet.
• nltk: für die Verarbeitung natürlicher Sprache.
• sklearn: zur Textklassifizierung.
  Kann mit dem Befehl pip installiert werden. Beispiel: pip install pdfplumber

2. Text aus PDF-Dateien extrahieren

Zunächst müssen wir die pdfplumber-Bibliothek verwenden, um Text aus PDF-Dateien zu extrahieren.

import pdfplumber

def extract_text_from_pdf(file_path):
    with pdfplumber.open(file_path) as pdf:
        text = ""
        for page in pdf.pages:
            text += page.extract_text()
    return text

Im obigen Code definieren wir eine Funktion namens extract_text_from_pdf, um Text aus einer bestimmten PDF-Datei zu extrahieren. Die Funktion akzeptiert einen Dateipfad als Parameter und öffnet die PDF-Datei mit der pdfplumber-Bibliothek, durchläuft dann jede Seite in einer Schleife und extrahiert den Text mit der Methode extract_text().

3. Textvorverarbeitung

Vor der Textklassifizierung müssen wir normalerweise den Text vorverarbeiten. Dazu gehören Schritte wie das Entfernen von Stoppwörtern, die Tokenisierung, das Stemming usw. In diesem Artikel verwenden wir die NLTK-Bibliothek, um diese Aufgaben auszuführen.

import nltk
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
from nltk.stem import SnowballStemmer

def preprocess_text(text):
    # 将文本转换为小写
    text = text.lower()
    
    # 分词
    tokens = word_tokenize(text)
    
    # 移除停用词
    stop_words = set(stopwords.words("english"))
    filtered_tokens = [word for word in tokens if word not in stop_words]
    
    # 词干提取
    stemmer = SnowballStemmer("english")
    stemmed_tokens = [stemmer.stem(word) for word in filtered_tokens]
    
    # 返回预处理后的文本
    return " ".join(stemmed_tokens)

Im obigen Code konvertieren wir zuerst den Text in Kleinbuchstaben und verwenden dann die Methode word_tokenize(), um den Text zu tokenisieren. Als nächstes verwenden wir die Stoppwortbibliothek, um Stoppwörter zu entfernen, und SnowballStemmer für die Wortstammerkennung. Zum Schluss geben wir den vorverarbeiteten Text zurück.

4. Textklassifizierung

Da wir nun den Text aus der PDF-Datei extrahiert und vorverarbeitet haben, können wir maschinelle Lernalgorithmen verwenden, um den Text zu klassifizieren. In diesem Artikel verwenden wir den Naive-Bayes-Algorithmus als Klassifikator.

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB

def classify_text(text):
    # 加载已训练的朴素贝叶斯分类器模型
    model = joblib.load("classifier_model.pkl")
    
    # 加载已训练的词袋模型
    vectorizer = joblib.load("vectorizer_model.pkl")
    
    # 预处理文本
    preprocessed_text = preprocess_text(text)
    
    # 将文本转换为特征向量
    features = vectorizer.transform([preprocessed_text])
    
    # 使用分类器预测文本类别
    predicted_category = model.predict(features)
    
    # 返回预测结果
    return predicted_category[0]

Im obigen Code laden wir zunächst das trainierte Naive Bayes-Klassifikatormodell und das Bag-of-Words-Modell mithilfe der Joblib-Bibliothek. Dann konvertieren wir den vorverarbeiteten Text in Merkmalsvektoren und verwenden dann einen Klassifikator, um den Text zu klassifizieren. Schließlich geben wir das vorhergesagte Klassifizierungsergebnis des Textes zurück.

5. Integrieren Sie den Code und verarbeiten Sie PDF-Dateien automatisch.

Jetzt können wir den obigen Code integrieren und PDF-Dateien automatisch verarbeiten, Text extrahieren und klassifizieren.

import os

def process_pdf_files(folder_path):
    for filename in os.listdir(folder_path):
        if filename.endswith(".pdf"):
            file_path = os.path.join(folder_path, filename)
            
            # 提取文本
            text = extract_text_from_pdf(file_path)
            
            # 分类文本
            category = classify_text(text)
            
            # 打印文件名和分类结果
            print("File:", filename)
            print("Category:", category)
            print("--------------------------------------")

# 指定待处理的PDF文件所在文件夹
folder_path = "pdf_folder"

# 处理PDF文件
process_pdf_files(folder_path)

Im obigen Code definieren wir zunächst eine Funktion namens „process_pdf_files“, um Dateien im PDF-Ordner automatisch zu verarbeiten. Verwenden Sie dann die listdir()-Methode der OS-Bibliothek, um jede Datei im Ordner zu durchlaufen, den Text der PDF-Datei zu extrahieren und ihn zu klassifizieren. Abschließend drucken wir den Dateinamen und die Klassifizierungsergebnisse aus.

Fazit

Mit Python- und NLP-Funktionen können wir ganz einfach Text aus PDF-Dateien extrahieren und ihn organisieren und klassifizieren. Dieser Artikel enthält einen Beispielcode, der den Lesern hilft, zu verstehen, wie Text in PDF-Dateien automatisch verarbeitet wird. Die spezifischen Anwendungsszenarien können jedoch unterschiedlich sein und müssen entsprechend der tatsächlichen Situation angepasst und geändert werden.

Referenzen:

• Offizielles Dokument von PDFPlumber: https://github.com/jsvine/pdfPlumber
• Offizielles Dokument von NLTK: https://www.nltk.org/
• Offizielles Dokument von Sklearn: https://scikit - learn.org/

Das obige ist der detaillierte Inhalt vonPython für NLP: Wie kann ich Text in PDF-Dateien automatisch organisieren und klassifizieren?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!