Bagaimana untuk memproses fail PDF yang mengandungi teks fon kecil dengan Python untuk NLP?

Bagaimana untuk memproses fail PDF yang mengandungi teks fon kecil dengan Python untuk NLP?

Dalam bidang pemprosesan bahasa semula jadi (NLP), memproses fail PDF yang mengandungi teks fon kecil adalah masalah biasa. Teks fon kecil mungkin muncul dalam pelbagai senario, seperti kertas akademik, dokumen undang-undang, laporan kewangan, dsb. Artikel ini akan memperkenalkan cara menggunakan Python untuk memproses fail PDF dan memberikan contoh kod khusus.

Pertama, kita perlu memasang dua perpustakaan Python, iaitu PyPDF2 dan pdfminer.six. Ia digunakan untuk menghuraikan fail PDF dan mengekstrak kandungan teks masing-masing. Ia boleh dipasang menggunakan arahan pip:

pip install PyPDF2
pip install pdfminer.six

Seterusnya, kami akan menggunakan perpustakaan PyPDF2 untuk menghuraikan fail PDF dan perpustakaan pdfminer.six untuk mengekstrak kandungan teks. Berikut ialah contoh kod ringkas:

import PyPDF2
from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.pdfpage import PDFPage
from pdfminer.converter import TextConverter
from pdfminer.layout import LAParams
from io import StringIO

def extract_text_from_pdf(file_path):
    text = ''
    with open(file_path, 'rb') as file:
        pdf_reader = PyPDF2.PdfReader(file)
        for page_num in range(len(pdf_reader.pages)):
            page_obj = pdf_reader.pages[page_num]
            page_text = page_obj.extract_text()
            text += page_text
    return text

def extract_text_from_pdf_with_pdfminer(file_path):
    text = ''
    rsrcmgr = PDFResourceManager()
    sio = StringIO()
    codec = 'utf-8'
    laparams = LAParams()
    laparams.all_texts = True
    converter = TextConverter(rsrcmgr, sio, codec=codec, laparams=laparams)
    interpreter = PDFPageInterpreter(rsrcmgr, converter)

    with open(file_path, 'rb') as file:
        for page in PDFPage.get_pages(file):
            interpreter.process_page(page)

        text = sio.getvalue()

    converter.close()
    sio.close()

    return text

# 测试代码
pdf_file = '小字体文本.pdf'
extracted_text = extract_text_from_pdf(pdf_file)
print(extracted_text)

extracted_text_with_pdfminer = extract_text_from_pdf_with_pdfminer(pdf_file)
print(extracted_text_with_pdfminer)

Kod di atas mentakrifkan dua kaedah: Kaedah extract_text_from_pdf和extract_text_from_pdf_with_pdfminer。这两个方法分别使用了PyPDF2和pdfminer.six库来解析PDF文件并提取文本内容。其中，extract_text_from_pdf方法直接使用了PyPDF2库提供的功能，而extract_text_from_pdf_with_pdfminer menggunakan perpustakaan pdfminer.six dan menyimpan kandungan teks yang dihuraikan ke dalam ingatan melalui kelas TextConverter.

Dalam bahagian kod ujian, kami menetapkan fail PDF bernama "Small Font Text.pdf" dan menggunakan kedua-dua kaedah ini untuk pengekstrakan teks. Akhir sekali, dengan mencetak kandungan teks yang diekstrak, kami boleh mengesahkan ketepatan kod tersebut.

Perlu diambil perhatian bahawa disebabkan oleh struktur dan reka letak yang berbeza bagi setiap fail PDF, kod di atas mungkin tidak dapat mengekstrak teks fon kecil dengan tepat sepenuhnya. Apabila berurusan dengan fail PDF dunia sebenar, beberapa pelarasan mungkin diperlukan berdasarkan situasi tertentu.

Ringkasnya, adalah mungkin untuk menggunakan Python untuk pemprosesan NLP fail PDF yang mengandungi teks fon kecil. Melalui penggunaan perpustakaan seperti PyPDF2 dan pdfminer.six, kami boleh menghuraikan fail PDF dan mengekstrak kandungan teks dengan mudah untuk langkah seterusnya pemprosesan NLP. Harap kod di atas dapat membantu anda!

Atas ialah kandungan terperinci Bagaimana untuk memproses fail PDF yang mengandungi teks fon kecil dengan Python untuk NLP?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!