＃|自動提取 PDF 資料：構建

概述

我寫了一個 Python 腳本，將 PDF 資料擷取業務邏輯轉換為工作程式碼。

該腳本在71 頁 涵蓋 10 個月期間（2024 年 1 月至 10 月）的託管人聲明 PDF 中進行了測試。處理 PDF 大約需要 4 秒 才能完成 - 比手動處理快得多。

據我所知，輸出看起來正確且程式碼沒有遇到任何錯誤。

三個 CSV 輸出的快照如下圖所示。請注意，敏感資料已顯示為灰色。

快照1：持股

快照2：基金持股

快照3：現金持有

此工作流程顯示了我產生 CSV 檔案所採取的主要步驟。

現在，我將更詳細地闡述我如何將業務邏輯轉換為 Python 程式碼。

第1步：閱讀PDF文檔

我使用了 pdfplumber 的 open() 函數。

# Open the PDF file
with pdfplumber.open(file_path) as pdf:

file_path 是一個宣告的變量，它告訴 pdfplumber 要開啟哪個檔案。

步驟2.0：從每個頁面擷取並篩選表格

extract_tables() 函數完成從每個頁面提取所有表格的艱苦工作。

雖然我不太熟悉底層邏輯，但我認為這個功能做得相當不錯。例如，下面的兩個快照顯示了提取的表格與原始表格（來自 PDF）

快照 A：VS Code 終端機的輸出

快照 B：PDF 中的表格

然後我需要為每個表格添加唯一的標籤，以便稍後我可以從特定表中「挑選」資料。

理想的選擇是使用每個表的標題。然而，確定標題座標超出了我的能力。

作為解決方法，我透過連接前三列的標題來標識每個表。例如，快照 B 中的 Stock Holdings 表標記為 Stocks/ETFsnNameExchangeQuantity。

⚠️這種方法有一個嚴重的缺點 - 前三個標頭名稱不能使所有表都足夠唯一。幸運的是，這只會影響不相關的表。

步驟2.1：提取、過濾和轉換非表格文本

我需要的具體值 - 帳號和對帳單日期 - 是每個 PDF 第 1 頁中的子字串。

例如「帳號M1234567」包含帳號「M1234567」。

我使用了 Python 的 re 函式庫並讓 ChatGPT 推薦了合適的正規表示式（「regex」）。正規表示式將每個字串分為兩組，所需資料位於第二組中。

帳單日期和帳號字串的正規表示式

# Open the PDF file
with pdfplumber.open(file_path) as pdf:

接下來我將報表日期轉換為「yyyymmdd」格式。這使得查詢和排序資料變得更加容易。

regex_date=r'Statement for \b([A-Za-z]{3}-\d{4})\b'
regex_acc_no=r'Account Number ([A-Za-z]\d{7})'

match_date 是在找到與正規表示式相符的字串時宣告的變數。

步驟 3：建立表格數據

硬碼 - 擷取相關資料點 - 此時已基本完成。

接下來，我使用 pandas 的 DataFrame() 函數根據 第 2 步 和 第 3 步 中的輸出建立表格資料。我還使用此功能刪除不必要的列和行。

最終結果可以輕鬆寫入 CSV 或儲存在資料庫中。

步驟 4：將資料寫入 CSV 文件

我使用 Python 的 write_to_csv() 函數將每個資料幀寫入 CSV 檔案。

 if match_date:
    # Convert string to a mmm-yyyy date
    date_obj=datetime.strptime(match_date.group(1),"%b-%Y")
    # Get last day of the month
    last_day=calendar.monthrange(date_obj.year,date_obj.month[1]
    # Replace day with last day of month
    last_day_of_month=date_obj.replace(day=last_day)
    statement_date=last_day_of_month.strftime("%Y%m%d")

df_cash_selected 是 Cash Holdings 資料框，而 file_cash_holdings 是 Cash Holdings CSV 的檔案名稱。

➡️一旦掌握了一些資料庫知識，我就會將資料寫入合適的資料庫。

下一步

工作腳本現已到位，可從託管人聲明 PDF 中提取表格和文字資料。

在繼續之前，我將執行一些測試來查看腳本是否按預期工作。

--結束

以上是＃|自動提取 PDF 資料：構建的詳細內容。更多資訊請關注PHP中文網其他相關文章！