搜索
首页后端开发Python教程#|自动提取 PDF 数据:构建

概述

我编写了一个 Python 脚本,将 PDF 数据提取业务逻辑转换为工作代码。

该脚本在71 页 涵盖 10 个月期间(2024 年 1 月至 10 月)的托管人声明 PDF 中进行了测试。处理 PDF 大约需要 4 秒 才能完成 - 比手动处理快得多。

# | Automate PDF data extraction: Build

据我所知,输出看起来正确并且代码没有遇到任何错误。

三个 CSV 输出的快照如下所示。请注意,敏感数据已显示为灰色。

快照1:持股

# | Automate PDF data extraction: Build

快照2:基金持仓

# | Automate PDF data extraction: Build

快照3:现金持有

# | Automate PDF data extraction: Build

此工作流程显示了我生成 CSV 文件所采取的主要步骤。

# | Automate PDF data extraction: Build

现在,我将更详细地阐述我如何将业务逻辑转换为 Python 代码。

第1步:阅读PDF文档

我使用了 pdfplumber 的 open() 函数。

# Open the PDF file
with pdfplumber.open(file_path) as pdf:

file_path 是一个声明的变量,它告诉 pdfplumber 打开哪个文件。

步骤2.0:从每个页面中提取和过滤表格

extract_tables() 函数完成从每个页面提取所有表格的艰苦工作。

虽然我不太熟悉底层逻辑,但我认为这个功能做得相当不错。例如,下面的两个快照显示了提取的表格与原始表格(来自 PDF)

快照 A:VS Code 终端的输出

# | Automate PDF data extraction: Build

快照 B:PDF 中的表格

# | Automate PDF data extraction: Build

然后我需要对每个表进行唯一标记,以便稍后我可以从特定表中“挑选”数据。

理想的选择是使用每个表的标题。然而,确定标题坐标超出了我的能力。

作为解决方法,我通过连接前三列的标题来标识每个表。例如,快照 B 中的 Stock Holdings 表标记为 Stocks/ETFsnNameExchangeQuantity。

⚠️这种方法有一个严重的缺点 - 前三个标头名称不能使所有表都足够唯一。幸运的是,这只会影响不相关的表。

步骤2.1:提取、过滤和转换非表格文本

我需要的具体值 - 帐号和对账单日期 - 是每个 PDF 第 1 页中的子字符串。

例如“帐号M1234567”包含帐号“M1234567”。

# | Automate PDF data extraction: Build

我使用了 Python 的 re 库并让 ChatGPT 推荐了合适的正则表达式(“regex”)。正则表达式将每个字符串分为两组,所需数据位于第二组中。

账单日期和帐号字符串的正则表达式

# Open the PDF file
with pdfplumber.open(file_path) as pdf:

接下来我将报表日期转换为“yyyymmdd”格式。这使得查询和排序数据变得更加容易。

regex_date=r'Statement for \b([A-Za-z]{3}-\d{4})\b'
regex_acc_no=r'Account Number ([A-Za-z]\d{7})'

match_date 是在找到与正则表达式匹配的字符串时声明的变量。

步骤 3:创建表格数据

硬码 - 提取相关数据点 - 此时已经基本完成。

接下来,我使用 pandas 的 DataFrame() 函数根据 第 2 步第 3 步 中的输出创建表格数据。我还使用此功能删除不必要的列和行。

最终结果可以轻松写入 CSV 或存储在数据库中。

步骤 4:将数据写入 CSV 文件

我使用 Python 的 write_to_csv() 函数将每个数据帧写入 CSV 文件。

 if match_date:
    # Convert string to a mmm-yyyy date
    date_obj=datetime.strptime(match_date.group(1),"%b-%Y")
    # Get last day of the month
    last_day=calendar.monthrange(date_obj.year,date_obj.month[1]
    # Replace day with last day of month
    last_day_of_month=date_obj.replace(day=last_day)
    statement_date=last_day_of_month.strftime("%Y%m%d")

df_cash_selected 是 Cash Holdings 数据框,而 file_cash_holdings 是 Cash Holdings CSV 的文件名。

➡️一旦掌握了一些数据库知识,我就会将数据写入合适的数据库。

下一步

工作脚本现已到位,可从托管人声明 PDF 中提取表格和文本数据。

在继续之前,我将运行一些测试来查看脚本是否按预期工作。

--结束

以上是#|自动提取 PDF 数据:构建的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
如何使用Python查找文本文件的ZIPF分布如何使用Python查找文本文件的ZIPF分布Mar 05, 2025 am 09:58 AM

本教程演示如何使用Python处理Zipf定律这一统计概念,并展示Python在处理该定律时读取和排序大型文本文件的效率。 您可能想知道Zipf分布这个术语是什么意思。要理解这个术语,我们首先需要定义Zipf定律。别担心,我会尽量简化说明。 Zipf定律 Zipf定律简单来说就是:在一个大型自然语言语料库中,最频繁出现的词的出现频率大约是第二频繁词的两倍,是第三频繁词的三倍,是第四频繁词的四倍,以此类推。 让我们来看一个例子。如果您查看美国英语的Brown语料库,您会注意到最频繁出现的词是“th

我如何使用美丽的汤来解析HTML?我如何使用美丽的汤来解析HTML?Mar 10, 2025 pm 06:54 PM

本文解释了如何使用美丽的汤库来解析html。 它详细介绍了常见方法,例如find(),find_all(),select()和get_text(),以用于数据提取,处理不同的HTML结构和错误以及替代方案(SEL)

python中的图像过滤python中的图像过滤Mar 03, 2025 am 09:44 AM

处理嘈杂的图像是一个常见的问题,尤其是手机或低分辨率摄像头照片。 本教程使用OpenCV探索Python中的图像过滤技术来解决此问题。 图像过滤:功能强大的工具 图像过滤器

如何使用Python使用PDF文档如何使用Python使用PDF文档Mar 02, 2025 am 09:54 AM

PDF 文件因其跨平台兼容性而广受欢迎,内容和布局在不同操作系统、阅读设备和软件上保持一致。然而,与 Python 处理纯文本文件不同,PDF 文件是二进制文件,结构更复杂,包含字体、颜色和图像等元素。 幸运的是,借助 Python 的外部模块,处理 PDF 文件并非难事。本文将使用 PyPDF2 模块演示如何打开 PDF 文件、打印页面和提取文本。关于 PDF 文件的创建和编辑,请参考我的另一篇教程。 准备工作 核心在于使用外部模块 PyPDF2。首先,使用 pip 安装它: pip 是 P

如何在django应用程序中使用redis缓存如何在django应用程序中使用redis缓存Mar 02, 2025 am 10:10 AM

本教程演示了如何利用Redis缓存以提高Python应用程序的性能,特别是在Django框架内。 我们将介绍REDIS安装,Django配置和性能比较,以突出显示BENE

如何使用TensorFlow或Pytorch进行深度学习?如何使用TensorFlow或Pytorch进行深度学习?Mar 10, 2025 pm 06:52 PM

本文比较了Tensorflow和Pytorch的深度学习。 它详细介绍了所涉及的步骤:数据准备,模型构建,培训,评估和部署。 框架之间的关键差异,特别是关于计算刻度的

如何在Python中实现自己的数据结构如何在Python中实现自己的数据结构Mar 03, 2025 am 09:28 AM

本教程演示了在Python 3中创建自定义管道数据结构,利用类和操作员超载以增强功能。 管道的灵活性在于它能够将一系列函数应用于数据集的能力,GE

Python中的平行和并发编程简介Python中的平行和并发编程简介Mar 03, 2025 am 10:32 AM

Python是数据科学和处理的最爱,为高性能计算提供了丰富的生态系统。但是,Python中的并行编程提出了独特的挑战。本教程探讨了这些挑战,重点是全球解释

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前By尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
4 周前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
3 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

功能强大的PHP集成开发环境

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

将Eclipse与SAP NetWeaver应用服务器集成。

EditPlus 中文破解版

EditPlus 中文破解版

体积小,语法高亮,不支持代码提示功能

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一个PHP/MySQL的Web应用程序,非常容易受到攻击。它的主要目标是成为安全专业人员在合法环境中测试自己的技能和工具的辅助工具,帮助Web开发人员更好地理解保护Web应用程序的过程,并帮助教师/学生在课堂环境中教授/学习Web应用程序安全。DVWA的目标是通过简单直接的界面练习一些最常见的Web漏洞,难度各不相同。请注意,该软件中

Atom编辑器mac版下载

Atom编辑器mac版下载

最流行的的开源编辑器