概述
我编写了一个 Python 脚本,将 PDF 数据提取业务逻辑转换为工作代码。
该脚本在71 页 涵盖 10 个月期间(2024 年 1 月至 10 月)的托管人声明 PDF 中进行了测试。处理 PDF 大约需要 4 秒 才能完成 - 比手动处理快得多。
据我所知,输出看起来正确并且代码没有遇到任何错误。
三个 CSV 输出的快照如下所示。请注意,敏感数据已显示为灰色。
快照1:持股
快照2:基金持仓
快照3:现金持有
此工作流程显示了我生成 CSV 文件所采取的主要步骤。
现在,我将更详细地阐述我如何将业务逻辑转换为 Python 代码。
第1步:阅读PDF文档
我使用了 pdfplumber 的 open() 函数。
# Open the PDF file with pdfplumber.open(file_path) as pdf:
file_path 是一个声明的变量,它告诉 pdfplumber 打开哪个文件。
步骤2.0:从每个页面中提取和过滤表格
extract_tables() 函数完成从每个页面提取所有表格的艰苦工作。
虽然我不太熟悉底层逻辑,但我认为这个功能做得相当不错。例如,下面的两个快照显示了提取的表格与原始表格(来自 PDF)
快照 A:VS Code 终端的输出
快照 B:PDF 中的表格
然后我需要对每个表进行唯一标记,以便稍后我可以从特定表中“挑选”数据。
理想的选择是使用每个表的标题。然而,确定标题坐标超出了我的能力。
作为解决方法,我通过连接前三列的标题来标识每个表。例如,快照 B 中的 Stock Holdings 表标记为 Stocks/ETFsnNameExchangeQuantity。
⚠️这种方法有一个严重的缺点 - 前三个标头名称不能使所有表都足够唯一。幸运的是,这只会影响不相关的表。
步骤2.1:提取、过滤和转换非表格文本
我需要的具体值 - 帐号和对账单日期 - 是每个 PDF 第 1 页中的子字符串。
例如“帐号M1234567”包含帐号“M1234567”。
我使用了 Python 的 re 库并让 ChatGPT 推荐了合适的正则表达式(“regex”)。正则表达式将每个字符串分为两组,所需数据位于第二组中。
账单日期和帐号字符串的正则表达式
# Open the PDF file with pdfplumber.open(file_path) as pdf:
接下来我将报表日期转换为“yyyymmdd”格式。这使得查询和排序数据变得更加容易。
regex_date=r'Statement for \b([A-Za-z]{3}-\d{4})\b' regex_acc_no=r'Account Number ([A-Za-z]\d{7})'
match_date 是在找到与正则表达式匹配的字符串时声明的变量。
步骤 3:创建表格数据
硬码 - 提取相关数据点 - 此时已经基本完成。
接下来,我使用 pandas 的 DataFrame() 函数根据 第 2 步 和 第 3 步 中的输出创建表格数据。我还使用此功能删除不必要的列和行。
最终结果可以轻松写入 CSV 或存储在数据库中。
步骤 4:将数据写入 CSV 文件
我使用 Python 的 write_to_csv() 函数将每个数据帧写入 CSV 文件。
if match_date: # Convert string to a mmm-yyyy date date_obj=datetime.strptime(match_date.group(1),"%b-%Y") # Get last day of the month last_day=calendar.monthrange(date_obj.year,date_obj.month[1] # Replace day with last day of month last_day_of_month=date_obj.replace(day=last_day) statement_date=last_day_of_month.strftime("%Y%m%d")
df_cash_selected 是 Cash Holdings 数据框,而 file_cash_holdings 是 Cash Holdings CSV 的文件名。
➡️一旦掌握了一些数据库知识,我就会将数据写入合适的数据库。
下一步
工作脚本现已到位,可从托管人声明 PDF 中提取表格和文本数据。
在继续之前,我将运行一些测试来查看脚本是否按预期工作。
--结束
以上是#|自动提取 PDF 数据:构建的详细内容。更多信息请关注PHP中文网其他相关文章!

Python和C 各有优势,选择应基于项目需求。1)Python适合快速开发和数据处理,因其简洁语法和动态类型。2)C 适用于高性能和系统编程,因其静态类型和手动内存管理。

选择Python还是C 取决于项目需求:1)如果需要快速开发、数据处理和原型设计,选择Python;2)如果需要高性能、低延迟和接近硬件的控制,选择C 。

通过每天投入2小时的Python学习,可以有效提升编程技能。1.学习新知识:阅读文档或观看教程。2.实践:编写代码和完成练习。3.复习:巩固所学内容。4.项目实践:应用所学于实际项目中。这样的结构化学习计划能帮助你系统掌握Python并实现职业目标。

在两小时内高效学习Python的方法包括:1.回顾基础知识,确保熟悉Python的安装和基本语法;2.理解Python的核心概念,如变量、列表、函数等;3.通过使用示例掌握基本和高级用法;4.学习常见错误与调试技巧;5.应用性能优化与最佳实践,如使用列表推导式和遵循PEP8风格指南。

Python适合初学者和数据科学,C 适用于系统编程和游戏开发。1.Python简洁易用,适用于数据科学和Web开发。2.C 提供高性能和控制力,适用于游戏开发和系统编程。选择应基于项目需求和个人兴趣。

Python更适合数据科学和快速开发,C 更适合高性能和系统编程。1.Python语法简洁,易于学习,适用于数据处理和科学计算。2.C 语法复杂,但性能优越,常用于游戏开发和系统编程。

每天投入两小时学习Python是可行的。1.学习新知识:用一小时学习新概念,如列表和字典。2.实践和练习:用一小时进行编程练习,如编写小程序。通过合理规划和坚持不懈,你可以在短时间内掌握Python的核心概念。

Python更易学且易用,C 则更强大但复杂。1.Python语法简洁,适合初学者,动态类型和自动内存管理使其易用,但可能导致运行时错误。2.C 提供低级控制和高级特性,适合高性能应用,但学习门槛高,需手动管理内存和类型安全。


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

Video Face Swap
使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热门文章

热工具

适用于 Eclipse 的 SAP NetWeaver 服务器适配器
将Eclipse与SAP NetWeaver应用服务器集成。

VSCode Windows 64位 下载
微软推出的免费、功能强大的一款IDE编辑器

SecLists
SecLists是最终安全测试人员的伙伴。它是一个包含各种类型列表的集合,这些列表在安全评估过程中经常使用,都在一个地方。SecLists通过方便地提供安全测试人员可能需要的所有列表,帮助提高安全测试的效率和生产力。列表类型包括用户名、密码、URL、模糊测试有效载荷、敏感数据模式、Web shell等等。测试人员只需将此存储库拉到新的测试机上,他就可以访问到所需的每种类型的列表。

记事本++7.3.1
好用且免费的代码编辑器

安全考试浏览器
Safe Exam Browser是一个安全的浏览器环境,用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问,并防止学生使用未经授权的资源。