如何从Excel中提取非结构化“伪表格”数据

梦磊同学_6424

梦磊同学_6424

2026-06-14

500人浏览

原创

如何从Excel中提取非结构化“伪表格”数据

本文介绍一种两阶段策略,用于精准识别并提取excel文件中未定义为正式表格、但以标题(如“ruletable”)标识的多个伪表格区域,避免读取空白行/列,提升数据清洗效率。

本文介绍一种两阶段策略,用于精准识别并提取excel文件中未定义为正式表格、但以标题(如“ruletable”)标识的多个伪表格区域,避免读取空白行/列,提升数据清洗效率。

在实际业务场景中,许多Excel报表虽逻辑上划分为多个表格,却未使用Excel的“插入表格”(Ctrl+T)功能,而是通过标题文字(如 RuleTable_01)、空行/空列或格式分隔——这类“伪表格”无法被 pandas.read_excel() 直接按表解析,导致加载后充斥大量 NaN,且表间边界模糊。

针对该问题,推荐采用双遍历法(Two-Pass Approach):

  1. 第一遍扫描:定位所有表格起始单元格坐标(基于标题关键词);
  2. 第二遍提取:以每个起始点为锚点,向右向下扩展读取,遇首个空单元格即截断,构建独立子表。

以下为完整可运行实现(适配 pandas>=2.0):

Excel Export
Excel Export

从结构化JSON生成精美的.xlsx工作簿,支持多工作表、冻结表头、筛选、类型化列、公式、合计以及法国/摩洛哥格式。

下载
import pandas as pd
import numpy as np

def extract_pseudo_tables(file_path: str, sheet_name: str = 0, table_keyword: str = "RuleTable") -> list[pd.DataFrame]:
    """
    从Excel中提取以指定关键词开头的连续非空数据块(伪表格)

    Parameters:
    -----------
    file_path : str
        Excel文件路径
    sheet_name : str or int
        工作表名或索引
    table_keyword : str
        表格标题的识别关键词(支持startswith匹配)

    Returns:
    --------
    List of DataFrames, each representing one extracted pseudo-table.
    """
    # 第一遍:读取全量数据并定位所有表格起始位置(行索引、列索引)
    df_raw = pd.read_excel(file_path, sheet_name=sheet_name, header=None)
    table_starts = []

    for row_idx in range(len(df_raw)):
        for col_idx in range(len(df_raw.columns)):
            cell_val = df_raw.iloc[row_idx, col_idx]
            if pd.notna(cell_val) and str(cell_val).startswith(table_keyword):
                table_starts.append((row_idx, col_idx))
                break  # 每行仅取首个匹配列,避免重复触发

    tables = []
    for start_row, start_col in table_starts:
        # 向下扫描确定行数:从start_row开始,直到某行在start_col列为空
        end_row = start_row
        while end_row <p>✅ <strong>关键优势</strong>:  </p>
  • 自动跳过空白行/列,仅保留连续非空数据块;
  • 坐标定位鲁棒性强,不依赖固定偏移或硬编码行列数;
  • 支持自定义关键词(如 "Summary"、"Config"),易于适配不同模板。

⚠️ 注意事项:

  • 若表格内部存在合法空单元格(如可选字段留空),当前逻辑会提前截断。此时需改用更精细策略:先扫描首行确定列宽,再逐列向下探测有效行数;
  • 列名处理需根据业务判断:若首行是标题,建议启用注释代码段将其设为 columns;若标题需保留在数据中,则保持原样;
  • 大文件建议添加 dtype=str 参数防止数值型列自动转换导致精度丢失。

该方法将非结构化Excel转化为结构化DataFrame列表,为后续分析、校验或入库奠定坚实基础。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

excel

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Python爬虫获取数据的方法
Python爬虫获取数据的方法

Python爬虫可以通过请求库发送HTTP请求、解析库解析HTML、正则表达式提取数据,或使用数据抓取框架来获取数据。更多关于Python爬虫相关知识。详情阅读本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.13

653

12

Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

2025.12.04

300

15

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

2026.01.31

212

21

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

2026.04.13

351

25

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

2026.09.23

140

15

Buffalo框架路由与请求处理实操指南
Buffalo框架路由与请求处理实操指南

本专题讲解Buffalo框架路由与请求处理机制,涵盖路由注册与分组、资源路由、Handler编写规范、Context上下文方法、参数绑定、中间件编写挂载、Session与Cookie读写、Flash消息及错误页面定制方法。

2026.09.23

80

15

Buffalo框架零基础入门教程
Buffalo框架零基础入门教程

本专题整理Buffalo框架入门内容,涵盖Go环境准备、buffalo CLI安装、新项目生成、目录结构说明、dev热加载启动、数据库连接配置与常见报错排查,帮助新手按约定优于配置的思路跑通第一个Buffalo框架应用。

2026.09.23

60

15

Conan创建软件包配方指南
Conan创建软件包配方指南

本专题介绍通过conanfile.py创建软件包的方法,讲解包名、版本、依赖和构建设置等基础信息,以及source、build、package、package_info等常用方法的作用及编写思路。

2026.09.22

40

12

Conan二进制包配置指南
Conan二进制包配置指南

本专题介绍Conan根据操作系统、编译器、架构和构建类型生成二进制包的方法,讲解Profile、Settings、Options及Package ID的作用,帮助管理不同平台和编译环境下的包版本。

2026.09.22

60

13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Excel 教程
Excel 教程

共162课时 | 43.5万人学习

成为PHP架构师-自制PHP框架
成为PHP架构师-自制PHP框架

共28课时 | 3.5万人学习