手写表格识别助手

简介

智能识别手写表格图片，秒级提取结构化数据，支持批量处理和一键导出Excel。

核心功能：AI多模态识别 + 批量并发处理 + Excel导出 + 置信度评估 + 计算式拆分

适用场景：办公数字化（考勤表、签到表）、业务录入（订单、销售记录）、财务归档（报销单、凭证）、数据汇总（多表合并分析）

任务目标

• 本 Skill 用于：识别手写表格图片，提取结构化数据并导出为Excel
• 能力包含：图像识别、JSON结构化转换、批量并发处理、Excel导出、置信度评估
• 触发条件：用户上传手写表格图片、需要数据数字化、批量处理表格

前置准备

• 依赖说明：scripts脚本所需的依赖包及版本

  openpyxl==3.1.2
  

操作步骤

单张图片识别

1. 接收图片和提示词

   • 用户上传手写表格图片
   • 推荐：从 references/prompt_templates.md 选择合适的提示词模板
   • 如未提供提示词，默认使用通用识别模板

2. 图像识别与提取

   • 智能体使用图像识别能力读取图片内容
   • 根据提示词要求提取表格数据
   • 转换为标准JSON格式
   • 如遇到模糊内容，自动标注[不清晰]

3. 数据验证

   • 验证JSON格式是否符合规范（参考 references/json_format.md）
   • 检查必填字段是否完整
   • 确认数据逻辑合理性

4. 导出Excel

   • 调用脚本：python scripts/json_to_excel.py --input --output
   • 生成.xlsx文件供用户下载

批量并发识别

1. 接收多张图片

   • 用户同时上传多张手写表格图片
   • 推荐：选择合适的提示词模板（见 references/prompt_templates.md）
   • 如所有图片格式相同，可使用统一提示词

2. 并发识别处理

   • 智能体并行调用图像识别能力
   • 同时处理所有图片，提升处理效率
   • 实时显示处理进度（已完成X/Y张）
   • 每张图片独立识别，生成独立JSON结果

3. 结果整合

   • 验证所有识别结果的格式正确性
   • 选项A：分别导出多个Excel文件
   • 选项B：批量导出为多工作表Excel（每个图片一个工作表）
   • 选项C：合并导出为单工作表Excel（智能匹配列名，添加图片来源列）

4. 批量导出模式

   模式A：批量模式（默认）

   • 调用脚本：python scripts/json_to_excel.py --input --output
   • 批量JSON格式自动识别，无需额外参数
   • 每个图片数据导出为独立工作表
   • 适合需要区分不同来源的场景

   模式B：合并模式

   • 调用脚本：python scripts/json_to_excel.py --input --output --merge
   • 所有图片数据合并到同一工作表
   • 智能匹配列名（相似度≥60%自动归为同一列）
   • 自动添加"图片来源"列，清晰标注数据来源
   • 添加统计信息（总行数、图片数量、各图片数据量）
   • 适合同类数据的批量汇总

   数据处理原则：

   • 保留原始识别数据，不做数值计算
   • 所有单元格内容按识别原样输出
   • 数值、日期、文本均保持原始格式
   • 计算式列拆分：如果表格包含"计算式与结果"类混合列，自动拆分为"计算式"和"结果"两列，方便复制结果数据

识别提示词模板

通用识别提示词（默认）

请识别这张手写表格图片中的所有数据。要求：
1. 准确识别表格结构（行、列）
2. 提取每个单元格中的文字内容
3. 保留表格的行列对应关系
4. 如果文字模糊或难以辨认，标注[不清晰]
5. 计算式与结果拆分为两列（如果有混合列）
6. 输出为标准JSON格式，包含置信度和问题标注

自定义提示词示例

用户可根据实际需求调整提示词，例如：

• 指定特定字段名称
• 要求识别特定格式的数据（日期、金额等）
• 设置数据验证规则
• 添加字段映射关系
• 计算式拆分：要求将"计算式=结果"拆分为两列

JSON格式规范

识别结果必须符合标准JSON格式，详见 references/json_format.md

核心结构：

{
  "table_data": [
    {
      "row_number": 1,
      "columns": {
        "列名1": "值1",
        "列名2": "值2"
      }
    }
  ],
  "metadata": {
    "source_image": "文件名.jpg",
    "recognition_time": "2024-01-01T12:00:00",
    "total_rows": 10
  }
}

资源索引

• 必要脚本：见 scripts/json_to_excel.py（用途：将JSON数据导出为Excel文件）
• 格式规范：见 references/json_format.md（何时读取：验证JSON格式时）
• 提示词模板：见 references/prompt_templates.md（何时读取：选择合适的识别提示词）

注意事项

• 智能体负责图像识别和结构化提取，无需调用外部OCR服务
• 优先使用提示词模板：从 references/prompt_templates.md 选择场景化模板，提升识别准确率
• 批量处理时建议控制并发数量（建议≤10张），避免资源占用过高
• 识别结果应先验证格式，再调用脚本导出Excel
• 手写字迹模糊时，智能体会标注不确定内容
• 默认模式：批量JSON格式自动使用批量模式（每个图片一个工作表），无需指定参数
• 数据处理原则：保留原始识别数据，不做数值计算，所有内容按原样输出
• 合并模式智能匹配规则：
  • 列名相似度≥60%自动归为同一列（如"客户名"/"客户姓名"/"客户"）
  • 相似度计算基于字符重叠度和包含关系
  • 无法匹配的列名保留原始名称
  • 合并结果包含"图片来源"列，清晰标注数据来源
  • 底部显示统计信息（总行数、图片数量、各来源数据量）

使用示例

示例1：单张图片识别

• 用户上传：1张手写考勤表图片
• 提示词：识别考勤表中的姓名、日期、出勤状态
• 智能体：识别图片，生成JSON数据
• 脚本：导出为考勤数据.xlsx

示例2：批量并发识别（多工作表模式）

• 用户上传：5张手写销售记录图片
• 提示词：统一识别产品名称、数量、单价、金额
• 智能体：并发识别5张图片，生成5个JSON结果
• 脚本：批量导出为销售总表.xlsx（5个工作表）

示例3：批量并发识别（合并模式）

• 用户上传：10张手写订单图片（格式相近）
• 提示词：识别订单号、客户名、商品、数量、金额
• 智能体：并发识别10张图片，生成批量JSON数据
• 脚本：合并导出为订单总表.xlsx（单个工作表，包含图片来源列）
• 效果：所有订单数据合并，智能匹配列名（如"客户名"/"客户姓名"/"客户"归为同一列）

示例4：自定义格式识别

• 用户上传：手写财务报表图片
• 提示词：识别科目名称、借方金额、贷方金额，金额保留两位小数
• 智能体：按提示词要求提取和格式化数据
• 脚本：导出为财务报表.xlsx