本文介绍利用坐标聚类与网格对齐技术，将google vision api输出的多行单元格文本块按物理位置精准归并到对应表格单元格中，解决因y轴偏移导致的文本顺序错乱问题。
本文介绍利用坐标聚类与网格对齐技术，将google vision api输出的多行单元格文本块按物理位置精准归并到对应表格单元格中，解决因y轴偏移导致的文本顺序错乱问题。
在使用 Google Vision API 处理扫描版PDF中的表格时，OCR引擎常将一个视觉上属于同一单元格的多行文本（如地址、备注等）识别为多个独立的TextAnnotation.TextItem，每个item携带其边界框（bounding_poly.vertices），但缺乏语义上的“单元格归属”信息。由于多行文本的顶点Y坐标存在微小差异（尤其在倾斜或压缩文档中），若仅按Y值粗粒度排序，极易导致跨行错序（如示例中Dataline_2被排在Manufactured之前）。
核心思路：先定位单元格，再分配文本
不依赖文本自身的垂直排序，而是反向构建表格结构——通过检测图像中的横/纵线（或利用Vision API返回的table类型实体），提取精确的单元格坐标矩形（x_min, y_min, x_max, y_max），再将所有OCR文本块按中心点是否落入该矩形内进行归属判定。
以下为关键实现步骤（Python + google.cloud.vision_v1）：
from google.cloud import vision
from typing import List, Tuple, Dict, Optional
def merge_multiline_cells(
text_annotations: List[vision.EntityAnnotation],
table_cells: List[Tuple[float, float, float, float]] # (x0, y0, x1, y1)
) -> Dict[int, List[str]]:
"""
将OCR文本块按坐标归属到指定单元格，并在单元格内按Y坐标升序排列（从上到下）
:param text_annotations: Vision API返回的text_annotations列表（含bounding_poly）
:param table_cells: 检测出的单元格坐标列表，顺序为表格阅读顺序（左→右，上→下）
:return: {cell_idx: [line1, line2, ...]}
"""
cell_texts = {i: [] for i in range(len(table_cells))}
for annotation in text_annotations:
if not annotation.bounding_poly.vertices:
continue
# 计算文本块中心点
vertices = annotation.bounding_poly.vertices
x_coords = [v.x for v in vertices]
y_coords = [v.y for v in vertices]
cx, cy = sum(x_coords) / len(x_coords), sum(y_coords) / len(y_coords)
# 分配到最匹配的单元格（中心点落入且重叠面积最大）
best_cell_idx = None
max_overlap = 0
for idx, (x0, y0, x1, y1) in enumerate(table_cells):
if x0 1:
# 重新获取对应annotation的原始y位置用于排序（避免仅用中心点失真）
annotated_lines = []
for annotation in text_annotations:
if not annotation.bounding_poly.vertices:
continue
y_top = min(v.y for v in annotation.bounding_poly.vertices)
if any(annotation.description == line for line in lines):
annotated_lines.append((annotation.description, y_top))
# 按顶部Y升序（从上到下）
annotated_lines.sort(key=lambda x: x[1])
cell_texts[idx] = [line for line, _ in annotated_lines]
return cell_texts
# 使用示例（需配合表格线检测或Vision API的TABLE_DETECTION）
# client = vision.ImageAnnotatorClient()
# response = client.text_detection(image=image)
# texts = response.text_annotations
# cells = detect_table_cells_from_lines(image) # 或调用Vision的TABLE_DETECTION
# merged = merge_multiline_cells(texts, cells)
# result_row = " ".join(" ".join(lines) for lines in merged.values())
关键注意事项：
- ✅ 优先使用Vision API的TABLE_DETECTION功能（需启用
Feature(type=Feature.Type.TABLE_DETECTION)），它会直接返回结构化表格区域及单元格坐标，比纯图像线检测更鲁棒； - ⚠️ 若无表格线，可结合
cv2.HoughLinesP检测横纵线，再用skimage.measure.regionprops等工具拟合网格，但需处理线缺失/断裂场景； - ⚠️ 避免仅按全局Y坐标排序全部文本——这是导致错序的根本原因；必须以单元格为单位局部排序；
- ✅ 对于无明确边框的“隐形表格”，可采用基于文本块密度的聚类（如DBSCAN按X/Y间距聚类行列），再构建逻辑网格。
最终输出即可严格还原“Manufactured Dataline_1 Address Dataline_2 Dataline_3”的语义顺序，而非原始OCR的错位排列。该方法将OCR后处理从“文本流重组”升级为“空间语义对齐”，显著提升结构化文档解析准确率。
