OvisOCR2 识别复杂表格的列对齐问题排查

OvisOCR2 输出复杂表格时，列错位通常不是单点故障，而是输入图像结构线索缺失、模型坐标预测不稳、后处理自由排序三者叠加。排查方向不是反复调参数，而是先复现错位，确认表格边界；再检查图像表格线是否完整；接着用 OpenCV 强化边框；最后用输出坐标重新组阵，把最终结构交给下游使用。

排查复杂表格列错位，先不要追求模型参数；把问题拆成三个可验证环节：图像是否缺线、OCR 是否打乱顺序、后处理是否只按文本流排布。操作上先标定表格边界与理想行列，再增强表格线，最后用输出坐标按行聚类。验证用三行三列加合并单元格的标准样例跑通流程。此流程适用 OvisOCR2 输出的坐标字段完整可用；若坐标缺失或错乱，则需先修正坐标字段，才能做重排。

复现错位并标记表格边界

选择一张包含合并单元格的表格图片作为最小样例。建议找一张表头跨列合并、数据区跨行合并的表格，保存为 PNG 或 TIFF，不要用截屏缩放后的 JPG。用标注工具（如 LabelImg、企鹅标注、Snipaste）在图上框出每个实际单元格，按行和列编号，记录每个单元格的左上角和右下角坐标。这个标注矩阵就是后续校验的基准。

调用 OvisOCR2 识别该图片，截取返回结果中与该表格相关的片段。不要只看 text 字段，必须保留返回的 x、y、width、height 等坐标字段。将“实际行列标注截图”和“OvisOCR2 输出截图”并排放置，观察是第三列内容跑到第二列，还是整个表头整体右移。这一步只做标记和对比，不做任何修复。

检查表格线完整性与图像清晰度

将原图放大到 200% 或更高，逐行检查横纵表格线。合并单元格导致表格线不连续，常见位置是跨行连接处缺少竖线、跨列合并处横线被删除、表头底部阴影压断横线。找出表格线断点后，用文本列出断线位置，例如“第二行与第三行之间，第二列到第三列边界没有竖线”“表头第 1 行和第 2 行之间横线被底纹切断”。

图像处理工具可以先用 OpenCV 查看二值化后的线特征，也可以先用画图手动补线。但手动补线只适合快速验证：确认表格线补全后，模型输出是否恢复对齐。如果补线后仍错位，说明问题在模型坐标解析层面，需要直接走后处理重组。

调整预处理增强表格边框

预处理是为了增强表格线，而不是增强文字。使用 OpenCV 的二值化让前景与背景分离，再用膨胀操作把断线重连。

import cv2

image = cv2.imread('table.png', cv2.IMREAD_GRAYSCALE)
_, binary = cv2.threshold(image, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)

kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5))
dilated = cv2.dilate(binary, kernel, iterations=2)

cv2.imwrite('table_enhanced.png', dilated)

这段代码建议放在识别脚本的最前面。运行后，把增强图与原始图分别交给 OvisOCR2，对比两组输出中的列对齐情况。对比时关注同一行的单元格 y 值是否落在同一区间；若增强后同一行 y 值收敛，说明图像断线是列错位的主因。若增强后没有任何变化，说明应跳过预处理，进入坐标重组。

用输出单元格坐标重新组阵

模型输出的坐标是列对齐修正的关键。OvisOCR2 返回的 text 顺序可能按阅读顺序打乱，但坐标字段仍然保留。遍历每个单元格的 center_y，将相近 y 值的单元格归为同一行，再按 x 升序排成列。

def build_table(items):
    row_groups = []
    for item in items:
        center_y = item['y'] + item['h'] / 2
        for group in row_groups:
            if abs(center_y - group['y']) < 12:
                group['items'].append(item)
                break
        else:
            row_groups.append({'y': center_y, 'items': [item]})

    table = []
    for group in sorted(row_groups, key=lambda g: g['y']):
        rows = sorted(group['items'], key=lambda it: it['x'])
        table.append([it['text'] for it in rows])
    return table

其中 12 像素的阈值需要按图像 DPI 调整。若表格行高较大，应改用行高的一半或固定比例。合并单元格会产生同一逻辑行中缺少某列的情况，重组时先保留空字符串，后续再按列位置做合并后处理。这个函数只依赖坐标，不依赖模型输出的 text 顺序，所以后端可以在拿到结果后稳定复现表格结构。

用标准表格验证修复流程

构造验证样例时，先建三行三列标准表格，再复制一份，在第二行将第一列与第二列合并。两个样例使用同一套预处理和 build_table 流程运行。

def process(image_path):
    enhanced = preprocess(image_path)
    items = ovisocr2_recognize(enhanced)  # 替换为实际调用
    table = build_table(items)
    return table

标准表格期望输出三行三列二维数组，每个元素与标注矩阵一一对应。合并单元格样例期望输出时，合并区域文本出现在行首或列首，其他受影响位置用空字符串补齐。若输出结构与标注矩阵不一致，回到第二步检查表格线；如果表格线完整且坐标正常，则检查 build_table 的聚类阈值。整个流程的验收标准是二维列表可以在不对文本做二次猜测的情况下，直接写入 Excel 或数据库。