Nemotron-Labs-Diffusion 在中文命名实体识别中的边界处理

Nemotron-Labs-Diffusion 这类生成式模型做中文命名实体识别时，边界处理的关键不在模型能力，而在如何把“边界”从隐式语义变成显式约束。中文没有天然分隔符，实体左右边界往往依赖任务定义，因此需要在提示词、解码和后处理三个层面同时限定边界，否则模型很容易产生多标、漏标或括号不匹配。

处理 Nemotron-Labs-Diffusion 的中文 NER 边界，建议采用“结构化输出+边界标记”策略：先规定实体类型和边界括号，再通过解码约束和后处理校验消除超界与漏界。适用场景是端到端生成式 NER；风险在于扩散模型解码不稳定性，需配合规则校验。

把边界问题转成输出格式问题

对于生成式模型，最先要决定的是实体如何从文本中“切出来”。不建议让模型直接输出 start/end 数字索引——生成数字时容易出现越界和偏移，而且难以校验。更稳妥的方式是让模型输出带标记的文本，例如用 <person>张三</person> 表示人名，用 <loc>北京市朝阳区</loc> 表示地名。后处理时再把标记位点转换成最终索引。这种做法的好处是边界以字符匹配为准，模型只需要学会在哪里插入标签，不需要计算数字。

在提示词中，必须把输出格式写死。可以给出一段示例文本和对应的标注结果，并声明“只输出标注后的文本”。这样能减少模型自由发挥的空间。

边界消歧：显式声明判定规则

中文实体边界模糊主要来自两个来源：一是分词和实体边界不一致，二是嵌套实体或包含关系。例如“北京市朝阳区”既可以整体当做一个地点，也可以拆成“北京市”和“朝阳区”两个地点。模型默认不知道你要哪种。因此，在提示词里要明确给出优先级规则。常见的有几种：最长匹配优先、最短完整单元优先、按任务目标固定类型。比如做地址解析就用最长匹配，做人物履历抽取可能用最短完整地名。建议把规则写成黑纸白字放进提示词，而不是指望模型自己理解。

另外，如果任务中确实存在嵌套实体，不要试图让模型一次全部输出。可以设计两轮生成：第一轮输出最外层实体，第二轮再对每个外层实体内部做细粒度识别。这样可以把边界问题分层处理，降低单次生成的压力。

提示词骨架与后处理校验

下面的提示词适合作为版式起点，实际使用时要根据领域替换实体类型和规则：

你是一个中文命名实体识别引擎。给定文本，找出所有实体。实体类型：人名、地名、机构名。输出格式：在实体前后加上对应标签，例如 <person>张三</person>、<loc>北京市朝阳区</loc>、<org>字节跳动</org>。规则：地名取最长包含实体；机构名以工商注册全称为准；不要输出任何解释。

文本：{text}

拿到模型输出后，需要一个后处理函数做基础校验。下面这段 Python 骨架可以处理标签配对和原文一致性：

import re

def extract_entities(labeled_text, original_text):
    fmt = r'<(person|loc|org)>(.*?)</\1>'
    stripped = re.sub(fmt, r'\2', labeled_text)
    if stripped != original_text:
        raise ValueError("标注文本与原文不一致，注意标签是否改变了字符")
    entities = []
    for match in re.finditer(fmt, labeled_text):
        start = match.start(2)  # 注意：这是标注文本中的位置，需映射回原文
        # 实际项目建议采用字符替换后的 map 结构来定位
        entities.append((match.group(1), match.group(2), start))
    return entities

这个骨架只做演示，真实项目中，如果你用标签包裹文本，最好把标注文本按标签切分后逐段比对，避免二次正则定位偏移。

验证清单：上线前先跑这三项

边界一致性：去掉所有标签后，剩余文本必须和原文本逐字一致。任何多余标点、空格或换行都说明标签插入位置出了问题。
类型白名单：只允许提示词里定义的标签类型出现在输出中。如果模型输出 <loc> 之外的自定义标签，就要触发重试或截断。
嵌套实体回退：如果模型在一个外层标签内又输出了同类型或不同类型的内层标签，按照你预设的优先级决定保留哪层。没有优先级时，建议直接丢弃内层或外层任一标签，避免双边界。

另外，扩散模型在文本生成时可能有不稳定的重复或丢 token 现象，因此建议在 batch 推理时加入 n-gram 重复惩罚，并对模型输出做字符串长度限制，避免无意义的括号堆叠。

最后要明确一点：边界处理没有“唯一正确”的答案。不同任务对实体边界有不同定义，比如时间表达式“2026年5月”可以整体识别，也可以拆开。你需要先在自己的数据上标注少量样例，跑通提示词-输出-校验链路，再根据错误样例调整规则。如果模型在长文本上频繁越界，可以考虑把文本切成句子或段落来分块处理，这会显著降低括号不匹配的情况。