值班人收到 MAI-Cyber-1-Flash 这类模型给出的“可降级”建议时,真正要问的不是“模型准不准”,而是“它有没有把判断依据摊开给我看”。模型输出降级建议,本质上只是一条待核查的假设:它可能引用了告警里的字段,也可能只是顺着上下文做了合理猜测。可核查的做法是把模型的输出拆成“结论”和“依据”两部分,结论部分只写建议等级和下一步动作,依据部分必须逐项列出引用了哪些字段、哪些字段缺失,再由值班人判断证据是否够用。证据不足时维持原等级并转人工,不因为模型说“可以降级”就动手。
收到模型给出的降级建议,先把输出拆成结论栏和依据栏:结论栏只允许出现建议等级、引用字段、缺失字段、下一步动作;依据栏没有落到具体告警字段的,一律视为证据不足。证据不足时的默认动作是维持原等级并转人工,不自行降级。已经降级的告警要留告警编号、模型建议、引用证据、签字人、处理时间五项,并定期抽检;误降样本要回流成规则或字段补充。适用边界:只处理可通过告警配置、日志、命令或页面行为验证的内容,模型对业务影响的判断不能替代人工确认。
要求结论和依据分两栏输出
让建议可核查,第一步不是改模型,而是改输出格式。要求模型在回答降级问题时固定输出两栏:结论栏和依据栏。结论栏里只允许出现四类信息,避免模型把推理和结论混在一起,读的人分不清哪句是判断、哪句是证据。
- 建议等级:只能是“维持”“降级”“升级”之一,不接受“建议关注”“视情况而定”这类模糊词。
- 引用的具体字段:写成告警对象里的字段路径,例如
alert.severity、alert.rule_id、labels.instance、annotations.summary,不能只写“根据告警内容”。 - 缺失字段:模型判断时需要但当前告警里没有的字段,例如没有
runbook_url、没有历史触发次数、没有关联变更记录。 - 建议的下一步动作:例如“转人工确认”“补充 CMDB 归属信息后再判”“按原等级派单”。
依据栏要求逐条对应字段,格式可以先用一个通用提示词骨架跑起来,字段名按自己告警平台的实际情况替换:
你在协助值班人判断告警是否需要降级。请严格按以下两栏输出,不要合并。
【结论】
建议等级:维持 / 降级 / 升级(三选一)
引用字段:列出你实际读到的字段路径与取值
缺失字段:列出判断需要但告警中不存在的信息
下一步动作:一句话,说明值班人该做什么
【依据】
逐条写出“字段路径 = 取值 → 对判断的影响”,
不得引用未在告警中出现的信息。若依据不足,
结论栏建议等级必须写“维持”。这段提示词的作用是把模型的自由度压到字段级别。验证方式很直接:拿一条已知应维持的告警和一条确实可降级的告警各跑一次,看模型的依据栏是否出现了告警里根本不存在的字段;如果出现,说明它在一本正经地编,这条建议直接作废。
定一条证据不足不许降级的硬规则
光有格式还不够,值班人在夜里容易妥协。需要在流程或自动处理环节里写一条明文规则,让“证据不足”有确定的后果,而不是靠人临场把握。规则文本建议写得短、可判定,例如:
当模型输出的依据栏无法给出至少一个可核验的告警字段,
或结论栏“缺失字段”非空且缺失项涉及影响面判断时,
视为证据不足:维持原告警等级,转人工处理,
不允许以模型建议为由修改告警等级或关闭告警。这条规则的关键在于默认动作是“维持原等级并转人工”,而不是“降级但标注存疑”。两者差别很大:前者把不确定性交回给人,后者把不确定性留在了系统里,事后没人会回头再看那条存疑标注。落地位置可以在告警分派脚本里做一次字符串或结构化校验,也可以先在人工流程里作为话术固定下来,等输出稳定后再自动化。风险边界要写清:这条规则只能防止空口降级,不能证明模型在依据充分时判断一定正确,所以后面还要有抽检。
列出降级留痕的最小字段集
降级一旦发生,事后追溯靠的不是聊天记录截图,而是固定字段。下面五项是建议的最小集,字段少但每项都要能定位到来源,缺一项就说明这次降级没有留痕。
- 告警编号:从告警平台的告警列表或 webhook 原始 payload 里取,通常是
alert.id或平台侧的 fingerprint,保证全局唯一。 - 模型建议:原样保存模型结论栏的那段文本,不要人工转述,便于日后对比模型行为是否漂移。
- 引用证据:保存依据栏的字段路径与取值,最好连同原始告警 JSON 一起归档,避免字段后来被改过对不上。
- 签字人:实际操作降级的值班人账号,不是“值班组”;模型建议只是参考,责任在人。
- 处理时间:降级动作的触发时间,取自告警平台的操作日志或工单系统时间戳,不要用聊天里说“已处理”的时间。
存放位置建议直接落在告警工单的备注或独立表的固定列里,字段名定好后不要随手改。验证方式是随便挑一条上周降级的告警,看能否只用这五个字段还原“谁在什么时候、基于什么、把哪条告警降了级”。还原不了,就说明字段集或归档方式需要补。
每周抽检已降级告警
抽检的目的是验证模型建议的可信度,不是考核值班人。抽检比例没有通用答案,可以先按降级告警的绝对量来定:如果一周降级只有个位数,全量看也不费事;量比较大时,先抽一个固定条数并优先覆盖不同规则来源,等积累几轮后再根据误降出现的分布调整比例。关键是比例要写下来、每周一致,不能这周抽十条下周抽两条。
判定标准建议只有两类:一是依据栏是否引用了真实存在的字段并能支撑降级,二是降级后是否出现同规则短时间内的重复触发或人工复核确认影响面被低估。前者可以在抽检时对着原始告警核对,后者需要结合告警历史。抽检发现误降后的回退流程建议固定为:先把该告警恢复到原等级或重新派单,再在留痕记录里标注“误降”和原因,最后把该条告警编号登记到待分析清单。不要在现场直接改模型提示词,容易一次改太多导致无法判断效果。
把误降样本回流成规则或字段补充
抽检如果只出一张“本周抽了N条”的统计,价值有限。误降样本要归档到固定位置,例如工单系统的“误降样本”标签或一张独立表,至少包含告警编号、原模型建议、误降原因归类三个可检索项,方便按规则、按告警类型聚合。
每轮调整的输入项建议限制在三类:误降样本本身、当前提示词里的结论栏和依据栏约定、以及告警里实际可用的字段清单。输出也只有两种:要么补字段,比如某类告警缺少归属信息导致模型只能猜,就在告警模板里加字段;要么补规则,比如某类告警历史误降集中,就在证据不足规则里明确把该类型列为必须人工。下一轮抽检时重点关注的就是上一轮误降集中的告警类型和规则来源,看调整后同类误降是否还在出现。这样抽检、归档、调整、再抽检形成一个闭环,而不是每周重复一遍同样的检查。