先算清复核成本再谈自动化——MAI-Cyber-1-Flash 在告警分级里的位置

文章导读
要不要把告警分级交给 MAI-Cyber-1-Flash,取决于两项成本:人工复核一条告警的耗时,以及误放行或误降级的返工代价。建议先把复核耗时测到分钟级、把返工工时算到小时级;收益算不清,就不急于扩大自动化。
📋 目录
  1. 壹 拆解一条告警的人工复核耗时
  2. 贰 把误判代价折算成返工工时
  3. 叁 确定模型只出建议、不定级
  4. 肆 设定人机分歧的处理路径
  5. 伍 上线前用小流量并行跑一周
A A

要不要把告警分级交给 MAI-Cyber-1-Flash,取决于两项成本:人工复核一条告警的耗时,以及误放行或误降级的返工代价。建议先把复核耗时测到分钟级、把返工工时算到小时级;收益算不清,就不急于扩大自动化。

先量三条线:单条告警复核耗时、历史误放行返工工时、分歧处理成本。把 MAI-Cyber-1-Flash 放在“给建议、给依据”的位置,定级仍由值班人签字。用小流量并行一周,看采纳率、分歧率、人均耗时、返工次数的变化;四项中若有两项变差,就收回自动化范围,保留模型只做提示。

拆解一条告警的人工复核耗时

成本基线是整件事的基础。建议先抽一批近期告警,逐条用秒表或工单系统时间戳,把复核过程拆成三段记录,不合并记录,也不靠回忆补填。数据来源写明是值班记录或工单时间戳,不是估算。

段记录内容采集方式记录字段
读取上下文打开告警详情、日志检索、确认触发规则从点开工单到读完日志的时间戳差T_read
核查资产归属确认主机/服务归属、责任人、业务等级CMDB 查询开始到确认结束T_own
撰写结论写定级理由、处置动作、通知对象从开始写结论到提交工单T_write
合计单条告警复核总耗时T_read + T_own + T_writeT_total

建议记录一张最小表,字段固定,便于后面和并行期数据比对:

alert_id, ts_start, t_read_s, t_own_s, t_write_s, t_total_s, analyst, level_by_human, notes

采样量不必追求大,但要覆盖不同告警类型和高低等级;只在单一类型上采样,基线不准。适用范围是“值班人日常处理的告警”,演练或复盘场景要单独标注,避免混入。

把误判代价折算成返工工时

自动化的收益上限等于省下的复核工时;但误判会带来反向支出,所以要把代价先量化。做法是从本团队历史事件记录中筛出“被错误降级或漏放行”的条目(数据来源为内部事件单记录,不引用外部数据),计算从发现到处置完成占用的总工时,包括协同沟通、恢复操作、事后说明等环节。

先算清复核成本再谈自动化——MAI-Cyber-1-Flash 在告警分级里的位置

折算时可以按下面口径:

  1. 筛事件单标签:漏判、降级错误、延迟发现。筛选条件写进检索语句并保存,方便复现。
  2. 对每条统计参与人数乘以各自耗时,得到该事件的总工时。
  3. 取平均值与分布(最大值也要看),因为个别高代价事件会拉偏均值。

比较方式:若单次误放行的平均处置工时明显高于单条告警复核节省的工时,说明分级链条里可以自动化的部分应集中在“提示与排序”,而不是“定级”。边界在于:历史样本少、事件口径不统一时,折算结果只能作为量级参考,不能当精确预算。

确定模型只出建议、不定级

切分决策权是控制风险的关键。约定 MAI-Cyber-1-Flash 的输出只包含建议等级和依据字段,定级动作由值班人在工单上签字确认。把这条约定写进接口契约,比口头约定更可靠。

{
  "alert_id": "...",
  "suggested_level": "P2",
  "reason_fields": {
    "signal": "命中规则与关键日志行",
    "asset_scope": "受影响资产与业务等级",
    "context": "关联近期同类告警情况"
  },
  "evidence_refs": ["log_query_id", "cmdb_record_id"],
  "model_note": "依据不足时输出 unknown"
}

接入侧做输入输出校验:字段缺失、等级不在枚举内、evidence_refs 为空时,一律降级为“无建议”,不阻塞值班流程。定级字段单独存一列 level_by_human,与 suggested_level 并列,便于事后核对谁签的字。验证方式是查工单页面:定级是否必须人工提交,模型结论是否只作为展示项。

设定人机分歧的处理路径

分歧不是异常,是正常样本。需要事先定好谁看、记什么、放哪。建议分歧记录至少包含以下字段:

先算清复核成本再谈自动化——MAI-Cyber-1-Flash 在告警分级里的位置
  • alert_id、suggested_level、level_by_human
  • 分歧类型:模型偏高 / 模型偏低 / 依据不足
  • 值班人判断理由(简短文字,不写结论套话)
  • 二次复核人、复核结论、复核时间

二次复核人建议由当班组长或非当班人员承担,避免同一人既提建议又裁决。分歧样本归档位置要固定,例如工单标签加对象存储目录,路径形如:

records/disagreement/YYYY-MM/alert_id.json

归档时同步导出当时的日志查询条件和资产快照,否则事后无法复现判断过程。风险边界:分歧率过高说明提示质量不足,应先收窄适用告警类型,而不是靠加人复核硬扛。

上线前用小流量并行跑一周

并行期的作用是验证前面的成本假设,而不是给模型打分。选一部分告警流入,模型结论只展示不生效,值班人仍按原流程定级。观察下面四项,逐日记录到同一张表里:

指标定义采集方式
建议采纳率level_by_human 与 suggested_level 一致的条数 / 并行条数工单字段比对
分歧率进入分歧记录的条数 / 并行条数分歧归档目录计数
人均复核耗时变化并行期 T_total 均值与基线对比同一张耗时表续填
返工次数因错误降级或漏放行产生的事件单数量事件单标签筛选

判断口径建议提前写死:采纳率上升但人均耗时没有下降,说明模型输出没有减少核查动作;分歧率持续偏高则先看分歧集中在哪类告警。并行期结束后按记录决定扩量、收窄类型还是退回人工,结论要能对应到具体日志和工单号,便于复核。