AI 应用的 Token 消耗和延迟监控,重点在于让每一次模型调用都留下一条可聚合的记录:输入与输出 token、首字延迟、端到端耗时、状态码、模型名、功能或租户维度。这条记录稳定下来,预算告警和延迟分位告警才有依据;记录不齐,阈值只能靠感觉定,最后不是误报频繁,就是真实异常被漏掉。
监控 AI 应用的成本和延迟,建议先确认三件事:响应里能否稳定拿到 usage、流式调用是否把首字延迟和总时长分开记、告警维度能否收敛到功能或租户。做法是在统一客户端封装里写结构化日志,再转成计数器和直方图,用速率和 P95 触发告警。基线数据不足时先只记录、不告警,避免阈值频繁误报,让值班人员逐渐忽略告警。
先确认当前场景和目标
这一步是为了判断你的环境是否具备做监控的条件,而不是先挑工具。以下几条如果任何一条模糊,后面的阈值都会失去意义。
- 用量字段是否可得:多数模型响应体会带 usage(输入 token、输出 token),但流式响应常常只在最后一块返回,或者需要显式开启,需要结合所用 SDK 版本确认。
- 延迟怎么算:流式调用要分开记首字延迟和总时长;非流式只有总时长。两者混在一个指标里,P95 会失去参考价值。
- 告警维度:默认按功能(feature)和租户(tenant)两个维度通常就够。不建议把用户 ID、会话 ID 做成指标标签,标签基数容易失控,进而拖慢指标系统本身。
- 预算口径:配额按日还是按月、是否按功能分摊,决定告警用 rate 还是 increase、窗口取多长。
- 计费规则:失败重试是否计费、系统提示词是否每次重复计入、缓存命中是否计费,通常要和自己的日志对齐一遍再用。
判断条件可以概括为一句话:如果你拿不到 usage,或者流式调用不返回用量,就先做估算兜底(按字符数或分词器估算),并在日志里打上 estimated 标记,不要和真实用量混进同一个指标。

按这个顺序处理
第一步是记录调用情况。把调用收敛到一个统一封装里,不要在每个业务函数里各自 print。下面是一段通用骨架,字段名需要按你实际使用的 SDK 版本核对:
import json, logging, time
def call_llm(client, model, messages, tenant, feature, **kw):
t0 = time.time()
ttft = None
usage = None
parts = []
stream = client.chat.completions.create(
model=model, messages=messages, stream=True, **kw)
for chunk in stream:
if ttft is None:
ttft = time.time()
parts.append(chunk.choices[0].delta.content or "")
if getattr(chunk, "usage", None):
usage = chunk.usage # 部分实现只在最后一块返回
logging.info(json.dumps({
"event": "llm_call",
"model": model, "tenant": tenant, "feature": feature,
"prompt_tokens": getattr(usage, "prompt_tokens", None),
"completion_tokens": getattr(usage, "completion_tokens", None),
"ttft_ms": None if ttft is None else int((ttft - t0) * 1000),
"latency_ms": int((time.time() - t0) * 1000),
"ok": True,
}, ensure_ascii=False))
return "".join(parts)
第二步是把日志转成指标。计数器记调用量和 token 总量,直方图记延迟,标签只保留 model、feature、tenant 这类低基数字段。指标命名可以先用 llm_tokens_total、llm_call_count_total、llm_latency_ms、llm_ttft_ms、llm_call_errors_total 这一组,后续再补。
第三步才是配告警。下面是一份规则骨架,阈值只是占位值,必须按你自己观察到的基线改,不能照抄:

groups:
- name: llm-app
rules:
- alert: LLMTokenRateSpike
expr: sum by (feature) (rate(llm_tokens_total[10m])) > 2000
for: 15m
labels: {severity: warning}
- alert: LLMSingleCallTooLarge
expr: llm_prompt_tokens > 20000
for: 0m
- alert: LLMLatencyP95High
expr: histogram_quantile(0.95, sum by (le, feature) (rate(llm_latency_ms_bucket[5m]))) > 8000
for: 10m
labels: {severity: warning}
- alert: LLMCallErrorRate
expr: sum by (model) (rate(llm_call_errors_total[5m])) / sum by (model) (rate(llm_call_count_total[5m])) > 0.05
for: 10m
labels: {severity: critical}
第四步是让告警能送到人手里并避免告警过多:warning 进频道、critical 走值班通道;同一个 feature 在短时间内只通知一次;发布窗口内加静默;token 速率类告警建议和自身近一周同期比,而不是用固定绝对值。
改完后怎么验证
- 对账:抽一批调用,把日志里的 token 求和,与供应商后台用量页对比。账单通常有延迟,按天对账比按小时稳。
- 注入:用 mock 客户端返回固定 usage 和固定 sleep,跑一遍,检查指标是否按要求增长、告警是否触发。这一步验证的是日志到指标的链路,不是模型本身。
- 验证规则本身:临时把 for 调短、阈值调低,确认通知能收到,再改回来,避免规则写错却一直没发现。
- 观察期:上线后先看一到两周的分位数曲线,确认低峰期不误报,再逐步收紧阈值。
预期信号是:token 速率曲线与请求量趋势同向且没有突变;正常情况下 P95 延迟平稳;人为构造的超额调用能在 for 时间内触发一次,并且只触发一次通知。
容易忽略的边界
- 流式 usage 缺失:只在最后一块返回、甚至完全不返回都常见。客户端要合并最后一块的用量,拿不到就走估算并打标记,估算值不能用于计费类告警。
- 重试掩盖失败:被限流或超时的调用可能仍计入用量,重试成功后业务看起来正常,但错误率被稀释。错误指标要按原始请求统计。
- 缓存调用:命中缓存的调用 token 可能为 0 但仍有延迟,把它算进平均 token 会拉低均值、掩盖问题,所以看分位不看均值。
- 采样失真:高并发下日志全量采集成本高,可以按比例采样,但 token 汇总必须用全量计数或加权处理,否则预算告警会偏。
- 不适用情形:日调用量很低的场景,用日志检索加定时汇总报表比搭一套指标系统省事,也更容易核对。
- 回退建议:指标链路或标签还没定型时,先只保留结构化日志和每日汇总,告警只上单次调用 token 超阈值这类确定性高的规则,等数据稳定再加速率类和分位类告警。