给 Open WebUI 加实时 token 数和推理速度显示,主要发生在自托管部署、有自定义前端需求的场景。默认聊天页面不会展示这两个指标,需要注入一小段脚本去监听请求。动手之前,先确认你用的版本允许前端注入脚本,否则后续步骤没有载体。
进入“设置 → 站点配置”,如果左侧菜单出现“站点配置”且内部有“自定义代码”输入框,说明版本支持。这个入口在 0.1.105 之后的版本里比较常见。如果找不到,说明版本过旧,建议先更新到较新版本。如果你不想升级,也可以暂时用浏览器扩展(如 Tampermonkey)在聊天页面手动注入脚本,但每次发布更新后选择器可能失效,维护成本高。所以从长期看,升级并使用内置注入入口更稳。
从 SSE 流里拿 token 计数
推荐的做法是使用Open WebUI自带的事件接口,而非直接解析HTML文本。打开浏览器开发者工具,在调用聊天接口时观察网络面板中是否有类似`/api/chat`的流式响应。你可以通过向该事件添加监听器,从返回的chunk中读取`usage`字段。这个字段包含`prompt_tokens`和`completion_tokens`,用它们可以实时算出token数。注意:响应是SSE格式,需要按行解析,不要一次性读取全文。
SSE 的原始数据通常是多行文本,每行以 data: 开头,以换行分隔,结束时会有一行 [DONE]。在注入脚本里,可以在全局维护一个计数器对象:window.tokenUsage = { prompt: 0, completion: 0 }。每次解析到 usage 字段时,把增量累加进去,而不是直接赋值。有些后端会在第一块就返回 prompt_tokens,也有后端在最后一块才返回总用量。你先抓一次响应,确认实际结构再写解析逻辑。
别把累加逻辑放进渲染循环
不要把计算公式写在渲染循环里,否则每次刷新都会重新累加token数,导致显示值大于实际值。正确做法是维护一个全局计数器,在每次收到新的chunk时累加增量。另外,Open WebUI在流式输出时可能会发送`[DONE]`标记,此时要停止计时并显示最终结果。如果直接在`message`事件里更新DOM,会造成大量重绘,建议用requestAnimationFrame节流或使用独立的显示面板。
实际踩坑时,计数器重复累加往往不是公式问题,而是监听器绑定了两次。在注入脚本里执行前,先移除旧监听器或用一个初始化标记判断。显示面板也别直接操作聊天记录里的节点,可以在页面右上角固定一个独立区域,避免和 Vue 的虚拟 DOM 冲突。
代理模型、计时起点和中断显示
当使用代理模型或外部API时,返回的`usage`字段可能为空或缺失。这种情况下不要尝试猜测token数,而是转为显示“tokens: 未提供”。推理速度的计算依赖时间戳,应选取首次收到响应块与最后一个块之间的时间差,不要从用户提交请求时开始算,因为排队时间会严重影响结果。如果后端在流式过程中出错连接中断,要主动显示“--”而不是卡住。
记录时间戳时,建议用 performance.now() 而不是 Date.now(),前者精度更高,不受系统时间调整影响。收到第一个 chunk 时记录 start,收到 [DONE] 或最后一个块时记录 end。速度值用 completion_tokens 的增量除以时间差,保留一位小数即可。如果 usage 缺失,速度一栏同样显示“--”。
验证显示是否靠谱
脚本插入后,先用一个长度明确的纯文本做验证。比如输入一段 100 个字的中文,发送后看前端显示的总 token 数是否在一个合理范围。注意,大多数 tokenizer 会把一个汉字拆成 1 到 2 个 token,不要拿字符数直接当作 token 数。如果后端返回了 usage 字段,直接以它为准;如果与前端显示不一致,检查你是否漏掉最后一块不带 usage 的普通数据。若后端没有 usage,只能用文本长度估算,此时必须在显示位置标注“估算值”,避免误导后续看日志的人。
最后检查边界:页面刷新后计数器要归零,离开页面时清除定时器和事件监听,否则长时间挂着会累积内存。如果显示值偶尔跳变,打开浏览器控制台看有没有报错,再逐步排查监听逻辑。实时显示这个功能本身不影响聊天结果,只要数据来源清楚,随时可以关掉注入脚本回滚。