多轮对话在Web界面中越聊越慢,如何清理历史上下文?

文章导读
如果你维护的Web应用里加了多轮对话功能,用户聊到十几轮之后页面开始卡顿、响应变慢,先不要急着把服务器内存翻倍。这类问题有相当一部分不是算力不够,而是每次请求都带着越来越多的历史消息。我一般先打开Network面板看实际请求体,再决定改动哪个环节。
📋 目录
  1. A 先确认是不是上下文在累积
  2. B 用滑动窗口控制发送内容
  3. C 清理不能把用户重点信息一起抹掉
  4. D 清理后如何确认没有白做
A A

如果你维护的Web应用里加了多轮对话功能,用户聊到十几轮之后页面开始卡顿、响应变慢,先不要急着把服务器内存翻倍。这类问题有相当一部分不是算力不够,而是每次请求都带着越来越多的历史消息。我一般先打开Network面板看实际请求体,再决定改动哪个环节。

先确认是不是上下文在累积

在排查Web多轮对话变慢时,先不要急着加服务器资源。打开浏览器的开发者工具,切到Network面板,连续进行多轮对话,观察每个请求的payload大小。如果payload里的消息数组长度和字符数随着轮次线性增长,并且响应时间也随之变慢,那么基本可以判定是历史上下文累积导致的。还可以在服务端日志中打印每次收到的prompt长度,或者使用tokenizer工具估算token数。注意排除网络抖动或数据库慢查询的干扰,最好在固定网络环境下对比前几轮和最后几轮的表现。

对照前后轮次的数据量,还能顺手做一件事:在服务端给每次请求加一个耗时拆解日志,区分排队时间、模型响应时间和网络传输时间。如果模型响应时间本身没变,只是网络传输时间和排队时间增加,那就更要关注请求体大小。

用滑动窗口控制发送内容

比较直接的做法是给上下文设置一个最大轮数,比如保留最近10轮用户和助手消息,更早的从发送队列中剔除。前端在构造请求时,遍历消息列表,只截取从第N-10到第N条消息;后端同样需要在接口层做一次过滤,防止绕过前端直接调用API。注意要保留独立的系统提示词,比如角色设定、工具权限说明,该内容是每次请求都需要的,不能混在轮数里被截断。截断后可以在界面提示用户“已清理部分早期对话”,避免用户以为消息丢失。

这种方式适用于业务问答、操作引导这类上下文关联不深的对话。如果你做的是合同修订、长文档分析,最近10轮消息可能不够。另外,“轮数”和“条数”不一定对等,有的对话一轮可能包含多条消息,前端构造时要按业务约定的轮次口径来切。比如用户插入一张图片再写一段文字,这算一条还是两条,需要提前定好。下面是发送前的处理示意:

# 前端发送前的处理示意
max_rounds = 10
# messages 是完整历史,每条带 round_id 或按顺序切
recent = [m for m in messages if m["round"] >= current_round - max_rounds]

如果不想引入轮次字段,也可以按消息条数截断,但系统提示词必须单独放在一个不会被截断的字段里。

多轮对话在Web界面中越聊越慢,如何清理历史上下文?

清理不能把用户重点信息一起抹掉

清理历史上下文需要权衡,不能为了速度把用户的对话记忆全部抹掉。比如用户刚提供过收货地址,如果清理后后续问题无法获取该地址,就会出现空答。建议在清理前先做关键信息提取,把用户明确提到的实体、数字、日期等放入一个“短时记忆”字段,与可丢弃的消息日志分开存储。另外,清理动作最好做成可恢复的,比如在服务端保留一份完整日志,只是不再发送给模型;这样即使清理过度,也能从日志中找回。不要在生产环境直接删除原始记录,除非有绝对的备份和留存期限要求。

这里提到的“短时记忆”字段,我建议实现成一张独立的缓存表,键是会话ID,值是JSON结构,里面放商品ID、地址、预算、日期这类结构化数据。每次请求前先读取,成功回复后再更新。注意更新要加锁或版本号,避免两个并发请求互相覆盖。

清理后如何确认没有白做

最容易出现的情况是界面显示消息少了,发出去的请求仍然带着完整历史。所以我每次改完清理逻辑,都会在Network面板里点开最新一条请求,看body里的messages数组长度和字符数。如果数值没降,说明清理的动作没有作用到数据源,常见原因是全局状态管理(比如Vuex、Redux)里还留着旧数组。

还有一种情况是清理动作做了,但后端用游标或版本号又补发了历史。这时前后端需要约定:每次清理后,后端返回一个新的会话快照,包含当前有效的消息列表和游标,前端下次请求只能基于这个新快照继续。不要只改前端状态,后端还要拒绝按旧游标拉取已经被清理的早期消息。

清理历史上下文没有统一参数,它依赖模型上下文长度和产品对记忆的依赖程度。我的习惯是按截断保底,按摘要压缩增强记忆,再配合日志回滚兜底。如果内容很多,建议单独做自动摘要,摘要失败时回退到最近N条完整消息,避免对话中断。每调整一次,都要在上线前用固定测试脚本跑几轮,对比payload字符数和响应耗时的变化。