先判断是不是历史累计导致的内存溢出
在本地模型驱动的网页会话中,多轮对话的历史信息通常被整体拼接到模型输入中,如果会话轮数持续增加,上下文长度就会逐渐逼近甚至超过模型的窗口限制,表现为内存占用迅速攀升,推理延迟明显增大,或进程在长时间对话后直接退出。判断是否为上下文内存溢出,可以在会话过程中采集内存占用曲线,当曲线在某一轮后出现陡峭增长,且日志中出现“context length exceeded”或“out of memory”相关错误时,基本可以确定是历史消息累积所致。此时应停止简单拼接,转而采用缓存机制来管理历史数据。
这段判断要放在会话时间线上看。新建会话第一轮就报 out of memory,通常不是历史累积,而是模型加载参数、输入长度设置或并发服务本身的问题,不需要先上 LRU。
LRU 缓存管理上下文窗口的核心设计
使用LRU缓存管理上下文窗口,核心思想是只保留最近一段时间内实际参与计算的消息,而将最久未使用的消息从输入中移出。实现时可以为每条消息分配独立的键,维护一个支持按访问时间排序的结构,例如双向链表配合哈希表。每次模型调用后,将实际参与的消息标记为最近使用,若缓存容量不足,则从链表尾部淘汰最久未使用的消息,并在下一次调用时不再将淘汰消息发送给模型。这样可以让常驻的历史消息数量保持恒定,从而将内存占用控制在可接受的范围内。
在 Python 后端服务里,可以用 OrderedDict 作为双向链表和哈希表的组合,放到 session_manager.py 中。
from collections import OrderedDict
class ContextLRU:
def __init__(self, max_messages):
self.max_messages = max_messages
self.cache = OrderedDict()
def push(self, key, message):
if key in self.cache:
self.cache.move_to_end(key)
self.cache[key] = message
if len(self.cache) > self.max_messages:
self.cache.popitem(last=False)
def get(self, key):
if key not in self.cache:
return None
self.cache.move_to_end(key)
return self.cache[key]
def get_history(self):
return [self.cache[k] for k in sorted(self.cache, key=lambda k: self.cache[k]['seq'])]key 用 session_id 加 message_id 拼成,message 里需要带一个 seq 字段,保证发送给模型时仍然按对话顺序排列,而不是按最近使用顺序排列。调用模型前先 push 新消息,再取 get_history() 拼到提示词后。打印 len(self.cache) 可以确认条数没有超过 max_messages;如果超过,优先检查是否直接访问了 cache 内部,绕过了 push。
容量设置、系统提示词与淘汰边界
在具体落地LRU缓存前,需要先确定缓存容量和计费单位。容量可以按token数、字符数或消息条数设定,常见做法是让缓存可容纳的总token数小于模型最大窗口的一半,留出空间给生成结果。每次接收新消息时,先检查缓存是否已满,若已满则淘汰最久未使用的消息,再将新消息和系统提示词合并后发送给模型。值得强调的是,系统提示词通常应被排除在LRU淘汰逻辑之外,否则可能导致模型丢失固定指令。
假设模型窗口是 4096,先给生成结果留出一半,再扣掉系统提示词的 token 数。
system_prompt_tokens = 320
cache_token_budget = 2048 - system_prompt_tokens
# 用模型自带的分词器计算每轮消息的 token 数,不要按字符数估算按 token 统计时,要用模型自己的分词器,不能按字符数估算。按消息条数统计实现更简单,但每条消息长度差异大时,缓存占用的内存仍然会上下波动。如果走了条数方案,建议在日志里同时打印当前缓存里累计 token 数,方便观察是否逼近窗口。
会话隔离与并发更新
多用户网页应用里,不同会话不能共享同一个 LRU 实例。否则用户 A 的旧消息可能顶掉用户 B 的旧消息,甚至被拼进用户 B 的模型输入,形成上下文串扰。为每个会话单独建缓存,或者在 key 里拼入 session_id。
import threading
caches = {}
cache_lock = threading.Lock()
def append_message(session_id, message_key, message):
with cache_lock:
if session_id not in caches:
caches[session_id] = ContextLRU(max_messages=32)
caches[session_id].push(message_key, message)这里需要检查两点:一是 caches 字典本身会无限增长,要在会话结束或空闲超时后清理;二是锁必须覆盖所有读写缓存的入口,否则多个请求同时执行 popitem 和 move_to_end 时,仍可能出现缓存状态不一致。多 worker 进程部署时,进程内缓存不共享,需要确认会话请求是否固定落在同一 worker,或者改用 Redis 这类外部缓存;这一步要结合你的部署方式决定,不是所有本地模型服务都要这么做。
怎么验证缓存有效,以及回滚边界
验证不能只看内存掉没掉。要统计 LRU 命中率,看看保留的消息是否真的被后续会话用到。给 ContextLRU 增加一层带计数的子类。
class ContextLRUWithStats(ContextLRU):
def __init__(self, max_messages):
super().__init__(max_messages)
self.hits = 0
self.misses = 0
def get_with_stat(self, key):
value = self.get(key)
if value is None:
self.misses += 1
else:
self.hits += 1
return value如果命中率长期很低,优先检查 key 是否稳定。如果每次请求都生成新的 key,LRU 永远无法命中,缓存形同虚设。其次检查容量是否太小,导致消息刚写入就被淘汰。开发阶段可以写脚本模拟多轮对话,打印缓存内消息条数和 RSS 占用;如果条数恒定但内存还在涨,问题可能不在历史拼接,而在模型服务的 KV cache 分配或请求日志收集,需要看服务端配置。
纯 LRU 只解决“最近使用优先”的短时记忆。用户突然回头追问早期细节时,模型会因为没有上下文答错。如果实际业务里这种情况不少,可以单独维护一个摘要模块,把更早对话压缩成一小段文本附加在系统提示词后面,或者评估调大缓存容量。回滚边界就是:当命中率长期偏低,或者用户开始频繁重复提问,就要调参数或改回摘要方案,不能继续堆内存。
先把历史消息从无限拼接改成有限常驻,内存溢出问题通常会明显缓解。容量和会话数量怎么搭,要由模型窗口、单用户平均轮数和本机内存上限共同决定。