本地模型跑多轮对话时,很多人会在Gradio和Streamlit之间来回切换,然后被缓存行为坑到。原因不是哪个框架更聪明,而是两者对“状态”和“缓存”的边界定义完全不同。下面这段判断基本能说明问题:
两者对多轮对话缓存的处理方式可以从作用域维度判断。Streamlit中@st.cache_data默认按函数入参的哈希值决定是否命中缓存,若把完整对话历史作为参数传入,则每新增一轮对话都会导致参数变化,进而触发重新执行函数;但若历史数据存放于st.session_state,则不会进入缓存机制,刷新逻辑由Streamlit自行管理。Gradio中gr.State则作为独立的组件状态,在每次请求中显式传递,没有自动缓存一说,因此对话历史的刷新只取决于前端是否发送了最新状态值。
这句话的实际含义是:Streamlit把“缓存”和“状态”分开了,而Gradio只有“状态”,没有服务端缓存。如果你在Streamlit里把整个history列表传给一个用@st.cache_data装饰的函数,那么每次用户说一句话,history就变一次,缓存必然失效。这不是缓存写错了,而是把会话状态硬塞进了缓存键里。相反,Gradio的gr.State每次请求都会从浏览器端传回服务端,回调函数收到的是最新state,不存在“命中旧缓存”的问题,但代价是每次交互都要把整个历史数据在网络里走一遍。
所以,本地模型多轮对话的缓存策略不能照搬单一框架的默认行为。先看一个简单可跑的Gradio示例,用的就是gr.State保存历史:
import gradio as gr
def chat(message, history):
history.append({"role": "user", "content": message})
# 这里替换成你的本地模型推理调用
reply = f"你刚才说: {message}"
history.append({"role": "assistant", "content": reply})
return history, history
with gr.Blocks() as demo:
chatbot = gr.Chatbot()
state = gr.State([])
msg = gr.Textbox()
msg.submit(chat, [msg, state], [chatbot, state])
demo.launch()执行位置是在你的Python脚本里,运行后打开Gradio地址,每次发送消息时state都会作为参数传进来,回调返回的第二个值会覆盖原来的state。验证方式很简单:在聊天框里连续输入三句话,观察服务端日志或打印history的长度,正常情况下每次都会累加。如果发现第二次交互时历史丢失,优先检查两件事:一是回调返回值是否包含state,二是是否在函数内部直接修改了state对象而没有返回新引用。Gradio的gr.State默认是浅拷贝传递,如果你在回调中直接往列表里append却不返回,下一次拿到的可能还是原来的对象。
再来看Streamlit的写法。通常建议把历史放入st.session_state,而不是依赖缓存装饰器:
import streamlit as st
if "history" not in st.session_state:
st.session_state.history = []
user_input = st.text_input("输入对话")
if user_input:
st.session_state.history.append({"role": "user", "content": user_input})
# 调用本地模型
reply = f"收到: {user_input}"
st.session_state.history.append({"role": "assistant", "content": reply})
st.write(reply)这个脚本里没有任何缓存装饰器,所有历史都保存在st.session_state中。Streamlit的脚本在每次交互时都会从头到尾重新执行,但st.session_state里的内容会保留下来。这样做的好处是你不需要担心参数哈希变化,坏处是每次重复执行脚本时,所有没有用st.session_state保护的中间变量都会被重建。验证方式是在页面上多轮输入,然后点击浏览器刷新——如果刷新后历史还在,说明状态存储正确;如果刷新后历史消失,那不是缓存问题,而是Streamlit的会话状态本身重置了。
那如果已经习惯了用@st.cache_data呢?下面这个反例值得警惕:
import streamlit as st
from functools import lru_cache
@st.cache_data
def generate_answer(history, prompt):
# 这里调用本地模型
return f"基于{len(history)}轮历史生成回复"
history = [] # 错误示范:不要把可变列表作为参数
if "history" not in st.session_state:
st.session_state.history = []
user_input = st.text_input("我")
if user_input:
st.session_state.history.append(user_input)
reply = generate_answer(st.session_state.history, user_input)
st.write(reply)注意上面代码里的history列表被直接传给了被装饰的函数。因为列表是可变对象,@st.cache_data会对参数做哈希,而列表的哈希值会随内容变化,所以每轮对话都会因为history内容改变而重新执行函数——这本身没有错,但如果你在函数内部修改了history,就会产生副作用。更推荐的做法是把历史从参数中剔除:
# 单独保存每个会话的历史
SESSION_HISTORY = {}
def get_session_history(session_id):
return SESSION_HISTORY.setdefault(session_id, [])
@st.cache_data(show_spinner=False)
def generate_answer(session_id, prompt):
history = get_session_history(session_id)
# 只读历史,不修改入参
return f"这是第{len(history)+1}轮,历史长度{len(history)}"这样入参只包含session_id和prompt,session_id不变时,只有prompt变化才重算。但如果模型回答依赖完整历史,这种写法仍然会让缓存失效,因为prompt变了。所以本质问题是:多轮对话的输出天然依赖历史,用缓存装饰器并不合适。这也是为什么很多人最后会把模型调用移出缓存函数,只在预处理或后处理环节使用缓存。
缓存刷新机制的主要风险在于上下文被意外清除或复用。Streamlit的@st.cache_data一旦命中缓存,会跳过整个函数体,如果函数体内部有I/O操作或随机采样,可能输出陈旧结果。在多轮对话场景,若把历史列表放入函数的可变默认参数,Python会保留引用,但Streamlit的缓存是序列化存储,可变对象会被深拷贝,导致每次调用都返回同一个历史副本,无法反映新增内容。Gradio的gr.State一般是浅拷贝传递,若在回调中直接修改列表对象,也会因为引用共享而出现历史错乱。边界条件是:当对话轮次超过一定长度,两者都可能因为内存占用而需要手动清理。
实际操作中,我建议先做一个小实验:分别用两个框架写一个“回声机器人”,把用户输入原样返回,并打印历史长度。观察在连续对话6到10轮后,哪个框架的上下文还在,哪个已经丢失或重复。这个实验不需要接真实模型,但能帮你摸清框架的行为边界。做完实验后,再结合几个问题做判断:如果用户刷新浏览器页面后是否需要保留历史?如果多个用户同时使用,历史是共享还是隔离?模型推理本身是否有副作用?这些问题的答案会决定你选择哪种缓存方案。
从缓存生命周期看,Streamlit的缓存是全局持久化的,默认不清理,只有参数哈希变化才更新;Gradio的gr.State生命周期与浏览器会话绑定,刷新页面后状态清零,但服务端函数没有缓存。因此,在本地模型应用中,Streamlit更适合对同一模型结果做缓存复用,比如不同用户问相同问题,但多轮对话中如果模型输出依赖历史,就需要避免使用缓存。Gradio则天然适合会话式交互,但每次请求都要完整传递历史,可能增加网络负载。两者在缓存刷新机制上的差异,直接影响对话上下文的一致性表现。
如果你的应用同时需要缓存复用和会话隔离,可以混合使用:在Gradio里用gr.State保存历史,同时把模型推理函数拆成两段——一段做无状态的预处理,可以用缓存;另一段接收状态并调用模型,不做缓存。在Streamlit里,则使用st.session_state保存历史,把模型调用放在一个普通函数里,不要加@st.cache_data。这样能避免绝大多数缓存误伤问题。
还有一个容易忽略的地方:本地模型通常跑在独立的推理服务中,比如通过HTTP或gRPC调用。这时无论是Gradio还是Streamlit,它们自己只负责页面和会话状态,模型推理的缓存还得靠推理服务本身。如果你在推理服务里用vLLM或TGI,它们有prompt-cache或prefix-cache机制,这跟框架的缓存是两回事。不要混为一谈。调试时可以用curl直接请求推理服务,确认同一段历史是否被缓存命中,再去判断前端框架是否存在缓存问题。
文章最后提醒一点:对于本地模型多轮对话,不要盲目追求“缓存命中率”。多轮对话的每次输出都依赖前文,强行复用旧结果反而可能导致答非所问。优先保证上下文正确,再考虑性能优化。如果确实希望减少重复计算,可以在Steamlit中把“系统提示词+固定前缀”作为缓存键的一部分,把动态对话历史放在session_state里。但在动手改代码之前,一定要先确认你用的框架版本——Gradio和Streamlit都在频繁迭代,gr.State和st.cache_data的具体行为可能随版本微调。遇到异常时,先用最小复现脚本确认现象,再决定改缓存还是改状态管理。