先确认现象:回调前后时间戳差了多少
首先要确认的不是异步方案本身,而是确认阻塞源。很多本地模型推理发生在回调函数里时,前端不是慢慢变慢,而是直接冻结,按钮点了没反应,浏览器标签页上转圈,几分钟后可能才恢复。判断阻塞源不需要工具,只需要在回调前后各打一次时间戳。
在 Streamlit 回调函数中直接调用本地模型推理时,如果推理耗时超过数百毫秒,前端会明显感知到界面冻结、按钮无响应甚至出现“App is taking too long to run”的提示。这种情况通常是因为回调函数运行在 Streamlit 的服务主线程中,阻塞了页面渲染。判断的方法是:在回调函数前后分别打印时间戳,如果两次打印间隔远大于预期,且期间页面无法交互,就说明主线程已被模型调用占用。
这个提示对排查很有用。“App is taking too long to run”是 Streamlit 前端对 WebSocket 长时间没有回包的一种兜底提示。提示出现时,先看提交给模型的输入有没有异常、模型是不是在等待 GPU 资源;如果输入和显存都正常,再把注意力放到 Streamlit 的执行模型上。
容易误判的地方:asyncio.run报错不等于模型代码出错
只把卡顿归结为模型慢,会漏掉一个常见错误。很多人第一次改异步处理时,会在回调里写 asyncio.run(some_coroutine),然后看到 “RuntimeError: This event loop is already running”。这不是模型代码的问题,而是 Streamlit 服务进程里已经有了自己的事件循环,回调里再调用 asyncio.run 会冲突。先在不同函数里分别打印时间戳,能确认模型调用本身耗时是多少,也能确认报错是否只在加了异步代码后才出现。
import time
def predict_with_log(prompt):
t0 = time.time()
answer = local_model.invoke(prompt)
print(f'[predict] elapsed={time.time() - t0:.2f}s', flush=True)
return answer这段代码放在回调函数和被模型调用的函数之间,观察服务端日志。如果打印出的耗时远低于页面冻结时长,说明卡顿点不在模型计算,而在线程模型、参数序列化或者回调中其他 I/O 操作;如果耗时本身就很高,再考虑换异步方案。建议先保留这段日志,再往下改,方便把模型推理时间和任务排队时间分开。
建议的处理顺序:缓存模型实例,再异步推理
一个稳妥的优化方案是将模型加载和推理拆开处理。用 st.cache_resource 缓存模型实例,避免重复加载;推理部分则通过 asyncio.to_thread 或 loop.run_in_executor 放入线程池执行。回调函数先启动后台任务,立刻返回,等任务完成后再用 streamlit.rerun 或 session_state 中的状态标记来更新界面。这样能保证回调本身不阻塞主线程,界面保持可交互。
这里要区分两件事:模型实例的缓存解决的是重复加载模型的时间,推理放入线程池或执行器解决的是回调返回前等待推理完成的时间。通常可以用线程池执行器来承载推理任务,回调函数只做一件事:把任务交出去,然后立刻返回。下面的示例在新线程中创建独立事件循环,避免和 Streamlit 自身 loop 冲突。
import asyncio
import threading
import streamlit as st
def run_coroutine_thread(coro):
def worker():
loop = asyncio.new_event_loop()
asyncio.set_event_loop(loop)
try:
loop.run_until_complete(coro)
finally:
loop.close()
threading.Thread(target=worker, daemon=True).start()
async def run_inference_async(prompt):
answer = await asyncio.to_thread(model.invoke, prompt)
st.session_state['answer'] = answer
st.session_state['task_done'] = True
def on_generate_click():
st.session_state['task_done'] = False
run_coroutine_thread(run_inference_async(st.session_state['prompt']))这段代码执行位置是 Streamlit 脚本的顶层模块,on_generate_click 绑定在按钮的 on_click 上。页面端此时可以继续操作,等 st.session_state['task_done'] 为 True 后再触发 rerun 显示结果。失败时优先检查线程是否没有启动,以及 st.session_state 里的字段是否在回调前被其他代码重置过。
验证方法:时间戳跳动与WebSocket消息
优化完成后,不能只看回调是否快速返回,还需要确认界面是否真的没有阻塞。可以用浏览器开发者工具的网络面板观察 WebSocket 消息,在用户操作按钮时,如果消息能持续双向发送,说明服务主线程没有被长期占用。另一个更直观的做法是在页面中放一个动态时间戳。
import time
status_placeholder = st.empty()
while not st.session_state.get('task_done', False):
status_placeholder.write(f'主线程响应正常:{time.time():.3f}')
time.sleep(0.1)
status_placeholder.empty()
st.write(st.session_state.get('answer'))这段代码放在脚本主流程里,和按钮回调不在同一个执行段。点击按钮后,如果时间戳能持续跳动,说明脚本主循环仍然在执行;如果时间戳停止,说明还有阻塞点没清干净。连续快速点击按钮,观察任务提交时间和结果返回时间,也能判断后台任务是否在排队,或者线程池是否已经饱和。
回滚和风险:线程安全与界面更新限制
把推理从同步改成线程池方案后,还需要处理一个很容易被忽略的边界。使用异步后,不能直接在后台线程或协程里调用 st.write、st.markdown 等界面更新函数,否则会抛出运行时错误。正确做法是将结果保存到 st.session_state,再触发 rerun。另外,线程池中的模型推理要自行处理并发问题,除非模型本身线程安全,否则建议加锁或使用单线程执行器。否则可能引发模型崩溃或结果错乱,这比界面卡顿更难排查。
如果一个模型对象内部维护了 tokenizer 状态、batch 缓存或非线程安全的 CUDA context,两个推理线程同时调用时,通常不会直接报错,而是出现生成内容错乱或彻底崩溃。此时建议先给模型调用加一把锁,把并发控制放在最外层。
import threading
inference_lock = threading.Lock()
def safe_invoke(prompt):
with inference_lock:
return model.invoke(prompt)这把锁的本质是让推理退化为串行,但至少主线程不会被阻塞。如果加锁之后任务排队时间明显变长,说明问题已经不在并发控制,而在模型本身的推理耗时,需要回到量化、精简 prompt 或换推理服务这些方向去考虑。如果这些方法都不能接受,还有一个回滚路径:退回同步执行,并在界面上用 st.warning 明确提示生成期间不要关闭窗口,避免用户在无反馈时反复点击按钮。
后续维护:记录任务排队时长
优化做完不是终点。可以把每次任务提交时间、开始推理时间和完成时间都记录到日志里,观察排队时长是否持续增长。如果排队时长增长,说明线程池容量需要调整,或者当前推理速度确实跟不上请求频率,这时页面可能不卡,但用户等待结果的时间依然很长。这一点比单一观察回调返回时间更能反映真实体验。
另外注意 session_state 里的旧结果会在 rerun 之后继续存在,如果用户点击按钮后没有第一时间清空 answer 字段,界面会出现“上一轮答案被当作当前结果显示”的错觉。建议在回调开始时将 task_done 置为 False 并清除 answer,再启动后台任务。这两个字段的清理逻辑应跟随按钮回调,而不是放在脚本顶部,否则一次普通的页面刷新也会把任务状态重置,导致后台任务完成后无法把结果带回界面。