本地部署 DeepSeek 模型后,在 OpenHarmony 侧调用流式接口时出现异常,通常不是模型本身的问题,而是集中在流式数据的传输格式和客户端消费逻辑两层。最可能的方向是:服务端已返回 SSE 数据流,但 OpenHarmony 的 HTTP 客户端没有按流式读取,或按普通响应一次性解析,于是只拿到第一帧、半截 JSON 或中文乱码,甚至连接提前关闭。先不要动模型参数,优先确认流式通道是否真正建立。
先确认流式接口是否真正开启
本地服务若兼容 OpenAI 接口,通常通过请求体中的 stream 字段控制。检查点:查看请求体构造代码或服务端调用日志,确认 stream 是否为 true。处理动作:在 OpenHarmony 代码中把请求体完整打印出来,不用漏看默认参数字段;如果服务端有 debug 日志,观察收到的请求中 stream 值。验证信号:请求日志中 stream 为 true,同时响应头 Content-Type 是 text/event-stream,而不是 application/json。如果发现 stream 未开启,改完即恢复;这属于配置问题,不涉及代码逻辑。
按现象分三条支路排查
分支一:只收到第一帧或数据不完整
典型表现是模型输出几个字就停住,过一段时间报超时。检查点:服务端是否按 SSE 分帧;客户端是否错误地等待“响应结束”。处理动作:使用流式回调持续读取数据,而不是在 end/complete 事件中整体处理;确认没有第三方库将响应体按字符串缓存。验证信号:在回调中记录日志,观察后续 data 事件是否到达;如果服务端日志已发送多个 data 帧而客户端仅收到一次,问题在客户端读取方式。
分支二:中文乱码或 JSON 截断
本地模型输出中文时,OpenHarmony 侧容易按字节解析导致乱码。检查点:响应头 charset 声明,以及客户端采用的解码方式。处理动作:统一按 UTF-8 解码;不要对每次 data 事件直接 JSON.parse,而是将流按换行符切分,拿到完整 data 行后再解析。验证信号:乱码消失,每条 JSON 能正常解析且字段完整。风险边界:若模型部署时使用了非 UTF-8 编码(极其少见),需要修改模型服务端输出配置。
分支三:连接中途断开或超时
本地模型生成速度慢,长时间没有新数据,客户端内置 HTTP 模块可能触发空闲超时主动断开。检查点:应用日志是否有超时或连接重置异常;服务端日志是否有连接中断记录。处理动作:调大请求超时时间,或关闭读取超时;同时确认服务端 keep-alive 开关是否正常。验证信号:会话中不再出现 timeout/reset 或对应错误码。这个手段属于保底,不应理解为模型性能优化。
检查 OpenHarmony 侧异步消费逻辑
流式输出是连续事件,不是一次性响应。如果网络请求放在 TaskPool 或 Worker 中,需要把每次 data 事件通过订阅或回调推送到 UI 层,而不是等全部完成后一次性通知。常见异常是前一个流式任务未关闭,新任务又启动,导致输出串台。处理动作:在发起新任务前取消上一次订阅;在 finally 块中重置状态;考虑用单一数据管道串行消费。验证信号:连续触发两次生成,第二次输出不包含第一次的残留内容。
用命令行快速定位故障层
如果不确定问题在哪一层,可在 PC 端用命令行先直连本地服务,验证流式输出本身是否正常。示例命令(以兼容 OpenAI 的接口为例):
curl -N http://<服务地址>:<端口>/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"<模型名>","stream":true,"messages":[{"role":"user","content":"你好"}]}'这条命令在 PC 终端执行,作用是绕过 OpenHarmony 客户端,直接验证服务端是否真正输出 SSE 流。如果命令显示 content 字段逐帧出现,说明服务端正常;如果只返回一次完整 JSON,或直接中断,说明服务端流式未生效或网络层或中间服务有问题。风险边界:不同部署方式(Ollama、llama.cpp、vLLM)的接口路径、字段名可能不同,请以实际服务文档为准。