SayIt 在无网络环境下使用本地模型的部署方案

SayIt 这类语音对话工具要完全脱离外网工作，关键不是把工具本身改成离线版，而是让对话模型、语音识别和语音合成这几条链路都落到本机服务上。无网络环境下最容易卡住的不是程序启动，而是模型文件缺失、依赖安装中途失败、以及工具默认请求远程 API 导致超时。先确认需要离线的是整条链路还是只替换对话模型，再决定部署边界。

无网络部署 SayIt 的核心是提前准备模型文件与本地推理服务，再把 SayIt 的基础地址指向 localhost。建议先用本机安装 Ollama 或 llama.cpp 作为后端，将模型下载到本地目录后完全断网测试。若语音合成也需要离线，需额外下载语音模型并配置独立服务。整个过程需要按阶段验证，不要直接启动 SayIt 后再回头排查网络依赖。

部署前需要确认的三件事

第一，SayIt 是否支持自定义 API 基址或本地模型服务。大部分同类工具会提供模型服务地址配置项，通常是一个像 http://127.0.0.1:11434/v1 这样的路径，也可能是配置环境变量。需要提前阅读 SayIt 的配置说明，确认它支持 OpenAI 兼容接口还是只允许特定后端。

第二，所用模型文件必须提前下载并放进本机目录。不要在断网后执行模型拉取命令。建议在联网环境把模型文件下载到本地，再复制到目标机器。对于 Ollama 这类工具，可以把 ~/.ollama/models 整个目录拷贝过去；对于 llama.cpp，则保存 GGUF 文件即可。

第三，语音能力是否也需要离线。如果 SayIt 的语音识别或合成走的是服务商接口，那即使对话模型本地化了，语音部分仍可能因网络不可用而失败。这种情况需要单独部署语音服务，或者选择 SayIt 中的本地语音引擎。

本地模型后端与 SayIt 对接骨架

以下以 Ollama 作为后端示例，给出通用的对接骨架。Ollama 启动后默认监听 11434 端口，并暴露一个 OpenAI 兼容接口，路径为 /v1。很多 SayIt 类工具直接支持这个地址。

# 启动 Ollama（联网时已提前下载模型）
ollama serve

# 确认模型已存在
ollama list

# 如果模型缺失，需要联网拉取；此命令不能在目标机器上执行
# ollama pull qwen2.5:7b

确认服务运行后，用 curl 做一次接口验证。注意替换模型名和提示词内容，这一步能提前确认推理链路是否正常。

curl http://127.0.0.1:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
        "model": "qwen2.5:7b",
        "messages": [{"role": "user", "content": "说一句测试话"}]
      }'

如果返回正常内容，说明本地模型服务可被外部程序访问。之后在 SayIt 配置中设置 API 地址为 http://127.0.0.1:11434/v1，模型名填实际模型名称。工具内通常还需要关闭“自动检查更新”和“远程模型列表”，避免启动时尝试联网。

配置 SayIt 离线启动项

除了模型接口，还要检查 SayIt 的启动参数或配置文件。常见的配置项包括模型类型、API Key、温度、上下文长度等。离线模式下 API Key 可填任意占位符，但地址必须指向 localhost。

# 示例：SayIt 配置文件片段（具体字段需按实际工具调整）
model_provider: local
api_base: "http://127.0.0.1:11434/v1"
api_key: "offline-placeholder"
model_name: "qwen2.5:7b"
temperature: 0.7
max_tokens: 2048
stream: true

# 关闭远程失败回退
offline_mode: true

如果你的 SayIt 版本不支持 offline_mode，则需要在操作系统层面禁止该进程的网络出站规则，或断网后启动。更稳妥的做法是先把系统断网，再启动 SayIt，观察是否报错。如果工具缓存了远程模型列表，无网络时可能启动缓慢，可以清空模型缓存目录后重启，但需要确认缓存文件不影响本地配置。

验证清单与常见风险

部署完成后按以下顺序核对，这条路径能覆盖大多数无网络环境的问题。

模型文件是否完整：用 ollama list 或查看 GGUF 文件大小，确认没有被截断。
本地服务是否监听：执行 curl http://127.0.0.1:11434/api/tags，应返回模型列表 JSON。
对话接口是否可用：用上一节的 chat/completions 请求，发送一句话并看是否返回。
SayIt 是否指向本地地址：检查配置文件中 api_base 没有遗留公网地址。
语音模块是否报错：如果 SayIt 有日志，搜索包含 timeout、connection refused 或 offline 的输出。

常见风险主要集中在两点：一是模型文件版本与后端不兼容，导致加载失败或输出乱码；二是 SayIt 在启动时会检查许可证或更新，即使模型地址已指向本地，仍可能因无法连接外网而卡住。建议先运行离线后端，再启动 SayIt，并观察前 30 秒的日志。若工具支持命令行启动，用 `--verbose` 或 `--debug` 参数能看到更多网络请求细节。

如果 SayIt 不支持自定义 API 基址，那只能走反向代理方案：在另一台一直联网的机器上把模型接口转发到本机，但这不是真正离线，不满足无网络前提。需要先确认工具本身的扩展能力，再决定是否继续投入。

可复制的离线启动流程

把整个流程压缩成可重复执行的命令集，适合在干净环境下快速部署。以下假设使用 Ollama 和 Linux 类系统，Windows 下路径和启动方式略有差异。

# 1. 确保模型已存在
ollama list | grep qwen2.5

# 2. 启动服务（建议用 nohup 或 systemd 管理）
nohup ollama serve > /tmp/ollama.log 2>&1 &

# 3. 等待 2 秒后验证
sleep 2
curl http://127.0.0.1:11434/api/tags

# 4. 启动 SayIt（根据实际命令调整）
sayit `--config` /path/to/config.yaml

若模型文件是 GGUF 并用 llama.cpp，则启动方式不同，但验证思路一致：先启动 server 可执行文件，再用 curl 访问 /v1/chat/completions。需要结合本机 CPU、内存大小选择量化版本，一般 7B 模型量化后需要 4-6 GB 内存，但这条只作为粗略参考，实际占用要由 ollama ps 或系统监控确认。

最后提醒：无网络部署不是一次性操作，模型缓存、临时文件和日志可能随时间累积。如果工具出现“加载缓慢”或“无响应”，先看本地服务是否还活着，再检查是否有人为修改了配置文件。先固定后端，再排查前端，这样判断链路最省时间。