Ollama 导入本地 GGUF 模型不需要改 Ollama 自己的配置文件，走的是 Modelfile 这条路：用 FROM 指向本地 .gguf 文件的绝对路径，用 ollama create 把这段配置注册成一个自有模型名，再用 ollama run 跑起来。真正容易卡住的通常不是这条命令，而是三件事——Ollama 服务进程能不能读到这个文件、GGUF 里有没有可用的对话模板、以及当前 Ollama 版本对这类 GGUF 的架构和分片支持到什么程度。
适用场景：本机已装好 Ollama，手上有 GGUF 文件，想把它注册成自己的模型名并长期复用。操作动作：写一个 Modelfile，FROM 填绝对路径，按需补 TEMPLATE 和 PARAMETER，ollama create 命名后 ollama run。验证方式：ollama list 能看到这个名字、ollama show 确认参数和模板已写入、对话时不漏出特殊 token 原文、ollama ps 确认加载在 CPU 还是 GPU。边界：分片 GGUF、带 mmproj 的多模态模型、以及当前版本不认识的架构，常见现象是导入成功但加载或推理失败。
先确认当前场景和目标
动手前先确认四件事，后面九成的报错都出在这四项上。
- 文件形态：是单个 .gguf，还是 xxx-00001-of-00002.gguf 这类分片。单文件可以直接 FROM 指向该文件；分片文件是否能被当前版本直接加载，需要结合 ollama
--version和实际报错确认，不确定时先把分片合并成一个文件更稳妥。 - 服务身份：Linux 上用 systemd 安装时，ollama serve 通常以 ollama 用户运行。模型文件放在 /root、别人家的 home 目录，或者挂载了 noexec/权限收紧的磁盘上，服务进程可能读不到，表现出来是 create 阶段就报找不到文件。
- 磁盘位置：ollama create 会把 GGUF 内容存进 Ollama 的模型目录（默认在 ~/.ollama/models 下），通常还会额外占一份空间，导入前先看一眼可用容量。
- 目标形态：是只想跑通一次对话，还是要固定参数、固定模板长期使用。后者才值得认真写 Modelfile，前者可以先最简 FROM 试一下。
判断条件可以简化成一句：如果只是想验证这个 GGUF 能不能用，先用最简 Modelfile 跑通；如果打算日常使用，模板、上下文长度、停止符这些必须显式写清楚，不要依赖默认行为。
按这个顺序处理
第一步，把文件放到服务进程读得到的位置，并确认可读。下面路径和文件名都要换成自己的。
mkdir -p /data/models
cp ./your-model-Q4_K_M.gguf /data/models/
chmod 644 /data/models/your-model-Q4_K_M.gguf
ls -l /data/models/your-model-Q4_K_M.gguf第二步，在任意可写目录建一个 Modelfile。FROM 必须是绝对路径，不要写相对路径，也不要用 ~ 这种依赖 shell 展开的写法。TEMPLATE 是 Go 模板语法，变量名 .System、.Prompt 是 Ollama 约定的，其余内容要和该模型训练时用的对话格式对齐；不确定格式时先去模型的说明里确认，不要照抄别的模型模板。
FROM /data/models/your-model-Q4_K_M.gguf
PARAMETER temperature 0.7
PARAMETER num_ctx 8192
PARAMETER stop "<|im_end|>"
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""第三步，注册模型。名字自己定，建议带上量化等级方便区分。
cd /data/models
ollama create your-model-q4 -f ./Modelfile第四步，先小步试跑，再按需调整 GPU 卸载层数。num_gpu 给 0 表示全部走 CPU，适合用来排除显存因素；确认能跑后再逐步往上加，而不是一上来就给一个大值。
ollama run your-model-q4 "用一句话说明你是什么模型"
# 需要强制 CPU 验证时，在 Modelfile 里加一行：
# PARAMETER num_gpu 0改完后怎么验证
验证分四层，逐层看，不要只看第一条命令有没有报错。
- 注册结果：ollama list 里出现 your-model-q4，体积和源 GGUF 文件量级相当。名字在、体积明显偏小，多半是 FROM 指错了文件。
- 配置写入：ollama show your-model-q4 能看到参数和模板；想看原始内容用 ollama show your-model-q4
--modelfile，确认 TEMPLATE 和 PARAMETER 按预期落进去了。 - 对话行为：用中文提一个问题。预期信号是回答连贯、能正常停下。如果输出里直接出现 <|im_end|> 这类特殊 token 原文、或者答完一段还继续自说自话，说明模板或 stop 没对上，回到 Modelfile 改 TEMPLATE 和 PARAMETER stop。
- 加载位置：ollama ps 看模型的处理器分布，再结合 ollama serve 的前台输出或 journalctl -u ollama -n 100 看有没有显存不足回退到 CPU 的提示。回退本身不是错误，但会明显变慢，属于需要知情的情况。
目标是：注册名可用、模板生效、回答能正常结束、加载位置符合预期。四项都过，这条导入链路就算通了。
容易忽略的边界
版本差异是第一道坎。Modelfile 支持的指令和 PARAMETER 名称会随版本变化，遇到参数被忽略或者提示不认识某个指令，先用 ollama --version 确认版本，再对照该版本的说明取舍，不要拿另一个版本的写法硬套。GGUF 的架构支持范围同理，Ollama 底层依赖 llama.cpp 的解析能力，遇到导入成功但加载时报未知架构，说明这个 GGUF 的架构还没被当前版本接住，这时换成 llama.cpp 直接加载同一个文件，可以判断是模型问题还是 Ollama 侧的问题。
权限问题容易被误判成路径问题。文件放在 /root 或权限收紧的目录下，root 用户手动执行 ollama create 可能成功，但 systemd 服务进程读不到；统一放到 /data 这类公共可读目录，比逐个改权限更省事。
多模态模型注意 mmproj 文件。带视觉能力的 GGUF 通常还有一个单独的投影文件，只 FROM 主模型不会自动获得图像输入能力，需要额外的配置项，具体写法要按当前版本确认。分片 GGUF 同理，先合并再导入是更保守的做法。
回退建议：如果反复在加载阶段失败，先用 num_gpu 0 全 CPU 跑一遍，把显存因素排除掉；仍然失败就把问题收窄到 GGUF 文件本身，用 llama.cpp 侧加载验证。导出和清理方面，ollama rm your-model-q4 只删注册的模型，源 GGUF 文件不受影响，原始文件建议保留一份，方便换版本重新导入。