Ollama 的 Modelfile 是一份声明式文本:FROM 指定基座模型,PARAMETER 设定推理参数,SYSTEM 与 TEMPLATE 决定系统提示和对话拼接格式,ADAPTER 用于挂载 LoRA 适配器。真正的难点不在语法,而在于先确认基座从哪来、模板是否与基座匹配:写好后用 ollama create 打包成一个有名字的本地模型,再用 ollama show --modelfile 和几条典型输入确认参数确实生效。
适用场景:需要固定系统提示、改采样参数、套用自有对话模板,或把已有的 LoRA 适配器接进 Ollama 时,才值得写 Modelfile。做法是先导出基座原有的 Modelfile 作参照,只改必要字段,用ollama create生成新名字而不是覆盖原模型,再跑几条代表性输入验证。风险边界:TEMPLATE 与基座的训练格式不匹配通常表现为输出错乱或直接续写用户文本;漏写PARAMETER stop会让回答不终止。改错时删除新标签即可回退,原基座不受影响。
先确认当前场景和目标
先判断你要改的是哪一层,因为不同目标在 Modelfile 里改的字段完全不同:
- 只想固定人设、答复口径或输出语言:主要写
SYSTEM,必要时加低temperature。 - 想让回答更长或更短、更稳或更发散:主要调
PARAMETER,如temperature、top_p、num_ctx、stop。 - 基座是自定义微调模型或来自其他格式:必须自己写
TEMPLATE,这时要先确认训练时用的对话格式。 - 已有 LoRA 适配器文件:用
ADAPTER挂载,且适配器必须与 FROM 的基座同源、同版本。
动手前需要确认三件事:基座模型已经在本地(ollama list 能看到);当前 Ollama 版本支持你将要用到的指令,部分字段在旧版本上会被忽略或报错;模型文件目录(通常是 OLLAMA_MODELS 指向的位置)有足够空间和写权限,如果 Ollama 以系统服务运行,还要确认服务账号对该目录可写。不建议直接 ollama create 成与基座同名的标签,覆盖后不好回退。

按这个顺序处理
- 导出一份参照:
ollama show --modelfile 基座模型名,把输出存成文件,看清基座原本的 TEMPLATE、PARAMETER 和 stop 设置。 - 在参照基础上删掉不需要的行,只保留 FROM 和你真正要改的字段,另存为
Modelfile。 - 用
ollama create 新名字:版本 -f ./Modelfile构建,命名上带版本号便于区分。 - 用
ollama run 新名字:版本做交互试跑,确认无误再投入实际调用。
下面是一份可替换的通用示例,把 FROM 换成你自己的基座标签,把 SYSTEM 内容换成你的业务约束;TEMPLATE 部分建议直接沿用导出文件里的原样内容,除非你明确知道基座的对话格式:

FROM qwen2.5:7b-instruct
# 采样与上下文
PARAMETER temperature 0.3
PARAMETER top_p 0.9
PARAMETER num_ctx 8192
PARAMETER stop "<|im_end|>"
# 系统提示,写成多行字符串
SYSTEM """
你是一名内部运维助手。回答前先复述问题里的关键限制;
信息不足时直接说明缺少什么,不要编造命令输出。
"""
# 对话模板:以下仅为格式示意,实际以导出的基座模板为准
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
"""
如果要把已有的适配器接进来,追加一行 ADAPTER ./xxx-lora.bin,路径写绝对路径或相对 Modelfile 的路径;适配器格式和基座版本不匹配时,构建这一步就可能失败,先单独构建一个不带 SYSTEM 的最小版本可以更快定位问题。
改完后怎么验证
验证分三层,逐层看信号,不要只看“能不能跑起来”。

- 配置层:执行
ollama show 新名字:版本 --modelfile,回显里应能看到你写入的 FROM、PARAMETER、SYSTEM 和 TEMPLATE。如果某个 PARAMETER 没有出现,多半是拼写、缩进或该版本不支持,需要回去改文件重新 create。 - 行为层:用三到五条代表性输入试跑,至少包含一条正常问题、一条越界问题和一条空泛问题。预期信号是模型遵守系统提示中的约束、回答能在预设的停止符处自然结束,而不是持续续写或把用户问题原样复述后截断。
- 对照层:用同样的输入分别跑基座和新模型,看差异是否正好落在你改的那一项上。若差异出现在无关的地方,通常是 TEMPLATE 被改动导致的,回退模板最省时间。
如果模板写错,常见信号是输出乱码、把 <|im_start|> 这类标记当正文吐出来,或者模型直接替用户续写下一轮提问。出现这些信号先不要调 temperature,优先核对 TEMPLATE 与基座格式。
容易忽略的边界
- 版本差异:不同 Ollama 版本对 Modelfile 指令的支持范围不完全一致,跨机器复制 Modelfile 前,需要确认目标机器版本能识别其中的字段。
- 模板来源:TEMPLATE 必须与基座训练时的对话格式一致,凭感觉手写模板是这类自定义最常见的失败点;不确定时保持导出文件原样。
- 停止符:自定义模板后务必检查 stop 是否齐全,缺停止符会表现为回答不断延长,且消耗明显增加。
- 权限与路径:服务方式运行的 Ollama 可能使用独立的模型目录和账号,个人账号下构建成功不代表服务侧可读,需要结合运行方式确认。
- 覆盖风险:把新模型建成与基座同名会直接替换本地标签,建议始终使用新名字加版本号;改错时用
ollama rm 新名字:版本删除即可回退,必要时重新从基座构建。 - 不适用条件:如果目标只是临时换一次提示词,用调用侧传 system 消息更合适,不必为此单独构建模型;如果基座本身能力不满足,改 Modelfile 的参数和提示通常补不上,需要换基座或走微调。