当LangChain通过ChatOllama调用本地Ollama模型时,函数调用参数解析失败,最常见的现象不是LangChain无法发送tools,而是Ollama返回的tool_calls中,arguments字段是一个不完整或非法JSON字符串,导致后续解析直接抛错。如果你已经确认模型支持工具调用,那么下一步值得优先尝试的就是在工具定义中开启strict模式,让模型输出严格遵循你给出的JSON Schema。
先弄清楚是哪一侧产生了坏JSON
排查前先做一步:把LangChain中发给Ollama的请求原文和Ollama返回的message打印出来。如果返回的tool_calls存在,但arguments是null或不可解析,说明模型的输出质量或约束有问题;如果返回的tool_calls根本不存在,说明模型没有走到工具调用分支。两者的处理动作不同,不要混在一起。
在工具定义中声明strict,并同步到model.json
你提到的model.json,在多数部署里是指进程启动时读取的模型参数描述文件。Ollama本身没有强制要求这个文件名,但如果你的项目里已经用它来定义请求体中的tools,就需要在这个json的每个function对象中加入"strict": true。下面是一个最小示例:
{
"type": "function",
"function": {
"name": "get_weather",
"description": "获取指定城市的天气",
"strict": true,
"parameters": {
"type": "object",
"properties": {
"city": {"type": "string"}
},
"required": ["city"]
}
}
}注意,Ollama对JSON Schema的支持并不完整。如果strict为true,还需要确保模型输出的JSON完全满足这个schema,否则仍然可能解析失败。通常建议把所有属性放进required数组,并去掉minLength、minItems这类校验关键字。可以先从最简单的对象结构开始,确认能解析后再逐步加字段。
在LangChain调用侧把strict传进去
修改model.json后,还要确认LangChain实际发送的请求确实包含这个字段。有些版本需要在bind_tools时通过extra_body携带,例如:
model = ChatOllama(model="qwen2.5:7b")
model = model.bind_tools(tools, extra_body={"strict": True})这里的键名可能会随Ollama版本变化,有的版本要求放在function对象内部,有的版本放在请求顶层。需要实际观察一次请求体,确认strict字段到达了服务端。如果发现Ollama忽略了该字段,可以尝试用model_kwargs注入同一个参数。旧版本Ollama可能直接忽略未知字段,因此只看请求日志是不够的,必须结合返回结果判断。
验证信号与后续
修改后重新发起调用,观察LangChain返回的tool_calls是否包含arguments字符串,并且能够被json.loads成功解析。如果成功,再逐一加回其他业务字段,确认不会重新触发问题。如果仍然失败,就需要走分支排查。
仍失败时的分支排查
- 先检查模型是否真的支持工具调用。用
ollama show 模型名查看capabilities中是否包含tools。如果不支持,再如何设置strict都没有意义,只能换模型。这一步很多排查时会被跳过去,建议最先做。 - 检查系统提示词是否对模型产生了干扰。有些自定义提示词会诱导模型直接在消息里写JSON,而不是调用工具。可以先临时去掉系统提示词,只保留工具定义,看是否恢复正常。
- 检查上下文长度或
max_tokens设置。如果模型在生成arguments时被截断,也会产生半截JSON。调大max_tokens后再次尝试,通常可以区分是截断问题还是schema问题。 - 如果以上都无效,可以暂时关闭strict,并在LangChain的
output_parser中做容错,比如只截取JSON部分进行解析。这只是临时绕过方案,不能作为长期依赖。
整体上,处理这个问题的关键在于确认strict模式的开关是否真正生效,以及模型输出是否严格匹配schema。建议每调整一次就打印一次原始返回,避免在层层封装中丢失真实信息。