使用LangChain对接本地Ollama模型时函数调用工具参数解析失败:为model.json设置strict模式

文章导读
当LangChain通过ChatOllama调用本地Ollama模型时,函数调用参数解析失败,最常见的现象不是LangChain无法发送tools,而是Ollama返回的tool_calls中,arguments字段是一个不完整或非法JSON字符串,导致后续解析直接抛错。如果你已经确认模型支持工具调用,那么下一步值得优先尝试的就是在工具定义中开启strict模式,让模型输出严格遵循你给出的JSON
📋 目录
  1. 壹 先弄清楚是哪一侧产生了坏JSON
  2. 贰 在工具定义中声明strict,并同步到model.json
  3. 叁 在LangChain调用侧把strict传进去
  4. 肆 验证信号与后续
A A

当LangChain通过ChatOllama调用本地Ollama模型时,函数调用参数解析失败,最常见的现象不是LangChain无法发送tools,而是Ollama返回的tool_calls中,arguments字段是一个不完整或非法JSON字符串,导致后续解析直接抛错。如果你已经确认模型支持工具调用,那么下一步值得优先尝试的就是在工具定义中开启strict模式,让模型输出严格遵循你给出的JSON Schema。

先弄清楚是哪一侧产生了坏JSON

排查前先做一步:把LangChain中发给Ollama的请求原文和Ollama返回的message打印出来。如果返回的tool_calls存在,但arguments是null或不可解析,说明模型的输出质量或约束有问题;如果返回的tool_calls根本不存在,说明模型没有走到工具调用分支。两者的处理动作不同,不要混在一起。

在工具定义中声明strict,并同步到model.json

你提到的model.json,在多数部署里是指进程启动时读取的模型参数描述文件。Ollama本身没有强制要求这个文件名,但如果你的项目里已经用它来定义请求体中的tools,就需要在这个json的每个function对象中加入"strict": true。下面是一个最小示例:

{
  "type": "function",
  "function": {
    "name": "get_weather",
    "description": "获取指定城市的天气",
    "strict": true,
    "parameters": {
      "type": "object",
      "properties": {
        "city": {"type": "string"}
      },
      "required": ["city"]
    }
  }
}

注意,Ollama对JSON Schema的支持并不完整。如果strict为true,还需要确保模型输出的JSON完全满足这个schema,否则仍然可能解析失败。通常建议把所有属性放进required数组,并去掉minLength、minItems这类校验关键字。可以先从最简单的对象结构开始,确认能解析后再逐步加字段。

在LangChain调用侧把strict传进去

修改model.json后,还要确认LangChain实际发送的请求确实包含这个字段。有些版本需要在bind_tools时通过extra_body携带,例如:

使用LangChain对接本地Ollama模型时函数调用工具参数解析失败:为model.json设置strict模式
model = ChatOllama(model="qwen2.5:7b")
model = model.bind_tools(tools, extra_body={"strict": True})

这里的键名可能会随Ollama版本变化,有的版本要求放在function对象内部,有的版本放在请求顶层。需要实际观察一次请求体,确认strict字段到达了服务端。如果发现Ollama忽略了该字段,可以尝试用model_kwargs注入同一个参数。旧版本Ollama可能直接忽略未知字段,因此只看请求日志是不够的,必须结合返回结果判断。

验证信号与后续

修改后重新发起调用,观察LangChain返回的tool_calls是否包含arguments字符串,并且能够被json.loads成功解析。如果成功,再逐一加回其他业务字段,确认不会重新触发问题。如果仍然失败,就需要走分支排查。

仍失败时的分支排查

  1. 先检查模型是否真的支持工具调用。用ollama show 模型名查看capabilities中是否包含tools。如果不支持,再如何设置strict都没有意义,只能换模型。这一步很多排查时会被跳过去,建议最先做。
  2. 检查系统提示词是否对模型产生了干扰。有些自定义提示词会诱导模型直接在消息里写JSON,而不是调用工具。可以先临时去掉系统提示词,只保留工具定义,看是否恢复正常。
  3. 检查上下文长度或max_tokens设置。如果模型在生成arguments时被截断,也会产生半截JSON。调大max_tokens后再次尝试,通常可以区分是截断问题还是schema问题。
  4. 如果以上都无效,可以暂时关闭strict,并在LangChain的output_parser中做容错,比如只截取JSON部分进行解析。这只是临时绕过方案,不能作为长期依赖。

整体上,处理这个问题的关键在于确认strict模式的开关是否真正生效,以及模型输出是否严格匹配schema。建议每调整一次就打印一次原始返回,避免在层层封装中丢失真实信息。