控制 Gemini 3.6 Flash 这类模型的输出长度,一般从三处入手:生成参数中的长度上限、提示词中的格式约束、应用层的结果后处理。三者分别解决“不让超出”“尽量不写到太长”“超出后如何处置”的问题。先把这三者的边界理清,再结合 API 返回信息做调整,比反复试验提示词更可靠。
设置长度上限并检查结束原因
多数模型 API 会提供最大输出 token 数参数,名称可能是 max_tokens 或 max_output_tokens。它限制模型最多生成的 token 量,但模型不一定用满。例如希望生成 200 字摘要,设置上限时不能直接按汉字数设定,因为一个汉字可能对应一至多个 token,不同分词方式也有差异。正确做法是在请求中设置一个比预期字数偏高的 token 上限,避免模型因上限被截断;同时通过返回的结束原因判断内容是否完整。如果结束原因是 length,表示生成到上限被强行停止,这类输出不能直接当完整结果使用;如果结束原因是 stop,表示模型正常结束。检查结束原因是验证输出长度的第一步。
用提示词给出长度预期
提示词中的长度信息可以显著影响模型的实际输出长度,但属于软约束。例如,可以要求“用不超过 300 字总结以下内容,分三点列出”,模型通常会往这个方向靠拢,但复杂内容可能让它超写或缩简。提示词设计得越具体,长度控制越稳定,但过度的约束也可能让模型省略必要信息。建议把字数要求、段落结构、关注点放在提示词开头,后面再给待处理内容。这样模型更容易先形成长度计划再生成。下面是这种提示词的一个最小示例:
请用中文总结以下技术要点,不超过 300 字,分三段,最后一段给出你的结论。这条提示词说明结构、字数、语气和落点。具体写法应根据实际场景调整,验证方式就是运行后统计返回文本的字数并观察语义是否完整。
应用层截断与结构化处理
即使设置了参数和提示词,输出仍可能超出需要。这时需要在应用层做后处理。对于纯文本,先按段落拆分,再根据目标长度拼接段落,比按字符截断更容易保留句义。对于结构化的响应,比如 JSON 或 Markdown 表格,应先解析出关键字段,再对字段内容做长度限制,而不是整体截断。截断后的内容需要加省略号或说明,避免用户误以为原文到此结束。
另一种思路是让模型直接输出结构化数据,字段只放固定长度的内容,再由程序做校验和补全。这样长度控制的核心就转移到字段定义上,而不是依赖模型的生成自觉。该做法适用于对格式要求严格的场景,但会牺牲一定灵活性,需要预先设计好数据模型。
常见误区与排查思路
- 只调大最大长度参数,不检查结束原因。如果模型因其他原因停止,调大上限可能只是让输出变长却不更完整。
- 把温度、top_p 等采样参数当作长度控制手段。它们影响文本多样性,对输出长度没有直接作用。
- 忽略多轮对话的历史内容。模型的总上下文长度通常有限,历史越长,留给新输出的空间越少,导致实际输出被压缩或截断。
- 在提示词中只写“简短回答”,没有给出具体长度单位。模型可能把简短理解为几个词,也可能理解为一段话。
排查时建议按以下顺序:先检查 API 返回的结束原因;再确认请求里的输出上限是否足够;接着看提示词是否包含清晰的长度边界;最后检查应用层有没有截断和提示。由于不同平台的 API 对长度参数和返回字段的实现不完全一致,所有设置都要结合实际返回内容验证,不能照搬某一处的经验。
控制输出长度不是一次调参就能解决的固定配方。更稳妥的状态是:参数设置给出硬性天花板,提示词引导模型靠近目标长度,应用层对超限结果做兜底处理。三者的比重取决于业务对长度准确性的要求。如果只是给人阅读,长度略有波动通常可以接受;如果用于机器解析,则应该依赖结构化输出,而不是依赖模型精确控制字符数。建议先用少量样本跑通循环,记录每次输出的长度和结束原因,再逐步调整。