Nginx反向代理本地大模型API时client_max_body_size配置

文章导读
Nginx反向代理本地大模型API时,client_max_body_size 默认是1m,超过就会返回413。这个配置要放在http、server或location上下文中,但放在location里最可控。下面按前置条件、配置、验证、回退来走。
📋 目录
  1. 壹 前置条件
  2. 贰 配置client_max_body_size
  3. 叁 验证方式
  4. 肆 失败时回退
A A

Nginx反向代理本地大模型API时,client_max_body_size 默认是1m,超过就会返回413。这个配置要放在http、server或location上下文中,但放在location里最可控。下面按前置条件、配置、验证、回退来走。

前置条件

  • 确认Nginx版本:nginx -v。
  • 确认本地API服务地址和端口,例如 http://127.0.0.1:8000。
  • 确认要放行的最大请求体大小,例如多模态输入或长文本可能超过10MB。

配置client_max_body_size

先看当前配置是否已有该指令。推荐在反向代理的location中设置,避免影响其他站点。

Nginx反向代理本地大模型API时client_max_body_size配置
location /v1/ {
    client_max_body_size 20m;
    proxy_pass http://127.0.0.1:8000;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_read_timeout 300s;
    proxy_send_timeout 300s;
}

设置完后测试配置:nginx -t。确认无误后 reload:nginx -s reload。

验证方式

用curl构造一个大于1MB的请求体,看是否还能通过。例如生成10MB的随机文件作为请求体:

Nginx反向代理本地大模型API时client_max_body_size配置
dd if=/dev/zero of=binary.bin bs=1m count=10
curl -X POST http://你的域名/v1/chat/completions \
  -H "Content-Type: application/octet-stream" \
  `--data-binary` @binary.bin \
  -w "%{http_code}\n"

如果返回413,说明配置没生效或不在这个location;如果返回API的正常响应或非413错误,说明大小限制已放行。查看Nginx错误日志确认:tail -f /var/log/nginx/error.log。

Nginx反向代理本地大模型API时client_max_body_size配置

失败时回退

如果配置后出现问题,例如reload失败,用nginx -t查看具体错误。如果某个请求体过大导致后端超时,需要同时调整proxy_read_timeout和proxy_send_timeout,但client_max_body_size只管请求体大小。若想完全取消限制,可以设为0,但建议保留一个上限。恢复方法:删除或注释掉该指令,重新reload。