APISIX 作为七层网关,本身支持 HTTP/2 和 gRPC 代理,因此用于多个本地模型服务的前置负载均衡是可行的。关键点在于:upstream 要设置 scheme: grpc,route 要关闭请求缓冲,否则流式 gRPC 请求会被 APISIX 阻塞缓冲,导致推流无法持续。以下步骤适用于本地部署的 gRPC 模型服务(例如 TensorFlow Serving、Triton 或自研 gRPC 推理服务),每个服务负责同一模型的不同副本或分片。
前置条件
准备一台装有 APISIX 的主机(建议通过 Docker 或二进制直接启动,能访问 Admin API 和管理端口)。本地模型服务需要监听在固定 TCP 端口上,例如 50051、50052、50053,且这些端口与 APISIX 实例网络互通。确认服务均能单独通过 grpcurl 或客户端正常调用。如果 APISIX 与模型服务不在同一台机器,需要调整防火墙策略。
配置上游(Upstream)
在 APISIX 中,上游负责定义一组后端节点和负载均衡算法。创建 upstream 时,将 scheme 设为 grpc,这样 APISIX 会使用 HTTP/2 与后端通信,而不是普通 HTTP/1.1。算法通常选择 roundrobin;如果请求需要粘性会话(例如按模型版本或用户 id),可以改为 chash 并指定 key。
使用 Admin API 创建 upstream:
curl http://127.0.0.1:9180/apisix/admin/upstreams \
-H "X-API-KEY: your-admin-key" \
-X PUT \
-d '
{
"id": "local-models-upstream",
"name": "local-models",
"type": "roundrobin",
"scheme": "grpc",
"nodes": {
"127.0.0.1:50051": 1,
"127.0.0.1:50052": 1,
"127.0.0.1:50053": 1
}
}'
这里 nodes 的值是权重的 key,默认权重为 1。如果有节点下线,可以直接从 nodes 中移除,APISIX 会逐步将新请求分配到其他节点。建议为 upstream 开启主动健康检查,例如每隔几秒向后端发送 gRPC health check 请求,但需要先确认后端实现了 gRPC 健康检查协议。若后端不支持健康检查,可以关闭健康检查,仅依赖 TTL 或手动管理。
配置 gRPC 流式路由
创建 route 时,需要将请求匹配到该 upstream。gRPC 请求的 URI 通常是 /package.Service/Method,例如 /model.Predict/GetResult。可以在 route 中直接指定 uri,也可以用 uri 加前缀匹配。如果模型服务有多个方法,建议使用前缀匹配,例如 /model.Predict/*,但注意 APISIX 的 uri 匹配默认是精确匹配,需要开启 match_uri 正则或使用 vars。
下面创建一个 route,将请求路径包含 /model.Predict/ 的 POST 请求转发到上面创建的 upstream。同时设置 proxy_request_buffering: false 和 proxy_response_buffering: false,这是流式 gRPC 能够正常工作的关键:如果不关闭请求缓冲,APISIX 会尝试将整个请求体读入内存再转发,而流式请求是持续不断的,会导致转发永远无法完成。
curl http://127.0.0.1:9180/apisix/admin/routes \
-H "X-API-KEY: your-admin-key" \
-X PUT \
-d '
{
"id": "grpc-route",
"methods": ["POST"],
"uri": "/model.Predict/*",
"upstream_id": "local-models-upstream",
"proxy_request_buffering": false,
"proxy_response_buffering": false
}'
注意 URI 匹配方式:/model.Predict/* 在 APISIX 中会被当作前缀匹配,如果后端服务有其他 proto 的路径,可以用更精确的 uri 变量,例如 vars 检查 uri 是否以某些前缀开头。另一个做法是让 route 对所有 uri 生效,然后将 gRPC 请求的 host 作为路由条件,并用 grpc_pass 来转发,但 APISIX 官方推荐直接使用 uri 前缀方式,这样更直观。
验证
创建完成后,验证 APISIX 是否真的把请求分发到多个后端。可以用 grpcurl 从 APISIX 的 9080 端口发起调用(APISIX 默认 HTTP 端口):
grpcurl -plaintext -d '{"data":"sample"}' \
127.0.0.1:9080 \
model.Predict/GetResult
观察返回是否正常。同时查看后端服务日志,确认有多个服务各自收到了请求。如果使用轮询算法,连续请求几次,每个后端应该都会收到至少一次。如果某个后端没有收到请求,检查 upstream 的 nodes 是否包含了该服务地址,以及端口是否可达。
对于流式调用(例如服务端流式响应),可以写一个简单的 grpc 客户端或使用 grpcurl 的 stream 参数进行验证,请求应能持续收到数据流,不会在 APISIX 处中断。
失败排查与回退
如果请求返回 502 或 504,常见原因有三种:upstream 节点地址不可达、upstream 的 scheme 没有设为 grpc、route 没有关闭 request buffering。可以在 APISIX 错误日志中查看 upstream 相关错误。快速回退方案:将 upstream 中的故障节点移除,或临时把 route 的 upstream_id 改为单一节点的 upstream,先把服务恢复,再排查负载均衡的细节。
如果 APISIX 版本较老,可能需要确认是否支持 scheme: grpc 和 proxy buffering 关闭选项。对于流式场景,应优先确认 APISIX 的 event loop 是否被阻塞——大量流式连接会导致连接数增长,建议同步调整 worker 进程数和系统文件描述符限制。以上配置完成后,负载均衡即可生效,后续若有后端扩容,只需往 upstream 的 nodes 中增加新节点。