在使用Polly为LLM SSE流配置重试时,最容易踩的坑不是网络超时,而是把“部分成功”当普通失败处理。HTTP 200只代表连接建立成功,不保证业务完成。响应可能在中间断裂,例如生成了几轮完整事件后,后续数据包丢失或服务端主动断开。若要识别部分成功,需在客户端持续解析SSE事件,并检测是否收到表示结束的final事件或专用终止标记。如果流结束时没有该标记,且已解析结果非空,就属于部分成功场景,此时不应按全部失败处理,也不应简单丢弃已获得内容。这句话相当于整个条件重试的起点:先判断业务是否真的完成,再决定要不要触发重试。
先别急着改Polly配置,先把SSE结果模型定清楚
Polly中可以通过HandleResult或HandleResultWithPredicate对自定义结果类型做条件匹配。做法是把SSE解析结果封装为包含Success、IsPartial、Retryable等属性的模型。重试策略只匹配IsPartial且Retryable为真的情况,避免对完全失败或已经成功的流做重试。同时在Predicate里可结合异常类型,比如流中途抛出的IOException,以及其他需要特殊处理的业务异常,让重试条件更加精准。
这个模型不只是一个返回包装,它要承接三个判断:流是否完整、已获得的内容是否可复用、重试是否可能造成重复副作用。如果模型只放一个StatusCode,后续就很难判断“部分成功”和“完全失败”。建议把SSE解析器单独抽出来,每收到一个事件就更新模型状态,流结束时再打上最终标记。
一段可落地的结果模型定义
public sealed class LlmStreamResult
{
public bool Success { get; set; } // 流正常结束且收到 final 事件
public bool IsPartial { get; set; } // 流中断且已解析出部分事件
public bool Retryable { get; set; } // 是否允许重试,由业务幂等性决定
public IReadOnlyList<string> Events { get; set; } = Array.Empty<string>();
public string? ContinuationToken { get; set; } // 服务端支持续传时使用
}这里的关键不是属性多,而是每个属性由谁赋值。通常由SSE解析循环赋值:每解析一个事件先追加到Events,同时检查终止标记。如果循环因异常或EOF退出且Events非空,就把IsPartial设为true。Retryable单独从外部设置,不要和IsPartial混在一起,避免因为“部分成功”必然可重试的错觉。
条件重试的匹配顺序:先排除不可重试,再匹配Partial
Polly的HandleResultWithPredicate是条件重试最常用入口。写法上要注意Predicate的判断顺序。以下代码把“部分成功且允许重试”作为唯一条件,完全失败和成功都让策略直接放行:
Policy.HandleResult<LlmStreamResult>(r =>
r.IsPartial && r.Retryable)
.Or<IOException>()
.WaitAndRetryAsync(3, attempt =>
TimeSpan.FromSeconds(Math.Pow(2, attempt)) + TimeSpan.FromMilliseconds(Random.Shared.Next(0, 200)));这里把IOException作为第二个条件,是因为流中断时底层连接可能直接抛异常,不总是等完整解析结束后才返回结果。如果业务里还有其他表示服务端过载的异常类型,可以用扩展方法链式追加。注意WaitAndRetry的回退间隔需结合环境判断,指数退避只是通用方案,不一定适合所有网关。如果网关自身有排队机制,较短的间隔可能更稳妥,但需要在日志里多看几次重试分布。
验证方式可以这样:故意让服务端在输出第三条事件后断开连接,观察重试日志是否只触发了一次,并且请求参数里带上了已有上下文。如果重试请求没有携带已有内容,服务端很可能从头开始生成,这会让客户端本地保留的Events失去意义,甚至造成重复token。
重试前必须检查幂等性:部分成功不等于可随意重放
对SSE部分成功响应启用重试前,必须确认请求所触发的操作是否幂等。如果LLM调用只是生成文本,不产生外部副作用,重试是安全的。但如果调用会触发计费、写日志或调用下游写接口,就需要谨慎。部分成功意味着某些事件可能已经被处理,直接重试可能造成重复副作用。建议为每个SSE事件分配唯一标识,重试前检查已记录的事件ID,跳过已经处理的部分,只从断裂位置继续请求。
这个建议直接决定了Retryable字段怎么赋值。如果LLM调用只是纯文本生成,没有写库、扣费、发送消息等动作,可以在解析结果时把Retryable设为true。如果是Agent场景,SSE事件里可能含有工具调用结果,这类事件一旦被客户端消费就产生了副作用,重试前要先把已消费的事件ID写入一个幂等表。
服务端续传请求示例
{
"model": "chat-model",
"messages": [
{ "role": "user", "content": "原文问题" }
],
"stream": true,
"partial_events": [
{ "id": "evt_001", "data": "第一段内容" },
{ "id": "evt_002", "data": "第二段内容" }
]
}这个请求体只是示意,实际续传参数名要看服务端定义。重点在于partial_events里应携带已经成功解析的事件,同时服务端要能把这些事件拼接到生成的上下文中,而不是简单把这几段内容再生成一遍。如果服务端不支持这种参数,那重试时只能放弃已获得内容,但至少要在日志里记录已解析事件的条数,方便排查“为什么重试后输出缺了一段”。
幂等性检查的验证方法比较直接:在重试代码里打点,记录每个事件ID的处理状态,跑一次双倍重试场景,确认下游只收到一次写请求。如果发现下游重复落库,说明重试前没有跳过已处理事件,应该把事件去重逻辑放到Polly策略之外,独立成一层。
SSE解析与断点续传:不要把已生成的token重复提交
实现条件重试时,客户端应维护一个累积缓冲区,每次收到SSE事件先按标准格式解析data字段,同时把原始事件追加到上下文。如果检测到流中断,就把已成功解析的事件序列和当前上下文一起保留下来,以便重试时拼接。注意不要重复提交已呈现给用户的token,而是通过请求参数传递已有上下文并说明希望继续生成的位置,前提是服务端支持这种带上下文的续传方式。
这里容易忽略的是“上下文”和“事件序列”的区别。上下文是服务端生成后续内容所需的输入,事件序列是客户端已消费的内容。如果服务端只接受messages数组,那就把已生成内容拼成一个assistant消息放在messages里,并标注“截至此处中断,请继续”。但这个方法只对同一轮对话有效,如果服务端无状态或每次请求独立计费,续传就变成空谈。
累积缓冲区的最小代码骨架
var buffer = new StringBuilder();
var receivedEvents = new List<string>();
await foreach (var chunk in stream)
{
if (TryParseSseEvent(chunk, out var evt))
{
receivedEvents.Add(evt.Data);
buffer.AppendLine(evt.Data);
}
if (evt.IsFinal)
{
return new LlmStreamResult { Success = true, Events = receivedEvents };
}
}
// 流正常结束但没有 final 事件,视为部分成功
return new LlmStreamResult
{
IsPartial = true,
Events = receivedEvents,
Retryable = CheckIdempotency(receivedEvents.Count)
};这段代码里把已解析事件全部放进buffer后,重试时要决定是否把buffer内容提交给服务端。比较保险的做法是只在服务端明确支持续传时才提交,否则重试请求应使用原始请求参数,并额外记录“本次重试丢弃了N条已解析事件”。日志里一定要带上事件ID范围,否则无法判断断点续传是否真的生效。
重试风暴和无限循环:控制次数比增加次数更重要
重试策略需要设置合理的最大重试次数和回退间隔,尤其当SSE流因服务端负载断开时,连续快速重试可能加重故障。Polly的WaitAndRetry可以配合指数退避,并在中间加入抖动。建议为每次重试尝试附带递增的请求ID,服务端可据此识别重复请求,从而在开启计数或限速时避免用户请求被误伤。如果连续多次都出现部分成功,应停止重试并转为显式通知调用方,而不是无限制地消耗资源。
这里有一个经验阈值:连续两次重试仍然部分成功时,第三次应该走降级路径,而不是继续加大重试次数。因为部分成功通常说明服务端已经处理了部分事件,重试请求可能又触发同一批事件的部分处理,形成恶性循环。递增请求ID可以用Polly的Context参数实现,每次重试时把attempt数放进去,服务端日志只要打印这个ID,就能追踪同一个客户端请求的重试轨迹。
在Polly重试中传递递增请求ID
var attempts = 0;
var retryPolicy = Policy.HandleResult<LlmStreamResult>(r => r.IsPartial && r.Retryable)
.WaitAndRetryAsync(3, _ => TimeSpan.FromSeconds(1), (outcome, timespan, context) =>
{
attempts++;
context["RetryAttempt"] = attempts;
});
await retryPolicy.ExecuteAsync(async ctx => await SendSseRequest(ctx), new Context("llm-stream"));执行后要确认服务端日志里能看到RetryAttempt这个值,并且每次重试请求的RequestId不同。如果服务端收到的请求ID相同,说明整个重试链路在同一HttpClient实例中复用了连接,但请求体没有重新构建,这会导致续传参数永远是第一次的上下文。
超时控制要和重试边界对齐
SSE是长连接,单次重试的超时设置与常规HTTP不同,不能只等待响应的首字节。建议将超时划分为连接建立超时和整体读取超时。连接建立超时保证快速失败,整体读取超时防止流一直无法结束。Polly的Timeout策略可嵌套在重试策略内,但需注意整体超时应小于重试策略的执行上限,否则可能出现超时已触发但重试仍在进行的模糊状态。合理划定这些边界,才能让条件重试真正可靠。
具体配置时,连接建立超时可以用HttpClient的Timeout属性,整体读取超时用Polly的超时策略,并把两者嵌套顺序固定为:先重试,再套整体超时。这样每次重试内部的读取超时受同一个总超时约束,不会出现无限等待。验证时观察日志中“Timeout”和“Retry”之间是否有交叉。
最后补充一个边界:不要把“部分成功”的判定结果直接回传给用户。如果重试后仍没有final事件,应该把已生成内容缓存在客户端,提示“内容可能不完整”,并保留原始请求和已解析事件。这些内容需要用户在业务侧决定是否重新发起,而不应被Polly策略自动吞掉。
以上处理路径适合大多数LLM SSE接入场景,但每个服务端的终止标记、续传参数、幂等约束都不一样。建议先在测试环境用mock流模拟“第二条事件后断开”,验证重试条件匹配和续传参数是否生效,再放到生产环境。