一、为什么大模型应用需要缓存、重试与降级?
大模型应用与传统业务 API 相比,具有几个明显特点:
- 响应成本高:一次请求可能涉及大量输入和输出 Token,推理成本较高。
- 响应延迟不稳定:模型推理、排队、网络传输和工具调用都会影响响应时间。
- 外部依赖复杂:依赖模型供应商、向量数据库、搜索服务、业务 API 等多个系统。
- 服务容量有限:模型服务存在并发限制、Token 吞吐限制和速率限制。
- 生成结果具有随机性:相同输入不一定产生完全相同的输出。
- 上下文开销较大:多轮对话可能重复传递大量历史消息。
如果没有可靠性设计,生产环境中容易出现:
- 相同问题反复调用模型,造成成本浪费。
- 网络短暂抖动导致请求直接失败。
- API 限流引发大量请求堆积。
- 模型供应商故障导致整个应用不可用。
- 高并发下请求不断重试,进一步放大故障。
- 单个慢请求占用连接和线程,影响整体吞吐量。
因此,需要从系统层面建立三类机制:
| 机制 | 解决的问题 | 核心目标 |
|---|---|---|
| 缓存 Cache | 重复请求和重复计算 | 降低延迟与成本 |
| 重试 Retry | 临时性失败 | 提高请求成功率 |
| 降级 Fallback | 主服务不可用或超时 | 保证核心功能可用 |
三者不是相互独立的功能,而是共同组成大模型应用的可靠性体系。
二、缓存机制:减少重复推理
2.1 什么是缓存?
缓存(Cache)是一种将计算结果或中间数据暂时保存起来,以便后续请求快速复用的技术。
在大模型应用中,缓存可以保存:
- 完整模型响应。
- Prompt 与模型输出的映射。
- Embedding 向量。
- RAG 检索结果。
- 工具调用结果。
- 多轮对话中的上下文。
- 模型推理过程中可复用的前缀计算结果。
传统 API 缓存通常根据请求 URL、参数等信息建立缓存键。
大模型应用则需要考虑更多因素:
- 用户输入。
- System Prompt。
- 对话历史。
- 模型名称和版本。
- Temperature、Top P 等生成参数。
- 工具定义和工具执行结果。
- RAG 检索上下文。
- 用户权限和数据隔离。
- 输出格式与 JSON Schema。
如果缓存键设计不完整,可能导致不同请求错误地复用同一份结果。
2.2 大模型应用的缓存类型
根据缓存内容和作用位置,可以分为以下几类。
| 缓存类型 | 缓存内容 | 主要作用 |
|---|---|---|
| 响应缓存 | 模型完整响应 | 避免重复调用模型 |
| Prompt 缓存 | 可复用的 Prompt 前缀计算 | 减少重复 Prefill 计算 |
| Embedding 缓存 | 文本向量 | 避免重复向量计算 |
| 检索缓存 | RAG 检索结果 | 减少重复检索 |
| 工具缓存 | 工具调用结果 | 减少重复外部请求 |
| KV Cache | Attention 的 K/V 中间状态 | 减少自回归生成中的重复计算 |
| 会话缓存 | 会话状态和上下文 | 加速多轮交互 |
需要特别区分:
- 响应缓存通常由应用层或服务层管理。
- Prompt Cache 通常由模型服务或推理引擎管理。
- KV Cache 通常由模型推理引擎在生成过程中管理。
它们缓存的对象、生命周期和失效机制并不相同。
2.3 响应缓存
响应缓存是最直接的大模型应用缓存方式。
例如,用户多次询问:
什么是 RESTful API?
如果请求内容、模型配置和上下文完全相同,系统可以直接返回之前的结果,而不再调用模型。
基本流程:
flowchart TD
A["收到用户请求"] --> B["构建缓存 Key"]
B --> C["查询缓存"]
C --> D{"是否命中"}
D -->|"命中"| E["读取缓存响应"]
D -->|"未命中"| F["调用大模型"]
F --> G["获取模型响应"]
G --> H["写入缓存"]
H --> I["返回响应"]
E --> I
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
响应缓存适合:
- 常见知识问答。
- 固定格式的信息提取。
- 重复性较高的分类任务。
- 相同文档的摘要。
- 稳定的业务规则解释。
- 可复用的工具查询结果。
但并不是所有大模型请求都适合缓存。
例如,以下请求通常不适合直接使用全局响应缓存:
- 实时股票行情。
- 当前天气。
- 实时订单状态。
- 个性化医疗建议。
- 涉及权限变化的账户信息。
- 需要根据最新上下文生成的对话。
2.4 缓存 Key 如何设计?
缓存 Key 决定两个请求是否被认为是同一个请求。
最简单的方式是使用用户输入作为 Key:
cache_key = user_input
这种设计通常不够安全。
例如:
用户 A:
总结这份文档
用户 B:
总结这份文档
如果两个人提交的是不同文档,仅使用用户输入作为 Key,就可能错误命中缓存。
更合理的方式是将影响模型结果的关键参数纳入缓存 Key。
例如:
import hashlib
import json
def build_cache_key(
model,
system_prompt,
messages,
temperature,
schema_version
):
payload = {
"model": model,
"system_prompt": system_prompt,
"messages": messages,
"temperature": temperature,
"schema_version": schema_version
}
raw = json.dumps(
payload,
ensure_ascii=False,
sort_keys=True
)
return hashlib.sha256(
raw.encode("utf-8")
).hexdigest()
生产环境中还需要根据请求实际使用的能力补充:
- 模型版本或模型部署标识。
- Top P、Max Tokens 等生成参数。
- JSON Schema 或输出格式版本。
- 工具定义及其版本。
- RAG 文档 ID、版本或检索上下文摘要。
- 租户 ID、用户权限范围。
- 语言、区域和业务配置。
- 是否启用特定安全策略。
原则是:所有可能影响响应内容或访问权限的因素,都应该纳入缓存隔离与一致性设计。
对于敏感数据,不能因为请求内容相同,就默认不同用户可以共享缓存。
2.5 缓存过期策略
缓存不能永久有效。
常见策略:
| 策略 | 说明 | 适用场景 |
|---|---|---|
| TTL | 设置固定过期时间 | 通用响应缓存 |
| LRU | 淘汰最近最少使用的数据 | 内存容量有限 |
| LFU | 淘汰访问频率较低的数据 | 热点数据缓存 |
| 版本失效 | 依赖版本变化使缓存失效 | Prompt、模型和 Schema 更新 |
| 主动失效 | 业务事件触发删除 | 订单、账户等状态变化 |
TTL(Time To Live)是最常见的缓存过期机制。
例如:
cache.set(
key,
response,
ex=300
)
表示缓存有效期为 300 秒。
不同业务应该设置不同 TTL:
| 业务 | TTL 设计思路 |
|---|---|
| 固定知识问答 | 可以较长 |
| 商品信息 | 结合商品更新频率 |
| 新闻摘要 | 结合内容更新频率 |
| 天气查询 | 较短 |
| 实时订单 | 很短或事件驱动失效 |
| 用户权限 | 需要严格控制失效与重新验证 |
TTL 不是越长越好。缓存时间越长,越可能返回过期信息。
2.6 缓存击穿、穿透与雪崩
缓存系统还需要处理经典的缓存问题。
缓存击穿
某个热点 Key 过期时,大量请求同时访问该 Key,全部穿透到模型服务。
解决方式:
- Singleflight 请求合并。
- 分布式互斥锁。
- 热点 Key 主动刷新。
- 逻辑过期与异步更新。
缓存穿透
大量请求访问不存在或不可缓存的数据,导致每次都进入后端。
解决方式:
- 参数校验。
- 空结果短期缓存。
- 布隆过滤器。
- 限流和异常请求识别。
缓存雪崩
大量缓存同时过期,造成后端流量突然增加。
解决方式:
- TTL 增加随机抖动。
- 分批过期。
- 热点数据预热。
- 多级缓存。
- 后端限流。
2.7 大模型缓存的特殊问题
大模型响应缓存与普通数据库缓存有几个明显区别。
第一,生成结果具有随机性。
相同 Prompt 在不同 Temperature、模型版本或推理配置下,可能生成不同结果。
如果请求使用较高随机性,响应缓存可能降低内容多样性。
第二,Prompt 可能包含动态上下文。
例如:
当前时间:2026-11-20
用户问题:今天有哪些重要新闻?
如果忽略当前时间,缓存可能返回过时结果。
第三,工具调用可能产生副作用。
例如:
- 创建订单。
- 发送邮件。
- 转账。
- 删除数据。
不能简单缓存工具调用请求,并将旧执行结果当作本次操作已成功执行。
第四,缓存内容可能涉及敏感数据。
需要考虑租户隔离、用户权限、加密存储、日志脱敏和缓存清理。
三、Prompt Caching:缓存可复用的上下文
3.1 什么是 Prompt Caching?
Prompt Caching 是模型服务或推理系统对可复用 Prompt 前缀进行缓存的一种优化机制。
大模型在处理输入 Prompt 时,需要执行 Prefill 阶段,计算各层的中间表示,并生成 Attention 所需的 K/V 状态。
对于重复使用的 Prompt 前缀,如果推理系统能够复用之前计算的结果,就可以减少重复计算。
例如,多个请求都包含相同的 System Prompt:
你是一个专业的技术助手。
你需要遵循以下规则:
1. 回答准确。
2. 使用中文。
3. 输出结构化内容。
4. 不要编造事实。
后面每个请求只有用户问题不同。
请求 A:解释 Redis。
请求 B:解释 Kafka。
请求 C:解释 PostgreSQL。
如果系统支持 Prompt Caching,就可能复用公共前缀的部分计算结果。
3.2 Prompt Caching 的工作过程
flowchart TD
A["接收模型请求"] --> B["识别 Prompt 前缀"]
B --> C{"是否存在可复用缓存"}
C -->|"命中"| D["读取缓存的前缀计算状态"]
C -->|"未命中"| E["执行完整 Prefill"]
E --> F["保存可复用状态"]
D --> G["处理剩余上下文"]
F --> G
G --> H["进入 Decode"]
H --> I["生成模型响应"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
具体缓存策略依赖模型供应商和推理引擎。
需要注意,Prompt Caching 缓存的是可复用的模型计算状态,不是简单地缓存最终回答。
3.3 Prompt Caching 与响应缓存的区别
| 对比维度 | Prompt Caching | 响应缓存 |
|---|---|---|
| 缓存内容 | 可复用的 Prompt 前缀计算状态 | 完整模型响应 |
| 作用位置 | 模型服务或推理引擎 | 应用层或缓存层 |
| 是否重新生成 | 通常仍需要生成 | 命中时无需重新生成 |
| 是否依赖输入一致 | 依赖可匹配的前缀和计算配置 | 依赖缓存 Key |
| 主要收益 | 减少 Prefill 计算 | 减少完整模型调用 |
| 对输出多样性的影响 | 通常不直接改变生成策略 | 可能复用固定输出 |
3.4 KV Cache 与 Prompt Caching 的关系
KV Cache 是 Transformer 自回归推理的重要优化技术。
在 Decode 阶段,模型会缓存历史 Token 的 Key 和 Value,避免每生成一个新 Token,都重新计算全部历史 Token 的 K/V。
Prompt Caching 可以在某些推理系统中利用可复用的 KV 状态实现。
但二者并不完全等价:
- KV Cache 是推理过程中的 K/V 缓存机制。
- Prompt Caching 是面向重复 Prompt 前缀的复用策略。
- Prompt Caching 可以基于 KV Cache 实现,也可能结合其他内部机制。
- 应用层响应缓存则属于另一层次。
四、重试机制:处理临时性故障
4.1 什么是重试?
重试(Retry)是指当请求因为临时性故障失败时,系统按照预先设定的策略重新发起请求。
大模型 API 调用可能因为以下原因失败:
- 网络连接中断。
- DNS 解析异常。
- 请求超时。
- 服务端暂时不可用。
- API 速率限制。
- 并发容量不足。
- 上游依赖短暂故障。
并不是所有错误都适合重试。
例如:
| 错误类型 | 是否适合重试 | 处理建议 |
|---|---|---|
| 网络超时 | 通常可以 | 有界重试 |
| 连接重置 | 通常可以 | 有界重试 |
| HTTP 429 | 通常可以 | 遵循限流信息 |
| HTTP 500 | 视情况 | 退避重试 |
| HTTP 502 | 通常可以 | 退避重试 |
| HTTP 503 | 通常可以 | 退避重试 |
| HTTP 504 | 通常可以 | 退避重试 |
| HTTP 400 | 通常不可以 | 修正请求参数 |
| HTTP 401 | 通常不可以 | 检查认证信息 |
| HTTP 403 | 通常不可以 | 检查权限 |
| HTTP 404 | 通常不可以 | 检查资源地址 |
| 业务校验失败 | 通常不可以 | 修正业务数据 |
具体仍要以服务商的错误码语义为准。
4.2 为什么不能无限重试?
假设模型服务出现故障,1000 个请求同时失败。
如果每个请求无限重试,可能形成:
- 请求数量不断增加。
- 连接池被占满。
- 上游服务压力继续增加。
- 请求排队时间变长。
- 更多请求超时。
- 系统整体可用性进一步下降。
这类现象可能形成重试风暴(Retry Storm)。
因此,重试必须具备:
- 最大重试次数。
- 总请求时间预算。
- 退避等待。
- 随机抖动。
- 可重试错误判断。
- 并发限制。
- 幂等性控制。
4.3 固定间隔重试
最简单的重试策略是固定时间间隔。
例如:
第 1 次失败:等待 1 秒
第 2 次失败:等待 1 秒
第 3 次失败:等待 1 秒
这种方式实现简单,但大量客户端同时失败时,可能在同一时间重新发起请求。
容易形成请求峰值。
4.4 指数退避 Exponential Backoff
指数退避是生产系统中常见的重试策略。
等待时间按照指数增长:
其中:
- t_n:第 n 次重试的等待时间。
- t_0:初始等待时间。
- t_{\max}:最大等待时间。
- n:重试次数。
例如,初始等待时间为 1 秒:
| 重试次数 | 等待时间 |
|---|---|
| 第 1 次 | 1 秒 |
| 第 2 次 | 2 秒 |
| 第 3 次 | 4 秒 |
| 第 4 次 | 8 秒 |
| 第 5 次 | 16 秒 |
这样可以降低持续故障时对上游服务的压力。
4.5 随机抖动 Jitter
仅使用指数退避仍然存在问题。
如果大量请求同时失败,它们可能使用相同的退避时间,在同一时刻重新请求。
Jitter 用于给等待时间增加随机性。
一种常见方式是 Full Jitter:
其中 U(a,b) 表示在区间内均匀随机取值。
这样可以将请求分散到不同时间点,降低请求集中爆发的风险。
4.6 Retry-After
对于 HTTP 429 或部分服务不可用响应,服务端可能通过 Retry-After 告知客户端应该等待多久。
例如:
HTTP/1.1 429 Too Many Requests
Retry-After: 5
表示客户端应至少等待 5 秒后再考虑重试。
如果服务端提供了有效的 Retry-After,客户端应尊重该信息,而不是机械地使用自己的短退避时间。
同时还要考虑请求的整体 Deadline。如果等待时间已经超过剩余时间预算,就不应该继续重试。
4.7 重试机制的完整流程
flowchart TD
A["发起模型请求"] --> B["等待响应"]
B --> C{"请求是否成功"}
C -->|"是"| D["返回结果"]
C -->|"否"| E["判断错误类型"]
E --> F{"是否属于可重试错误"}
F -->|"否"| G["返回失败"]
F -->|"是"| H{"是否超过重试次数"}
H -->|"是"| G
H -->|"否"| I["计算退避时间"]
I --> J["加入随机抖动"]
J --> K["检查剩余时间预算"]
K --> L{"是否还有时间"}
L -->|"否"| G
L -->|"是"| M["等待后重试"]
M --> A
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#F7EAE7,stroke:#C98D7C,color:#754438
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#EAF3EC,stroke:#83A995,color:#315D49
style L fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style M fill:#EAF3EC,stroke:#83A995,color:#315D49
五、幂等性:重试不能重复执行业务操作
这是大模型应用中非常容易忽略的问题。
5.1 什么是幂等性?
幂等性(Idempotency)是指同一个操作执行一次或多次,对系统产生的最终业务效果相同。
例如:
设置用户昵称为张三
重复执行多次,最终昵称仍然是张三。
这种操作通常具有幂等性。
而:
账户余额增加 100 元
如果重复执行两次,余额就会增加 200 元。
这不是天然幂等的操作。
5.2 为什么模型 API 重试会产生重复操作?
假设 Agent 需要执行转账:
用户:给张三转账 100 元。
模型生成工具调用请求,应用执行转账。
但执行成功后,网络连接突然断开,应用没有收到成功响应。
应用无法确定:
- 转账是否已经执行。
- 工具是否执行失败。
- 响应是否只是丢失。
如果应用直接重试,就可能重复转账。
5.3 使用 Idempotency Key
可以为每个业务操作生成唯一幂等键。
例如:
POST /api/transfers
Idempotency-Key: transfer-20261120-000001
Content-Type: application/json
请求:
{
"from_account": "A1001",
"to_account": "A2001",
"amount": 100
}
服务端保存幂等键及执行结果。
再次收到相同幂等键时,不重复执行转账,而是返回之前保存的结果。
需要注意:
- 幂等键应由业务操作生成,而不是每次重试都重新生成。
- 幂等记录需要持久化,并设计合理的保留时间。
- 幂等键必须绑定请求内容,避免同一个 Key 被用于不同参数。
- 并发请求必须通过数据库唯一约束、事务或其他原子机制保证只执行一次。
- 幂等记录与业务执行结果应尽可能在同一事务边界内提交。
5.4 模型生成与业务执行的幂等边界
需要区分两个层次:
| 操作 | 是否需要幂等控制 |
|---|---|
| 调用模型生成文本 | 通常不涉及业务副作用,但可能产生重复费用 |
| 模型生成工具调用参数 | 可能重复生成 |
| 查询数据库 | 通常可安全重试,但需考虑一致性 |
| 创建订单 | 必须考虑幂等 |
| 发送邮件 | 需要防止重复发送 |
| 转账 | 必须具备严格幂等控制 |
| 删除数据 | 需要业务级幂等和权限控制 |
模型请求的重试策略,不能直接等同于工具操作的重试策略。
六、降级机制:保证系统在故障时仍然可用
6.1 什么是降级?
降级(Fallback / Degradation)是指当主要服务不可用、响应过慢或资源不足时,系统主动切换到能力较弱但仍可工作的处理方式。
降级不是简单地返回错误,而是有意识地牺牲部分功能,保留核心业务能力。
例如:
- 高性能模型不可用时,切换到备用模型。
- 模型超时时,返回缓存结果。
- RAG 检索服务不可用时,使用有限的基础知识回答。
- 高级分析功能不可用时,提供简化版结果。
- 外部搜索失败时,明确告知无法获取实时信息。
6.2 常见降级方式
| 降级方式 | 具体做法 | 适用场景 |
|---|---|---|
| 缓存降级 | 返回历史缓存 | 重复性查询 |
| 模型降级 | 切换备用模型 | 主模型不可用 |
| 能力降级 | 关闭复杂推理或高级功能 | 高负载 |
| 数据降级 | 使用已有数据或静态数据 | 外部数据源故障 |
| 结果降级 | 返回简化版内容 | 延迟预算不足 |
| 人工兜底 | 转交人工处理 | 高风险任务 |
6.3 模型降级与模型路由
假设系统同时接入多个模型:
- 主模型:高能力、高成本。
- 备用模型:中等能力、中等成本。
- 轻量模型:低成本、低延迟。
可以根据请求类型和服务状态选择模型。
例如:
flowchart TD
A["收到 AI 请求"] --> B["请求分类与路由"]
B --> C["优先调用主模型"]
C --> D{"主模型是否成功"}
D -->|"是"| E["返回主模型结果"]
D -->|"否"| F["判断是否允许切换"]
F -->|"否"| G["返回明确错误或人工兜底"]
F -->|"是"| H["调用备用模型"]
H --> I{"备用模型是否成功"}
I -->|"是"| J["返回备用模型结果"]
I -->|"否"| K["使用轻量模型或缓存"]
K --> L{"是否有可用结果"}
L -->|"是"| M["返回降级结果"]
L -->|"否"| G
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F7EAE7,stroke:#C98D7C,color:#754438
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style K fill:#EAF3EC,stroke:#83A995,color:#315D49
style L fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style M fill:#DCEFE5,stroke:#4F8B70,color:#24563F
模型降级需要注意模型能力差异。
备用模型不一定能够完全兼容主模型:
- Prompt 格式可能不同。
- 工具调用协议可能不同。
- JSON Schema 支持范围可能不同。
- 上下文窗口可能不同。
- 多模态能力可能不同。
- 输出质量和安全策略可能不同。
因此,模型切换前需要建立统一适配层,并进行能力验证。
6.4 降级不等于静默降低质量
例如,主模型支持复杂推理,备用模型只能完成基础分类。
如果系统在切换后仍然将结果标记为与主模型相同的能力,就可能误导用户或下游系统。
建议为降级结果增加状态信息:
{
"status": "degraded",
"model": "fallback-model",
"result": {
"category": "technical_issue"
},
"message": "当前使用备用模型处理,结果可能存在能力差异。"
}
实际 API 可以通过响应元数据表达降级状态,而不一定要将这些字段混入业务数据本身。
七、熔断机制:避免故障持续扩散
7.1 什么是熔断?
熔断(Circuit Breaker)是一种故障隔离机制。
当某个外部服务持续失败时,系统暂时停止向该服务发送请求,避免继续消耗资源。
熔断机制通常有三种状态:
- Closed:关闭状态,正常请求。
- Open:打开状态,直接拒绝或走降级逻辑。
- Half-Open:半开状态,允许少量探测请求。
7.2 熔断器的工作原理
stateDiagram-v2
[*] --> Closed
Closed --> Open: 失败率或连续失败达到阈值
Open --> HalfOpen: 熔断等待时间结束
HalfOpen --> Closed: 探测请求成功
HalfOpen --> Open: 探测请求失败
style Closed fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style Open fill:#F7EAE7,stroke:#C98D7C,color:#754438
style HalfOpen fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
Closed:
- 请求正常通过。
- 统计请求成功率和失败情况。
- 当失败率达到阈值时,触发熔断。
Open:
- 不再正常调用故障服务。
- 直接返回降级结果或错误。
- 等待熔断时间结束。
Half-Open:
- 允许少量请求进入。
- 检查上游服务是否恢复。
- 根据探测结果决定关闭或重新打开熔断器。
7.3 为什么大模型应用需要熔断?
假设某个模型供应商持续返回 HTTP 503。
如果应用仍然对每个请求进行多次重试:
- 失败请求不断增加。
- 连接池被占用。
- 请求延迟持续升高。
- 线程和协程资源被消耗。
- 其他正常业务也可能受到影响。
熔断器可以在系统确认服务持续异常后,主动停止调用故障上游。
7.4 熔断与重试的关系
两者作用不同:
| 机制 | 解决问题 | 作用方式 |
|---|---|---|
| Retry | 单次请求的临时失败 | 再次尝试 |
| Circuit Breaker | 上游持续性故障 | 暂停调用 |
| Timeout | 请求长时间无响应 | 限制等待时间 |
| Fallback | 主路径无法完成 | 切换处理方式 |
| Rate Limiting | 请求数量过多 | 控制进入速率 |
如果没有熔断,重试可能持续放大上游故障。
如果没有重试,短暂网络抖动可能直接造成请求失败。
如果没有降级,熔断之后可能没有可用的服务路径。
它们需要配合使用。
八、限流与并发控制
缓存、重试和降级之外,大模型应用还必须管理请求流量。
8.1 为什么需要限流?
模型供应商通常会限制:
- 每分钟请求次数(RPM)。
- 每分钟 Token 数(TPM)。
- 并发请求数。
- 每日调用量。
- 账户消费额度。
如果应用没有限流控制,突发流量可能导致大量 429 错误。
8.2 常见限流算法
| 算法 | 原理 | 特点 |
|---|---|---|
| 固定窗口 | 固定时间窗口内限制请求数 | 简单,但存在边界突发 |
| 滑动窗口 | 统计连续时间区间的请求量 | 更平滑 |
| 漏桶 | 以固定速率处理请求 | 输出速率稳定 |
| 令牌桶 | 按速率生成令牌,请求消耗令牌 | 允许一定突发流量 |
| 并发限制 | 限制同时执行的请求数量 | 控制资源占用 |
对于大模型应用,单纯按请求数量限流可能不够。
因为不同请求的 Token 消耗差异很大。
例如:
- 请求 A:输入 100 Token,输出 50 Token。
- 请求 B:输入 20,000 Token,输出 4,000 Token。
两者虽然都只算一次请求,但资源消耗差异明显。
因此,需要结合 RPM、TPM 和并发数进行多维限流。
8.3 令牌桶算法
令牌桶通过固定速率向桶中补充令牌。
每个请求进入时,需要消耗对应数量的令牌。
flowchart TD
A["请求到达"] --> B["检查令牌桶"]
B --> C{"令牌是否充足"}
C -->|"是"| D["消耗令牌"]
D --> E["允许请求执行"]
C -->|"否"| F["等待或拒绝"]
G["定时补充令牌"] --> B
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#F7EAE7,stroke:#C98D7C,color:#754438
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
令牌桶可以允许一定程度的突发流量,但长期平均请求速率仍受到令牌生成速率限制。