返回专栏
· 24 分钟阅读

大模型应用的缓存、重试与降级:构建稳定、高可用的 AI 服务


一、为什么大模型应用需要缓存、重试与降级?

大模型应用与传统业务 API 相比,具有几个明显特点:

  • 响应成本高:一次请求可能涉及大量输入和输出 Token,推理成本较高。
  • 响应延迟不稳定:模型推理、排队、网络传输和工具调用都会影响响应时间。
  • 外部依赖复杂:依赖模型供应商、向量数据库、搜索服务、业务 API 等多个系统。
  • 服务容量有限:模型服务存在并发限制、Token 吞吐限制和速率限制。
  • 生成结果具有随机性:相同输入不一定产生完全相同的输出。
  • 上下文开销较大:多轮对话可能重复传递大量历史消息。

如果没有可靠性设计,生产环境中容易出现:

  • 相同问题反复调用模型,造成成本浪费。
  • 网络短暂抖动导致请求直接失败。
  • API 限流引发大量请求堆积。
  • 模型供应商故障导致整个应用不可用。
  • 高并发下请求不断重试,进一步放大故障。
  • 单个慢请求占用连接和线程,影响整体吞吐量。

因此,需要从系统层面建立三类机制:

机制 解决的问题 核心目标
缓存 Cache 重复请求和重复计算 降低延迟与成本
重试 Retry 临时性失败 提高请求成功率
降级 Fallback 主服务不可用或超时 保证核心功能可用

三者不是相互独立的功能,而是共同组成大模型应用的可靠性体系。

二、缓存机制:减少重复推理

2.1 什么是缓存?

缓存(Cache)是一种将计算结果或中间数据暂时保存起来,以便后续请求快速复用的技术。

在大模型应用中,缓存可以保存:

  • 完整模型响应。
  • Prompt 与模型输出的映射。
  • Embedding 向量。
  • RAG 检索结果。
  • 工具调用结果。
  • 多轮对话中的上下文。
  • 模型推理过程中可复用的前缀计算结果。

传统 API 缓存通常根据请求 URL、参数等信息建立缓存键。

大模型应用则需要考虑更多因素:

  • 用户输入。
  • System Prompt。
  • 对话历史。
  • 模型名称和版本。
  • Temperature、Top P 等生成参数。
  • 工具定义和工具执行结果。
  • RAG 检索上下文。
  • 用户权限和数据隔离。
  • 输出格式与 JSON Schema。

如果缓存键设计不完整,可能导致不同请求错误地复用同一份结果。

2.2 大模型应用的缓存类型

根据缓存内容和作用位置,可以分为以下几类。

缓存类型 缓存内容 主要作用
响应缓存 模型完整响应 避免重复调用模型
Prompt 缓存 可复用的 Prompt 前缀计算 减少重复 Prefill 计算
Embedding 缓存 文本向量 避免重复向量计算
检索缓存 RAG 检索结果 减少重复检索
工具缓存 工具调用结果 减少重复外部请求
KV Cache Attention 的 K/V 中间状态 减少自回归生成中的重复计算
会话缓存 会话状态和上下文 加速多轮交互

需要特别区分:

  • 响应缓存通常由应用层或服务层管理。
  • Prompt Cache 通常由模型服务或推理引擎管理。
  • KV Cache 通常由模型推理引擎在生成过程中管理。

它们缓存的对象、生命周期和失效机制并不相同。

2.3 响应缓存

响应缓存是最直接的大模型应用缓存方式。

例如,用户多次询问:

什么是 RESTful API?

如果请求内容、模型配置和上下文完全相同,系统可以直接返回之前的结果,而不再调用模型。

基本流程:

flowchart TD
    A["收到用户请求"] --> B["构建缓存 Key"]
    B --> C["查询缓存"]
    C --> D{"是否命中"}
    D -->|"命中"| E["读取缓存响应"]
    D -->|"未命中"| F["调用大模型"]
    F --> G["获取模型响应"]
    G --> H["写入缓存"]
    H --> I["返回响应"]
    E --> I

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

响应缓存适合:

  • 常见知识问答。
  • 固定格式的信息提取。
  • 重复性较高的分类任务。
  • 相同文档的摘要。
  • 稳定的业务规则解释。
  • 可复用的工具查询结果。

但并不是所有大模型请求都适合缓存。

例如,以下请求通常不适合直接使用全局响应缓存:

  • 实时股票行情。
  • 当前天气。
  • 实时订单状态。
  • 个性化医疗建议。
  • 涉及权限变化的账户信息。
  • 需要根据最新上下文生成的对话。

2.4 缓存 Key 如何设计?

缓存 Key 决定两个请求是否被认为是同一个请求。

最简单的方式是使用用户输入作为 Key:

cache_key = user_input

这种设计通常不够安全。

例如:

用户 A:

总结这份文档

用户 B:

总结这份文档

如果两个人提交的是不同文档,仅使用用户输入作为 Key,就可能错误命中缓存。

更合理的方式是将影响模型结果的关键参数纳入缓存 Key。

例如:

import hashlib
import json

def build_cache_key(
    model,
    system_prompt,
    messages,
    temperature,
    schema_version
):
    payload = {
        "model": model,
        "system_prompt": system_prompt,
        "messages": messages,
        "temperature": temperature,
        "schema_version": schema_version
    }

    raw = json.dumps(
        payload,
        ensure_ascii=False,
        sort_keys=True
    )

    return hashlib.sha256(
        raw.encode("utf-8")
    ).hexdigest()

生产环境中还需要根据请求实际使用的能力补充:

  • 模型版本或模型部署标识。
  • Top P、Max Tokens 等生成参数。
  • JSON Schema 或输出格式版本。
  • 工具定义及其版本。
  • RAG 文档 ID、版本或检索上下文摘要。
  • 租户 ID、用户权限范围。
  • 语言、区域和业务配置。
  • 是否启用特定安全策略。

原则是:所有可能影响响应内容或访问权限的因素,都应该纳入缓存隔离与一致性设计。

对于敏感数据,不能因为请求内容相同,就默认不同用户可以共享缓存。

2.5 缓存过期策略

缓存不能永久有效。

常见策略:

策略 说明 适用场景
TTL 设置固定过期时间 通用响应缓存
LRU 淘汰最近最少使用的数据 内存容量有限
LFU 淘汰访问频率较低的数据 热点数据缓存
版本失效 依赖版本变化使缓存失效 Prompt、模型和 Schema 更新
主动失效 业务事件触发删除 订单、账户等状态变化

TTL(Time To Live)是最常见的缓存过期机制。

例如:

cache.set(
    key,
    response,
    ex=300
)

表示缓存有效期为 300 秒。

不同业务应该设置不同 TTL:

业务 TTL 设计思路
固定知识问答 可以较长
商品信息 结合商品更新频率
新闻摘要 结合内容更新频率
天气查询 较短
实时订单 很短或事件驱动失效
用户权限 需要严格控制失效与重新验证

TTL 不是越长越好。缓存时间越长,越可能返回过期信息。

2.6 缓存击穿、穿透与雪崩

缓存系统还需要处理经典的缓存问题。

缓存击穿

某个热点 Key 过期时,大量请求同时访问该 Key,全部穿透到模型服务。

解决方式:

  • Singleflight 请求合并。
  • 分布式互斥锁。
  • 热点 Key 主动刷新。
  • 逻辑过期与异步更新。

缓存穿透

大量请求访问不存在或不可缓存的数据,导致每次都进入后端。

解决方式:

  • 参数校验。
  • 空结果短期缓存。
  • 布隆过滤器。
  • 限流和异常请求识别。

缓存雪崩

大量缓存同时过期,造成后端流量突然增加。

解决方式:

  • TTL 增加随机抖动。
  • 分批过期。
  • 热点数据预热。
  • 多级缓存。
  • 后端限流。

2.7 大模型缓存的特殊问题

大模型响应缓存与普通数据库缓存有几个明显区别。

第一,生成结果具有随机性。

相同 Prompt 在不同 Temperature、模型版本或推理配置下,可能生成不同结果。

如果请求使用较高随机性,响应缓存可能降低内容多样性。

第二,Prompt 可能包含动态上下文。

例如:

当前时间:2026-11-20
用户问题:今天有哪些重要新闻?

如果忽略当前时间,缓存可能返回过时结果。

第三,工具调用可能产生副作用。

例如:

  • 创建订单。
  • 发送邮件。
  • 转账。
  • 删除数据。

不能简单缓存工具调用请求,并将旧执行结果当作本次操作已成功执行。

第四,缓存内容可能涉及敏感数据。

需要考虑租户隔离、用户权限、加密存储、日志脱敏和缓存清理。

三、Prompt Caching:缓存可复用的上下文

3.1 什么是 Prompt Caching?

Prompt Caching 是模型服务或推理系统对可复用 Prompt 前缀进行缓存的一种优化机制。

大模型在处理输入 Prompt 时,需要执行 Prefill 阶段,计算各层的中间表示,并生成 Attention 所需的 K/V 状态。

对于重复使用的 Prompt 前缀,如果推理系统能够复用之前计算的结果,就可以减少重复计算。

例如,多个请求都包含相同的 System Prompt:

你是一个专业的技术助手。

你需要遵循以下规则:
1. 回答准确。
2. 使用中文。
3. 输出结构化内容。
4. 不要编造事实。

后面每个请求只有用户问题不同。

请求 A:解释 Redis。
请求 B:解释 Kafka。
请求 C:解释 PostgreSQL。

如果系统支持 Prompt Caching,就可能复用公共前缀的部分计算结果。

3.2 Prompt Caching 的工作过程

flowchart TD
    A["接收模型请求"] --> B["识别 Prompt 前缀"]
    B --> C{"是否存在可复用缓存"}
    C -->|"命中"| D["读取缓存的前缀计算状态"]
    C -->|"未命中"| E["执行完整 Prefill"]
    E --> F["保存可复用状态"]
    D --> G["处理剩余上下文"]
    F --> G
    G --> H["进入 Decode"]
    H --> I["生成模型响应"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

具体缓存策略依赖模型供应商和推理引擎。

需要注意,Prompt Caching 缓存的是可复用的模型计算状态,不是简单地缓存最终回答。

3.3 Prompt Caching 与响应缓存的区别

对比维度 Prompt Caching 响应缓存
缓存内容 可复用的 Prompt 前缀计算状态 完整模型响应
作用位置 模型服务或推理引擎 应用层或缓存层
是否重新生成 通常仍需要生成 命中时无需重新生成
是否依赖输入一致 依赖可匹配的前缀和计算配置 依赖缓存 Key
主要收益 减少 Prefill 计算 减少完整模型调用
对输出多样性的影响 通常不直接改变生成策略 可能复用固定输出

3.4 KV Cache 与 Prompt Caching 的关系

KV Cache 是 Transformer 自回归推理的重要优化技术。

在 Decode 阶段,模型会缓存历史 Token 的 Key 和 Value,避免每生成一个新 Token,都重新计算全部历史 Token 的 K/V。

Prompt Caching 可以在某些推理系统中利用可复用的 KV 状态实现。

但二者并不完全等价:

  • KV Cache 是推理过程中的 K/V 缓存机制。
  • Prompt Caching 是面向重复 Prompt 前缀的复用策略。
  • Prompt Caching 可以基于 KV Cache 实现,也可能结合其他内部机制。
  • 应用层响应缓存则属于另一层次。

四、重试机制:处理临时性故障

4.1 什么是重试?

重试(Retry)是指当请求因为临时性故障失败时,系统按照预先设定的策略重新发起请求。

大模型 API 调用可能因为以下原因失败:

  • 网络连接中断。
  • DNS 解析异常。
  • 请求超时。
  • 服务端暂时不可用。
  • API 速率限制。
  • 并发容量不足。
  • 上游依赖短暂故障。

并不是所有错误都适合重试。

例如:

错误类型 是否适合重试 处理建议
网络超时 通常可以 有界重试
连接重置 通常可以 有界重试
HTTP 429 通常可以 遵循限流信息
HTTP 500 视情况 退避重试
HTTP 502 通常可以 退避重试
HTTP 503 通常可以 退避重试
HTTP 504 通常可以 退避重试
HTTP 400 通常不可以 修正请求参数
HTTP 401 通常不可以 检查认证信息
HTTP 403 通常不可以 检查权限
HTTP 404 通常不可以 检查资源地址
业务校验失败 通常不可以 修正业务数据

具体仍要以服务商的错误码语义为准。

4.2 为什么不能无限重试?

假设模型服务出现故障,1000 个请求同时失败。

如果每个请求无限重试,可能形成:

  • 请求数量不断增加。
  • 连接池被占满。
  • 上游服务压力继续增加。
  • 请求排队时间变长。
  • 更多请求超时。
  • 系统整体可用性进一步下降。

这类现象可能形成重试风暴(Retry Storm)。

因此,重试必须具备:

  • 最大重试次数。
  • 总请求时间预算。
  • 退避等待。
  • 随机抖动。
  • 可重试错误判断。
  • 并发限制。
  • 幂等性控制。

4.3 固定间隔重试

最简单的重试策略是固定时间间隔。

例如:

第 1 次失败:等待 1 秒
第 2 次失败:等待 1 秒
第 3 次失败:等待 1 秒

这种方式实现简单,但大量客户端同时失败时,可能在同一时间重新发起请求。

容易形成请求峰值。

4.4 指数退避 Exponential Backoff

指数退避是生产系统中常见的重试策略。

等待时间按照指数增长:

t_n = \min(t_{\max}, t_0 \times 2^n)

其中:

  • t_n:第 n 次重试的等待时间。
  • t_0:初始等待时间。
  • t_{\max}:最大等待时间。
  • n:重试次数。

例如,初始等待时间为 1 秒:

重试次数 等待时间
第 1 次 1 秒
第 2 次 2 秒
第 3 次 4 秒
第 4 次 8 秒
第 5 次 16 秒

这样可以降低持续故障时对上游服务的压力。

4.5 随机抖动 Jitter

仅使用指数退避仍然存在问题。

如果大量请求同时失败,它们可能使用相同的退避时间,在同一时刻重新请求。

Jitter 用于给等待时间增加随机性。

一种常见方式是 Full Jitter:

t_n = U(0,\min(t_{\max},t_0 \times 2^n))

其中 U(a,b) 表示在区间内均匀随机取值。

这样可以将请求分散到不同时间点,降低请求集中爆发的风险。

4.6 Retry-After

对于 HTTP 429 或部分服务不可用响应,服务端可能通过 Retry-After 告知客户端应该等待多久。

例如:

HTTP/1.1 429 Too Many Requests
Retry-After: 5

表示客户端应至少等待 5 秒后再考虑重试。

如果服务端提供了有效的 Retry-After,客户端应尊重该信息,而不是机械地使用自己的短退避时间。

同时还要考虑请求的整体 Deadline。如果等待时间已经超过剩余时间预算,就不应该继续重试。

4.7 重试机制的完整流程

flowchart TD
    A["发起模型请求"] --> B["等待响应"]
    B --> C{"请求是否成功"}
    C -->|"是"| D["返回结果"]
    C -->|"否"| E["判断错误类型"]
    E --> F{"是否属于可重试错误"}
    F -->|"否"| G["返回失败"]
    F -->|"是"| H{"是否超过重试次数"}
    H -->|"是"| G
    H -->|"否"| I["计算退避时间"]
    I --> J["加入随机抖动"]
    J --> K["检查剩余时间预算"]
    K --> L{"是否还有时间"}
    L -->|"否"| G
    L -->|"是"| M["等待后重试"]
    M --> A

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#F7EAE7,stroke:#C98D7C,color:#754438
    style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#EAF3EC,stroke:#83A995,color:#315D49
    style K fill:#EAF3EC,stroke:#83A995,color:#315D49
    style L fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style M fill:#EAF3EC,stroke:#83A995,color:#315D49

五、幂等性:重试不能重复执行业务操作

这是大模型应用中非常容易忽略的问题。

5.1 什么是幂等性?

幂等性(Idempotency)是指同一个操作执行一次或多次,对系统产生的最终业务效果相同。

例如:

设置用户昵称为张三

重复执行多次,最终昵称仍然是张三。

这种操作通常具有幂等性。

而:

账户余额增加 100 元

如果重复执行两次,余额就会增加 200 元。

这不是天然幂等的操作。

5.2 为什么模型 API 重试会产生重复操作?

假设 Agent 需要执行转账:

用户:给张三转账 100 元。

模型生成工具调用请求,应用执行转账。

但执行成功后,网络连接突然断开,应用没有收到成功响应。

应用无法确定:

  • 转账是否已经执行。
  • 工具是否执行失败。
  • 响应是否只是丢失。

如果应用直接重试,就可能重复转账。

5.3 使用 Idempotency Key

可以为每个业务操作生成唯一幂等键。

例如:

POST /api/transfers
Idempotency-Key: transfer-20261120-000001
Content-Type: application/json

请求:

{
  "from_account": "A1001",
  "to_account": "A2001",
  "amount": 100
}

服务端保存幂等键及执行结果。

再次收到相同幂等键时,不重复执行转账,而是返回之前保存的结果。

需要注意:

  • 幂等键应由业务操作生成,而不是每次重试都重新生成。
  • 幂等记录需要持久化,并设计合理的保留时间。
  • 幂等键必须绑定请求内容,避免同一个 Key 被用于不同参数。
  • 并发请求必须通过数据库唯一约束、事务或其他原子机制保证只执行一次。
  • 幂等记录与业务执行结果应尽可能在同一事务边界内提交。

5.4 模型生成与业务执行的幂等边界

需要区分两个层次:

操作 是否需要幂等控制
调用模型生成文本 通常不涉及业务副作用,但可能产生重复费用
模型生成工具调用参数 可能重复生成
查询数据库 通常可安全重试,但需考虑一致性
创建订单 必须考虑幂等
发送邮件 需要防止重复发送
转账 必须具备严格幂等控制
删除数据 需要业务级幂等和权限控制

模型请求的重试策略,不能直接等同于工具操作的重试策略。

六、降级机制:保证系统在故障时仍然可用

6.1 什么是降级?

降级(Fallback / Degradation)是指当主要服务不可用、响应过慢或资源不足时,系统主动切换到能力较弱但仍可工作的处理方式。

降级不是简单地返回错误,而是有意识地牺牲部分功能,保留核心业务能力。

例如:

  • 高性能模型不可用时,切换到备用模型。
  • 模型超时时,返回缓存结果。
  • RAG 检索服务不可用时,使用有限的基础知识回答。
  • 高级分析功能不可用时,提供简化版结果。
  • 外部搜索失败时,明确告知无法获取实时信息。

6.2 常见降级方式

降级方式 具体做法 适用场景
缓存降级 返回历史缓存 重复性查询
模型降级 切换备用模型 主模型不可用
能力降级 关闭复杂推理或高级功能 高负载
数据降级 使用已有数据或静态数据 外部数据源故障
结果降级 返回简化版内容 延迟预算不足
人工兜底 转交人工处理 高风险任务

6.3 模型降级与模型路由

假设系统同时接入多个模型:

  • 主模型:高能力、高成本。
  • 备用模型:中等能力、中等成本。
  • 轻量模型:低成本、低延迟。

可以根据请求类型和服务状态选择模型。

例如:

flowchart TD
    A["收到 AI 请求"] --> B["请求分类与路由"]
    B --> C["优先调用主模型"]
    C --> D{"主模型是否成功"}
    D -->|"是"| E["返回主模型结果"]
    D -->|"否"| F["判断是否允许切换"]
    F -->|"否"| G["返回明确错误或人工兜底"]
    F -->|"是"| H["调用备用模型"]
    H --> I{"备用模型是否成功"}
    I -->|"是"| J["返回备用模型结果"]
    I -->|"否"| K["使用轻量模型或缓存"]
    K --> L{"是否有可用结果"}
    L -->|"是"| M["返回降级结果"]
    L -->|"否"| G

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F7EAE7,stroke:#C98D7C,color:#754438
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style K fill:#EAF3EC,stroke:#83A995,color:#315D49
    style L fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style M fill:#DCEFE5,stroke:#4F8B70,color:#24563F

模型降级需要注意模型能力差异。

备用模型不一定能够完全兼容主模型:

  • Prompt 格式可能不同。
  • 工具调用协议可能不同。
  • JSON Schema 支持范围可能不同。
  • 上下文窗口可能不同。
  • 多模态能力可能不同。
  • 输出质量和安全策略可能不同。

因此,模型切换前需要建立统一适配层,并进行能力验证。

6.4 降级不等于静默降低质量

例如,主模型支持复杂推理,备用模型只能完成基础分类。

如果系统在切换后仍然将结果标记为与主模型相同的能力,就可能误导用户或下游系统。

建议为降级结果增加状态信息:

{
  "status": "degraded",
  "model": "fallback-model",
  "result": {
    "category": "technical_issue"
  },
  "message": "当前使用备用模型处理,结果可能存在能力差异。"
}

实际 API 可以通过响应元数据表达降级状态,而不一定要将这些字段混入业务数据本身。

七、熔断机制:避免故障持续扩散

7.1 什么是熔断?

熔断(Circuit Breaker)是一种故障隔离机制。

当某个外部服务持续失败时,系统暂时停止向该服务发送请求,避免继续消耗资源。

熔断机制通常有三种状态:

  • Closed:关闭状态,正常请求。
  • Open:打开状态,直接拒绝或走降级逻辑。
  • Half-Open:半开状态,允许少量探测请求。

7.2 熔断器的工作原理

stateDiagram-v2
    [*] --> Closed
    Closed --> Open: 失败率或连续失败达到阈值
    Open --> HalfOpen: 熔断等待时间结束
    HalfOpen --> Closed: 探测请求成功
    HalfOpen --> Open: 探测请求失败

    style Closed fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style Open fill:#F7EAE7,stroke:#C98D7C,color:#754438
    style HalfOpen fill:#F7F4E8,stroke:#C7B77A,color:#675A2D

Closed:

  • 请求正常通过。
  • 统计请求成功率和失败情况。
  • 当失败率达到阈值时,触发熔断。

Open:

  • 不再正常调用故障服务。
  • 直接返回降级结果或错误。
  • 等待熔断时间结束。

Half-Open:

  • 允许少量请求进入。
  • 检查上游服务是否恢复。
  • 根据探测结果决定关闭或重新打开熔断器。

7.3 为什么大模型应用需要熔断?

假设某个模型供应商持续返回 HTTP 503。

如果应用仍然对每个请求进行多次重试:

  • 失败请求不断增加。
  • 连接池被占用。
  • 请求延迟持续升高。
  • 线程和协程资源被消耗。
  • 其他正常业务也可能受到影响。

熔断器可以在系统确认服务持续异常后,主动停止调用故障上游。

7.4 熔断与重试的关系

两者作用不同:

机制 解决问题 作用方式
Retry 单次请求的临时失败 再次尝试
Circuit Breaker 上游持续性故障 暂停调用
Timeout 请求长时间无响应 限制等待时间
Fallback 主路径无法完成 切换处理方式
Rate Limiting 请求数量过多 控制进入速率

如果没有熔断,重试可能持续放大上游故障。

如果没有重试,短暂网络抖动可能直接造成请求失败。

如果没有降级,熔断之后可能没有可用的服务路径。

它们需要配合使用。

八、限流与并发控制

缓存、重试和降级之外,大模型应用还必须管理请求流量。

8.1 为什么需要限流?

模型供应商通常会限制:

  • 每分钟请求次数(RPM)。
  • 每分钟 Token 数(TPM)。
  • 并发请求数。
  • 每日调用量。
  • 账户消费额度。

如果应用没有限流控制,突发流量可能导致大量 429 错误。

8.2 常见限流算法

算法 原理 特点
固定窗口 固定时间窗口内限制请求数 简单,但存在边界突发
滑动窗口 统计连续时间区间的请求量 更平滑
漏桶 以固定速率处理请求 输出速率稳定
令牌桶 按速率生成令牌,请求消耗令牌 允许一定突发流量
并发限制 限制同时执行的请求数量 控制资源占用

对于大模型应用,单纯按请求数量限流可能不够。

因为不同请求的 Token 消耗差异很大。

例如:

  • 请求 A:输入 100 Token,输出 50 Token。
  • 请求 B:输入 20,000 Token,输出 4,000 Token。

两者虽然都只算一次请求,但资源消耗差异明显。

因此,需要结合 RPM、TPM 和并发数进行多维限流。

8.3 令牌桶算法

令牌桶通过固定速率向桶中补充令牌。

每个请求进入时,需要消耗对应数量的令牌。

flowchart TD
    A["请求到达"] --> B["检查令牌桶"]
    B --> C{"令牌是否充足"}
    C -->|"是"| D["消耗令牌"]
    D --> E["允许请求执行"]
    C -->|"否"| F["等待或拒绝"]
    G["定时补充令牌"] --> B

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#F7EAE7,stroke:#C98D7C,color:#754438
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49

令牌桶可以允许一定程度的突发流量,但长期平均请求速率仍受到令牌生成速率限制。

8.4 并发控制与队列