返回专栏
· 18 分钟阅读

GPU、显存与模型部署要求


一、为什么大模型部署需要 GPU?

大模型推理涉及大量矩阵乘法、向量运算和张量计算。CPU 虽然也能执行这些操作,但在大规模并行计算方面,通常难以达到 GPU 的吞吐能力。

GPU 的核心优势是拥有大量计算单元,能够同时处理大量数据,适合 Transformer 中的矩阵运算。

1. CPU 与 GPU 的区别

对比维度 CPU GPU
核心数量 核心较少,单核能力强 计算核心数量多
计算方式 擅长复杂控制和串行任务 擅长大规模并行任务
内存 系统内存 独立显存或共享内存
典型用途 数据处理、调度、业务逻辑 矩阵乘法、张量计算
大模型推理 可以运行,但通常较慢 更适合高性能推理

CPU 和 GPU 并不是相互替代的关系。

在实际部署中,CPU 负责请求接收、任务调度、数据预处理和网络通信,GPU 负责模型计算。

2. GPU 在大模型推理中的作用

Transformer 推理主要包含两个阶段:

  • Prefill:处理输入 Prompt,计算输入 Token 的注意力和隐藏状态。
  • Decode:逐个生成输出 Token,每次生成都需要执行模型计算。

GPU 在这两个阶段都发挥重要作用。

Prefill 阶段通常具有较高的矩阵计算并行度,计算密集程度较高。

Decode 阶段每次生成的 Token 数量较少,但需要反复读取模型权重和 KV Cache,容易受到显存带宽限制。

因此,大模型推理性能不仅取决于 GPU 的计算能力,还取决于显存容量、显存带宽和 GPU 之间的通信效率。

二、GPU 的核心硬件指标

选择 GPU 部署模型时,不能只看显存大小,还需要综合考虑计算能力、带宽、互联方式和软件支持。

1. 显存容量(VRAM)

显存是 GPU 用来存储模型权重、激活值、KV Cache 和中间计算结果的高速存储空间。

常见 GPU 显存容量包括:

显存容量 典型用途
8GB 小型模型、轻量实验
12GB 小型量化模型
16GB 7B 级模型的部分量化部署
24GB 7B、部分 14B 模型量化部署
40GB 中大型模型推理
48GB 适合更大的量化模型和较高并发
80GB 大模型推理、训练及高并发服务
141GB 及以上 更大模型和高负载推理场景

这些只是粗略参考。实际能否部署取决于模型架构、量化格式、上下文长度、并发量和推理框架的显存管理方式。

2. 显存带宽(Memory Bandwidth)

显存带宽表示 GPU 每秒能够从显存读取或写入多少数据。

常见单位为 GB/s 或 TB/s。

例如:

  • 500 GB/s:每秒传输约 500GB 数据。
  • 1 TB/s:每秒传输约 1TB 数据。
  • 3 TB/s:每秒传输约 3TB 数据。

在大模型 Decode 阶段,GPU 经常需要反复读取模型权重。

当计算单元处理速度很快,但显存无法及时提供数据时,就会出现带宽瓶颈。

可以用以下公式粗略估算理论数据读取时间:

T_{\text{memory}} \approx \frac{W_{\text{read}}}{B_{\text{memory}}}

其中:

  • W_{\text{read}}:需要读取的数据量。
  • B_{\text{memory}}:显存带宽。

例如,假设一次推理需要读取 14GB 权重,显存带宽为 1TB/s,那么理想情况下的数据读取时间约为:

T \approx \frac{14}{1000}=0.014s

实际推理还需要考虑计算、缓存命中、数据传输、内核调度和并行效率,因此不能直接把这个结果当作真实 Token 延迟。

3. GPU 计算能力

GPU 计算能力通常以 FLOPS 表示,即每秒浮点运算次数。

常见指标包括:

  • FP32:32 位浮点计算能力。
  • FP16:16 位浮点计算能力。
  • BF16:Brain Floating Point 16 位计算能力。
  • FP8:8 位浮点计算能力。
  • INT8:8 位整数计算能力。

不同精度对应不同的计算吞吐量和数值表示范围。

大模型推理常使用 FP16、BF16、FP8、INT8 或更低位宽的量化格式,以降低显存占用并提升计算效率。

需要注意,厂商公布的峰值 FLOPS 并不等于实际模型推理性能。实际表现还受到算子实现、内存带宽、批处理大小、通信开销和软件优化影响。

4. GPU 互联带宽

当模型无法放入单张 GPU 时,需要将模型切分到多张 GPU 上运行。

GPU 之间需要交换中间计算结果,因此互联带宽会影响多 GPU 部署效率。

常见互联技术:

  • PCIe:通用 GPU 互联方式,部署范围广。
  • NVLink:提供更高带宽的 GPU 互联技术。
  • NVSwitch:用于构建多 GPU 高带宽互联拓扑。
  • InfiniBand:常用于跨服务器的高速网络通信。

多 GPU 部署时,不仅要看 GPU 数量,还要看 GPU 之间的通信拓扑。

三、显存究竟被什么占用?

部署大模型时,显存并不只用于保存模型参数。

实际显存主要由以下部分组成:

  1. 模型权重(Model Weights)
  2. KV Cache
  3. 激活值(Activations)
  4. 临时计算空间(Workspace)
  5. 框架和 CUDA 运行时开销
  6. 显存碎片与预留空间

整体关系可以表示为:

flowchart TD
    A["GPU 显存总量"] --> B["模型权重"]
    A --> C["KV Cache"]
    A --> D["激活值"]
    A --> E["临时计算空间"]
    A --> F["框架与运行时开销"]
    A --> G["显存预留与碎片"]

    B --> H["决定模型能否装载"]
    C --> I["影响上下文长度和并发量"]
    D --> J["与批处理和计算过程有关"]
    E --> K["与算子和推理框架有关"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#EAF3EC,stroke:#83A995,color:#315D49
    style K fill:#EAF3EC,stroke:#83A995,color:#315D49

1. 模型权重占用

模型参数需要存储在显存中,参数量和数据精度共同决定权重占用。

基本公式:

M_{\text{weights}} = P \times \frac{b}{8}

其中:

  • P:模型参数量。
  • b:每个参数使用的位数。
  • M_{\text{weights}}:模型权重占用字节数。

假设一个 7B 模型,即 70 亿参数:

精度 每个参数占用 理论权重显存
FP32 4 Byte 28GB
FP16 2 Byte 14GB
BF16 2 Byte 14GB
INT8 1 Byte 7GB
INT4 0.5 Byte 3.5GB

以上采用十进制 GB 进行估算,实际部署时还会受到量化元数据、对齐、Scale、Zero Point 和框架实现影响。

因此,INT4 模型的实际显存占用通常不会恰好等于理论值。

2. KV Cache 占用

KV Cache 是大模型推理过程中用于缓存历史 Token 的 Key 和 Value 张量。

在自回归生成过程中,每生成一个新 Token,都需要使用之前 Token 的注意力信息。

如果每次都重新计算历史 Token 的 Key 和 Value,计算成本会非常高。

KV Cache 将历史计算结果缓存起来,从而减少重复计算。

其显存占用可以近似表示为:

M_{\text{KV}} = 2 \times L \times B \times S \times H_{\text{KV}} \times D \times \frac{b}{8}

其中:

  • 2:分别表示 Key 和 Value。
  • L:Transformer 层数。
  • B:Batch Size。
  • S:上下文 Token 数量。
  • H_{\text{KV}}:KV Head 数量。
  • D:每个 Head 的维度。
  • b:KV Cache 数据精度位数。

例如:

  • 模型层数:32。
  • KV Head:8。
  • Head Dimension:128。
  • Batch Size:1。
  • 上下文长度:8192。
  • KV Cache 精度:FP16。

计算:

\begin{aligned} M_{\text{KV}} ={}& 2 \times 32 \times 1 \times 8192\\ &\times 8 \times 128 \times 2 \end{aligned}

结果约为 1GiB。

这说明即使模型权重已经完成量化,KV Cache 仍可能占据大量显存。

尤其是长上下文和高并发服务,KV Cache 经常成为部署瓶颈。

3. 激活值占用

激活值是模型前向计算过程中产生的中间张量。

例如:

  • Attention 的中间结果。
  • FFN 的中间结果。
  • 隐藏层输出。
  • 临时矩阵计算结果。

在推理场景下,激活值通常不需要像训练那样长期保存所有层的反向传播信息,但仍然需要一定的临时显存。

激活值占用与以下因素有关:

  • Batch Size。
  • 输入 Token 数量。
  • 模型隐藏层维度。
  • 推理框架。
  • 算子融合方式。
  • Prefill 的计算实现。

4. 临时空间与显存预留

推理框架通常还需要分配临时工作空间。

例如,矩阵乘法、Attention Kernel 和 CUDA 算子可能需要额外的临时缓冲区。

一些推理框架会预先分配显存池,以减少运行时频繁申请和释放显存的开销。

因此,使用 nvidia-smi 观察到的显存占用,不一定完全等于模型权重和 KV Cache 的理论计算结果。

四、如何估算模型需要多少显存?

模型部署前,应该先估算模型权重占用,再考虑 KV Cache、激活值和运行时开销。

1. 不同参数量的模型显存估算

以下是 FP16/BF16 模型权重的理论估算:

模型规模 FP16/BF16 权重显存 INT8 理论权重显存 INT4 理论权重显存
1B 2GB 1GB 0.5GB
3B 6GB 3GB 1.5GB
7B 14GB 7GB 3.5GB
8B 16GB 8GB 4GB
14B 28GB 14GB 7GB
32B 64GB 32GB 16GB
70B 140GB 70GB 35GB
72B 144GB 72GB 36GB

这些数值只代表权重的理论占用,不是完整部署要求。

例如,70B 模型使用 INT4 量化,理论权重约占 35GB,但实际部署还要考虑量化元数据、KV Cache、上下文长度和推理框架开销。

2. 完整显存估算公式

可以使用以下公式进行初步评估:

M_{\text{total}} = M_{\text{weights}} + M_{\text{KV}} + M_{\text{activations}} + M_{\text{workspace}} + M_{\text{runtime}}

在工程规划中,还需要预留一定的显存空间:

M_{\text{GPU}} \geq \frac{M_{\text{total}}}{U}

其中:

  • M_{\text{GPU}}:GPU 可用显存。
  • M_{\text{total}}:预计实际使用显存。
  • U:目标显存利用率。

例如,假设预计需要 20GB 显存,目标利用率为 85%:

M_{\text{GPU}} \geq \frac{20}{0.85} \approx 23.53GB

因此,选择 24GB 显存的 GPU 可能比较接近需求,但仍需要通过实际压测确认是否留有足够余量。

3. 显存估算示例:70B 模型

假设部署一个 70B 模型:

  • 模型参数:70B。
  • 权重精度:INT4。
  • 权重理论占用:35GB。
  • KV Cache:根据上下文和并发估算为 12GB。
  • 其他运行开销:约 5GB。

那么:

M_{\text{total}} = 35+12+5=52GB

如果希望显存利用率控制在 85%:

M_{\text{GPU}} \geq \frac{52}{0.85} \approx 61.18GB

这意味着需要至少约 62GB 的可用显存容量。

实际还应考虑 GPU 显存是否被其他进程占用、量化实现和推理框架的内存分配策略。

五、量化:降低显存占用的关键技术

量化(Quantization)是将模型参数从高精度表示转换为低精度表示的技术。

它能够减少模型权重占用,并可能提升推理速度。

1. 常见量化精度

精度 位宽 特点
FP32 32 bit 精度较高,显存占用大
FP16 16 bit 常见 GPU 推理精度
BF16 16 bit 动态范围更大,适合部分模型
FP8 8 bit 兼顾计算效率与数值精度
INT8 8 bit 权重压缩明显,应用成熟
INT4 4 bit 显存节省明显,需关注精度损失
INT2 2 bit 压缩更激进,适用范围有限

2. 量化的基本原理

量化的核心思想是使用较少的比特数表示原本的高精度数值。

常见的线性量化形式:

q = \operatorname{round}\left(\frac{x}{s}\right)+z

其中:

  • x:原始浮点数。
  • s:缩放因子(Scale)。
  • z:零点(Zero Point)。
  • q:量化后的整数值。

反量化可以表示为:

\hat{x}=s(q-z)

量化后,模型使用较少的存储空间表示权重,但会产生一定的数值误差。

3. 常见量化方案

  • GPTQ:面向权重量化,通常使用校准数据降低量化误差。
  • AWQ:通过激活感知方式保护重要权重。
  • GGUF:常用于本地模型部署的模型文件格式,支持多种量化类型。
  • bitsandbytes:提供常见的 8-bit 和 4-bit 量化加载能力。
  • FP8:利用低精度浮点格式降低计算和存储成本。

需要注意,GGUF 是模型文件格式及相关量化生态,不应与 GPTQ、AWQ 这种量化算法简单视为同一概念。

4. 量化对部署的影响

影响维度 可能带来的变化
显存占用 明显降低
模型加载 通常更容易
推理速度 可能提升,也可能下降
输出质量 可能出现精度损失
硬件要求 取决于量化格式和 GPU 支持
算子支持 不同推理框架差异较大

量化不一定意味着推理速度必然提升。

如果 GPU 缺少对应低精度计算能力,或者量化算子实现不够高效,实际推理速度可能不升反降。

六、KV Cache 与长上下文部署

随着上下文长度增加,KV Cache 占用也会随之增长。

假设其他条件不变:

  • 上下文长度从 4K 增加到 8K,KV Cache 约增加一倍。
  • 从 8K 增加到 32K,KV Cache 约增加四倍。
  • 从 32K 增加到 128K,KV Cache 约增加四倍。

这也是为什么长上下文模型往往需要更大的显存容量。

1. GQA 与 MQA 对 KV Cache 的影响

不同 Attention 架构对 KV Cache 的占用存在明显差异。

  • MHA:每个 Query Head 通常拥有对应的 Key 和 Value Head。
  • GQA:多个 Query Head 共享一组 Key 和 Value Head。
  • MQA:所有 Query Head 共享一组 Key 和 Value Head。

KV Cache 占用与 KV Head 数量直接相关。

在其他参数相同的情况下,GQA 和 MQA 通常比 MHA 占用更少的 KV Cache 显存。

2. KV Cache 量化

KV Cache 本身也可以采用低精度存储。

例如:

  • FP16 KV Cache。
  • BF16 KV Cache。
  • INT8 KV Cache。
  • INT4 KV Cache。

降低 KV Cache 精度可以减少显存占用,但可能引入额外的量化误差。

实际部署需要根据模型质量要求和推理框架支持情况进行测试。

3. PagedAttention

PagedAttention 是一种用于高效管理 KV Cache 的技术。

传统 KV Cache 管理方式可能需要连续分配较大的显存空间,容易产生显存碎片。

PagedAttention 将 KV Cache 切分为固定大小的 Block,通过逻辑映射管理物理显存块。

它能够提高显存利用率,并改善动态请求和多请求并发场景下的内存管理效率。

flowchart TD
    A["用户请求进入"] --> B["分配逻辑 KV Block"]
    B --> C["映射到物理显存 Block"]
    C --> D["执行模型推理"]
    D --> E{"是否生成新 Token"}
    E -->|"是"| F["申请或复用 KV Block"]
    F --> G["更新 Block 映射"]
    G --> D
    E -->|"否"| H["释放请求占用的 Block"]
    H --> I["回收物理显存"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style F fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style G fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

七、单 GPU 与多 GPU 部署

当模型权重、KV Cache 和运行时开销超过单张 GPU 的可用显存时,就需要考虑多 GPU 部署。

1. 单 GPU 部署

单 GPU 部署是最简单的方式:

  • 模型权重全部放在一张 GPU 上。
  • KV Cache 在同一张 GPU 上管理。
  • 推理计算在同一张 GPU 上完成。

优点:

  • 架构简单。
  • GPU 通信开销低。
  • 部署和排障相对容易。
  • 适合中小型模型。

缺点:

  • 受到单卡显存限制。
  • 模型规模和并发能力受限。
  • 单卡故障会影响整个模型实例。

2. 张量并行(Tensor Parallelism)

张量并行将模型中的矩阵计算拆分到多张 GPU 上。

例如,将一个大的权重矩阵拆成多个部分,每张 GPU 负责其中一部分计算。

计算完成后,需要通过 GPU 互联进行结果同步。

flowchart TD
    A["输入 Hidden States"] --> B["张量并行计算"]
    B --> C["GPU 0 计算矩阵分片"]
    B --> D["GPU 1 计算矩阵分片"]
    B --> E["GPU 2 计算矩阵分片"]
    B --> F["GPU 3 计算矩阵分片"]
    C --> G["All-Reduce / All-Gather"]
    D --> G
    E --> G
    F --> G
    G --> H["合并计算结果"]
    H --> I["进入下一层"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

优点:

  • 可以降低单卡权重显存压力。
  • 适合单层计算量较大的模型。
  • 可以利用多张 GPU 的计算资源。

缺点:

  • 需要频繁进行 GPU 间通信。
  • 通信带宽不足会影响性能。
  • 多 GPU 拆分不一定带来线性加速。

3. 流水线并行(Pipeline Parallelism)

流水线并行按照模型层进行拆分。

例如,一个 32 层 Transformer 可以拆分成多个阶段:

  • GPU 0:第 1~8 层。
  • GPU 1:第 9~16 层。
  • GPU 2:第 17~24 层。
  • GPU 3:第 25~32 层。

数据按照层级顺序在 GPU 之间传递。

优点:

  • 能够分摊模型权重。
  • 适合层数较多的大模型。
  • 可以通过微批次提高 GPU 利用率。

缺点:

  • 存在流水线空闲时间。
  • 层间传输会产生通信开销。
  • 各阶段负载不均衡会降低整体效率。

4. 专家并行(Expert Parallelism)

专家并行主要用于 MoE(Mixture of Experts)模型。

MoE 模型包含多个专家网络,每个 Token 只会被路由到部分专家进行计算。

专家并行将不同专家放置在不同 GPU 上,利用多 GPU 分担专家参数和计算任务。

这种方式适合专家数量较多、模型参数规模较大的 MoE 架构。

但它需要处理 Token 路由、跨 GPU 数据交换和专家负载均衡问题。

5. 多 GPU 部署策略对比

并行方式 拆分对象 主要目的 主要挑战
数据并行 请求或数据批次 提高吞吐量 模型需要在多卡复制
张量并行 单层矩阵和张量 分摊单层计算与权重 通信频繁
流水线并行 Transformer 层 分摊模型层 流水线气泡
专家并行 MoE 专家 分摊专家计算 Token 路由与负载均衡

需要特别区分:

数据并行通常不会减少单个模型副本的权重显存占用,因为每张 GPU 都可能保存完整模型副本。

如果目标是让单个模型能够装入多张显存较小的 GPU,应重点考虑张量并行、流水线并行或适合模型架构的其他切分方案。

八、不同 GPU 配置如何选择?

部署 GPU 时,需要结合模型规模、量化方式、上下文长度、并发要求和预算进行选择。

1. 个人学习与本地实验

适合:

  • 轻量级模型。
  • 7B 级模型量化版本。
  • RAG 原型。
  • Agent 开发。
  • Prompt 调试和工具调用测试。

建议关注:

  • 12GB~24GB 显存。
  • 对常见推理框架的兼容性。
  • CUDA 或对应计算平台支持。
  • 本地模型加载和量化能力。

2. 开发与中小规模服务

适合:

  • 7B~14B 模型。
  • 量化模型部署。
  • 小规模并发请求。
  • 内部知识库问答。
  • 企业内部 Agent。

建议关注:

  • 24GB~48GB 显存。
  • 较高显存带宽。
  • 多请求调度能力。
  • 模型服务框架兼容性。
  • 运行时监控与故障恢复。

3. 企业级模型服务

适合:

  • 32B~70B 及更大规模模型。
  • 多用户并发访问。
  • 长上下文任务。
  • 多 Agent 工作流。
  • 高可用推理服务。

建议关注:

  • 80GB 级或更大显存配置。
  • 多 GPU 互联能力。
  • 高速网络。
  • 分布式推理框架。
  • 模型副本和负载均衡。
  • GPU 故障隔离与服务降级。

4. GPU 配置选择参考