返回专栏
· 24 分钟阅读

大模型部署的常见方式


一、什么是大模型部署?

大模型部署(LLM Deployment),是将训练完成或已经发布的模型,通过计算资源、推理引擎和服务接口转化为可供应用程序调用的服务的过程。

简单来说,模型部署解决三个核心问题:

  1. 模型在哪里运行? 本地设备、企业服务器、云服务器还是第三方模型平台。
  2. 模型如何提供服务? 本地推理接口、HTTP API、容器服务还是分布式推理集群。
  3. 模型如何稳定运行? 如何管理显存、并发、延迟、吞吐量、故障恢复和资源成本。

需要区分几个容易混淆的概念:

概念 含义
模型训练 使用数据和算法调整模型参数
模型微调 在已有模型基础上继续训练,使其适应特定任务
模型部署 将模型放到运行环境中,提供推理能力
模型推理 使用已经训练好的模型生成结果
模型服务化 将推理能力封装成可供其他系统调用的服务
模型托管 由平台或服务商负责模型运行和基础设施管理

模型部署不一定需要自己购买 GPU,也不一定需要自行管理推理框架。调用第三方大模型 API,同样属于使用已部署的模型服务。

二、大模型部署的整体架构

一个完整的大模型部署系统,通常包含模型文件、推理引擎、计算资源、服务接口和运维监控五个部分。

1. 核心组成

模型层(Model Layer)

负责提供模型权重和相关配置。

主要包括:

  • 模型权重文件。
  • 模型配置文件。
  • Tokenizer。
  • 模型架构定义。
  • 量化参数。
  • 模型版本信息。

推理层(Inference Engine)

负责执行模型前向计算。

主要功能:

  • 模型加载。
  • Tokenization。
  • Prefill。
  • Decode。
  • KV Cache 管理。
  • Batch 调度。
  • 显存管理。
  • 量化计算。

常见推理框架包括:

  • vLLM
  • SGLang
  • Hugging Face Transformers
  • TensorRT-LLM
  • llama.cpp
  • Ollama

计算资源层(Compute Layer)

负责提供模型运行所需的硬件资源。

主要包括:

  • CPU。
  • GPU。
  • NPU。
  • 显存。
  • 系统内存。
  • 高速存储。
  • GPU 互联网络。

服务层(Serving Layer)

负责将推理能力开放给上层应用。

主要包括:

  • HTTP API。
  • OpenAI 兼容接口。
  • 请求队列。
  • 并发控制。
  • 流式响应。
  • 身份认证。
  • 限流和负载均衡。

运维层(Operations Layer)

负责保障模型服务长期稳定运行。

主要包括:

  • 服务监控。
  • 日志管理。
  • 性能分析。
  • 模型版本管理。
  • 自动扩缩容。
  • 故障恢复。
  • 资源成本管理。

2. 大模型部署架构图

flowchart TB
    A["用户应用"] --> B["API Gateway"]
    B --> C["请求调度与负载均衡"]
    C --> D["模型服务层"]

    D --> E["推理引擎"]
    E --> F["模型加载与计算"]

    F --> G["模型权重"]
    F --> H["Tokenizer"]
    F --> I["KV Cache"]

    E --> J["GPU / CPU / NPU"]
    J --> K["计算与显存资源"]

    D --> L["流式响应"]
    L --> M["应用返回结果"]

    N["监控与日志系统"] -.-> D
    N -.-> E
    N -.-> J

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style J fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style K fill:#EAF3EC,stroke:#83A995,color:#315D49
    style L fill:#EAF3EC,stroke:#83A995,color:#315D49
    style M fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style N fill:#EAE8FA,stroke:#A49BD5,color:#51477D

3. 一次模型推理请求如何完成?

以一个本地部署的聊天模型为例:

flowchart TD
    A["接收用户请求"] --> B["Tokenizer 编码"]
    B --> C["构造模型输入"]
    C --> D["Prefill 阶段"]
    D --> E["生成首个 Token"]
    E --> F["Decode 阶段"]
    F --> G{"是否生成结束"}
    G -->|"否"| H["更新 KV Cache"]
    H --> F
    G -->|"是"| I["Tokenizer 解码"]
    I --> J["返回生成结果"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style H fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F

这里需要注意,模型部署并不是简单地将模型文件加载到显存中。真正影响服务性能的,还包括请求调度、批处理、KV Cache 管理和 GPU 计算效率。

三、方式一:调用云端大模型 API

云端 API 是最简单、最常见的大模型使用方式之一。

开发者不需要自行下载模型权重,也不需要购买和维护 GPU 服务器,只需要通过 HTTP 请求调用第三方模型服务。

1. 工作原理

flowchart TD
    A["业务应用"] --> B["构造 API 请求"]
    B --> C["身份认证"]
    C --> D["云端模型 API"]
    D --> E["模型推理集群"]
    E --> F["生成模型结果"]
    F --> G["API 返回响应"]
    G --> H["业务应用处理结果"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F

应用程序只负责发送请求,模型加载、GPU 调度、推理计算和底层运维都由服务商负责。

2. 典型调用方式

以 Python 调用 OpenAI 兼容接口为例:

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.example.com/v1"
)

response = client.chat.completions.create(
    model="example-model",
    messages=[
        {
            "role": "user",
            "content": "解释什么是大模型部署"
        }
    ],
    temperature=0.7
)

print(response.choices[0].message.content)

这里的域名和模型名称只是示例,实际使用时应替换成服务商提供的 API 地址和模型标识。

3. 优点

  • 无需自行配置 GPU。
  • 接入成本低。
  • 模型选择丰富。
  • 通常能够直接使用较大规模的模型。
  • 服务商负责模型运行和基础设施维护。
  • 容易快速扩展业务。

4. 缺点

  • 依赖外部网络。
  • 需要承担 API 调用费用。
  • 可能受到请求频率和 Token 配额限制。
  • 数据需要按照服务商的接口和数据政策进行处理。
  • 模型版本和服务策略可能发生变化。
  • 对底层推理过程的控制能力有限。

5. 适用场景

  • AI 应用快速开发。
  • 创业项目和 MVP。
  • 企业内部智能助手。
  • 低运维能力团队。
  • 不需要完全控制模型基础设施的业务。

常见服务包括 OpenAI API、Anthropic API、Google Gemini API,以及其他提供兼容接口的模型平台。

四、方式二:本地部署(Local Deployment)

本地部署是将模型下载到自己的设备或服务器中,在本地计算资源上执行推理。

本地部署不一定意味着只能在个人电脑上运行,也可以部署在企业内部服务器或局域网环境中。

1. 工作原理

flowchart TD
    A["下载模型文件"] --> B["准备本地运行环境"]
    B --> C["安装推理框架"]
    C --> D["加载模型权重"]
    D --> E["分配 CPU / GPU 内存"]
    E --> F["启动本地推理服务"]
    F --> G["本地应用发送请求"]
    G --> H["模型执行推理"]
    H --> I["返回生成结果"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

2. 常见本地部署工具

Ollama

适合个人开发者和本地模型体验。

特点:

  • 安装和启动简单。
  • 支持常见开源模型。
  • 提供本地 API。
  • 支持模型下载和管理。
  • 适合本地开发和轻量应用。

llama.cpp

适合 CPU、GPU 混合推理和量化模型部署。

特点:

  • 支持 GGUF 模型格式。
  • 支持多种硬件后端。
  • 可以在普通电脑上运行量化模型。
  • 支持 CPU 和部分 GPU 加速。
  • 适合资源受限环境。

Transformers

适合模型开发、实验和自定义推理。

特点:

  • 与 Hugging Face 生态集成。
  • 模型加载方式灵活。
  • 便于修改推理逻辑。
  • 支持大量模型架构。
  • 适合算法验证和二次开发。

3. 本地部署示例

使用 Ollama 的命令行工具:

# 下载模型
ollama pull qwen3

# 启动模型交互
ollama run qwen3

# 查看本地模型
ollama list

也可以通过本地 HTTP 接口调用模型:

import requests

response = requests.post(
    "http://localhost:11434/api/generate",
    json={
        "model": "qwen3",
        "prompt": "解释什么是本地大模型部署",
        "stream": False
    },
    timeout=120
)

print(response.json()["response"])

具体模型名称和接口参数应以本地安装版本的官方文档为准。

4. 优点

  • 模型数据可以保留在本地环境。
  • 不需要按 Token 向第三方模型服务付费。
  • 可以控制模型版本。
  • 可以定制推理参数。
  • 适合离线或网络受限环境。
  • 方便开发和调试。

5. 缺点

  • 需要准备计算资源。
  • 模型加载可能占用大量内存。
  • 大模型可能无法在普通设备上运行。
  • 并发能力取决于本地硬件。
  • 需要自行维护模型文件和运行环境。
  • 性能优化需要一定技术经验。

6. 适用场景

  • 个人学习和实验。
  • 本地 AI 开发环境。
  • 企业内部小规模应用。
  • 离线推理。
  • 对数据本地处理有要求的场景。

五、方式三:云服务器部署

云服务器部署是将模型放到云厂商提供的虚拟机或 GPU 实例上运行。

与直接调用云端模型 API 不同,云服务器部署通常由使用者自己管理模型、推理引擎和服务进程。

1. 工作原理

flowchart TD
    A["用户请求"] --> B["云端 API Gateway"]
    B --> C["云服务器"]
    C --> D["模型服务进程"]
    D --> E["推理框架"]
    E --> F["GPU 计算"]
    F --> G["模型生成结果"]
    G --> H["返回 API 响应"]

    I["模型存储"] --> D
    J["监控系统"] -.-> C
    J -.-> D

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style J fill:#EAE8FA,stroke:#A49BD5,color:#51477D

2. 部署步骤

通常包括:

  1. 选择云服务器实例。
  2. 配置 GPU 驱动和 CUDA 环境。
  3. 安装推理框架。
  4. 下载模型权重。
  5. 配置模型参数。
  6. 启动模型服务。
  7. 配置 API 和网络访问。
  8. 设置监控和安全策略。

3. 示例:使用 vLLM 启动模型

在具备兼容 GPU 环境的服务器上,可以使用 vLLM 启动模型服务。

vllm serve Qwen/Qwen3-8B \
  --host 0.0.0.0 \
  --port 8000

启动后,可以通过 OpenAI 兼容接口访问服务。

from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://localhost:8000/v1"
)

response = client.chat.completions.create(
    model="Qwen/Qwen3-8B",
    messages=[
        {
            "role": "user",
            "content": "介绍云服务器部署方式"
        }
    ]
)

print(response.choices[0].message.content)

这里的命令展示了基本启动方式。实际部署还需要根据模型要求配置显存、上下文长度、并发和网络访问策略。

4. 优点

  • 计算资源可以按需选择。
  • 不需要自行采购物理服务器。
  • 可以使用 GPU 实例。
  • 支持公网或私有网络访问。
  • 便于扩展存储和计算资源。
  • 能够自行控制模型推理服务。

5. 缺点

  • GPU 实例费用可能较高。
  • 需要管理操作系统和驱动。
  • 需要自行处理服务稳定性。
  • 网络和存储可能影响推理性能。
  • 资源利用率不高时会产生闲置成本。

6. 适用场景

  • 需要自主控制模型服务的企业。
  • 有一定运维能力的团队。
  • 需要长期运行模型 API 的业务。
  • 对模型版本和推理参数有定制要求的场景。

六、方式四:容器化部署

容器化部署是将模型推理服务、运行依赖和启动配置封装在容器镜像中,再通过容器运行环境启动服务。

Docker 是最常见的容器化工具之一。

容器化不是独立的计算资源类型,而是一种应用交付和运行方式。它可以运行在本地机器、云服务器或 Kubernetes 集群中。

1. 为什么需要容器化?

传统部署方式容易出现环境不一致:

  • 开发环境能够运行,生产环境无法启动。
  • Python 依赖版本不一致。
  • CUDA 或驱动配置不同。
  • 服务迁移困难。
  • 部署过程难以重复。

容器化可以把应用依赖和运行配置封装起来,提升环境一致性和部署效率。

2. 容器化部署架构

flowchart TD
    A["模型推理代码"] --> B["Dockerfile"]
    C["运行依赖"] --> B
    D["服务配置"] --> B
    B --> E["构建 Docker Image"]
    E --> F["镜像仓库"]
    F --> G["目标服务器"]
    G --> H["启动容器"]
    H --> I["加载模型"]
    I --> J["启动推理服务"]
    J --> K["对外提供 API"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F

3. Docker 部署示例

下面是一个简化的 Dockerfile:

FROM python:3.11-slim

WORKDIR /app

COPY requirements.txt .

RUN pip install --no-cache-dir -r requirements.txt

COPY . .

EXPOSE 8000

CMD ["python", "server.py"]

构建镜像:

docker build -t llm-service:1.0 .

启动容器:

docker run -d \
  --name llm-service \
  -p 8000:8000 \
  llm-service:1.0

如果推理服务需要使用 NVIDIA GPU,还需要配置支持 GPU 的容器运行环境,并确保宿主机驱动、容器运行时和 CUDA 相关依赖兼容。

4. 容器化部署的优点

  • 环境一致性好。
  • 部署过程可重复。
  • 便于版本管理。
  • 支持快速迁移。
  • 适合自动化部署。
  • 便于与 Kubernetes 集成。

5. 容器化部署的注意事项

模型权重可能达到数 GB 甚至更大,不建议在每次容器启动时都重新下载模型。

生产环境通常会:

  • 使用模型缓存卷。
  • 将模型存储在共享存储中。
  • 使用独立模型仓库。
  • 将应用镜像和模型文件分开管理。
  • 控制模型加载和容器启动时间。

七、方式五:Kubernetes 集群部署

当单台服务器无法满足模型服务的并发量、可用性或资源需求时,可以使用 Kubernetes 管理多个模型服务实例。

Kubernetes 本身并不负责模型推理,而是负责容器编排、资源调度、服务发现和故障恢复。

1. 核心架构

典型 Kubernetes 模型部署包括:

  • Deployment:管理模型服务副本。
  • Pod:承载推理服务容器。
  • Service:提供稳定访问入口。
  • Ingress:处理外部请求流量。
  • PersistentVolume:提供持久化存储。
  • ConfigMap:保存非敏感配置。
  • Secret:保存敏感配置。
  • HPA:根据指标进行自动扩缩容。

2. Kubernetes 部署架构

flowchart TB
    A["用户请求"] --> B["Ingress"]
    B --> C["Kubernetes Service"]
    C --> D["负载均衡"]

    D --> E["Pod 1"]
    D --> F["Pod 2"]
    D --> G["Pod 3"]

    E --> H["推理引擎"]
    F --> I["推理引擎"]
    G --> J["推理引擎"]

    H --> K["GPU 节点"]
    I --> L["GPU 节点"]
    J --> M["GPU 节点"]

    N["HPA"] --> D
    O["监控系统"] -.-> E
    O -.-> F
    O -.-> G

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style E fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style F fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style G fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#EAF3EC,stroke:#83A995,color:#315D49
    style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style L fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style M fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style N fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style O fill:#F7F4E8,stroke:#C7B77A,color:#675A2D

3. Kubernetes 部署示例

下面是一个简化的 Deployment 配置:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: llm-service
spec:
  replicas: 2
  selector:
    matchLabels:
      app: llm-service
  template:
    metadata:
      labels:
        app: llm-service
    spec:
      containers:
        - name: llm
          image: llm-service:1.0
          ports:
            - containerPort: 8000
          resources:
            limits:
              nvidia.com/gpu: 1

该配置假设集群已经安装并正确配置 NVIDIA GPU 设备插件或相应的资源暴露机制。

生产环境还需要配置:

  • GPU 节点标签与调度约束。
  • Readiness Probe。
  • Liveness Probe。
  • 资源请求与限制。
  • 模型权重挂载。
  • 服务滚动更新策略。
  • 节点故障处理。
  • GPU 资源监控。

4. 优点

  • 支持多实例部署。
  • 支持服务发现和负载均衡。
  • 能够自动恢复异常容器。
  • 支持弹性扩缩容。
  • 便于统一管理多个模型服务。
  • 适合大型企业级系统。

5. 缺点

  • 架构复杂度较高。
  • GPU 调度需要额外配置。
  • 模型启动和加载需要时间。
  • 资源管理和监控要求较高。
  • 不适合所有小型项目。

八、方式六:多 GPU 与分布式部署

当模型规模过大,单张 GPU 无法容纳完整模型,或者单卡吞吐量无法满足业务需求时,需要使用多 GPU 或分布式推理。

这里需要区分两个目标:

  1. 模型规模扩展: 将一个模型拆分到多张 GPU 上,使模型能够运行。
  2. 推理吞吐扩展: 使用多张 GPU 或多个实例提高整体处理能力。

两者的技术方案并不完全相同。

1. 数据并行(Data Parallelism)

数据并行的核心思想是:多个 GPU 或 GPU 组分别处理不同的请求或输入数据。

在模型推理服务中,可以通过多个模型副本处理不同用户请求。

flowchart TD
    A["请求入口"] --> B["请求调度器"]
    B --> C["GPU 1 模型副本"]
    B --> D["GPU 2 模型副本"]
    B --> E["GPU 3 模型副本"]

    C --> F["结果汇总"]
    D --> F
    E --> F

    F --> G["返回用户"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F

优点:

  • 请求之间可以独立处理。
  • 适合提升并发吞吐量。
  • 单个请求的跨卡通信开销较低。
  • 可以通过增加模型副本扩展服务能力。

缺点:

  • 每个模型副本通常需要一份模型权重。
  • 显存占用可能较高。
  • 需要请求调度和负载均衡。
  • 无法直接解决单个模型无法装入单卡的问题。

2. 张量并行(Tensor Parallelism)

张量并行是将模型中的矩阵计算拆分到多张 GPU 上。

例如,一个线性层的权重矩阵可以按照列或行拆分,由不同 GPU 分别计算。

假设一个矩阵为:

W \in \mathbb{R}^{m \times n}

使用两张 GPU 进行列切分:

W= \begin{bmatrix} W_1 & W_2 \end{bmatrix}

每张 GPU 负责部分矩阵计算,之后根据计算方式进行必要的结果通信和合并。

示意图:

flowchart TD
    A["输入张量"] --> B["张量并行调度"]
    B --> C["GPU 1 计算 W1"]
    B --> D["GPU 2 计算 W2"]
    C --> E["通信与结果合并"]
    D --> E
    E --> F["输出张量"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F

优点:

  • 可以分摊模型参数和部分计算。
  • 有助于运行单卡无法容纳的模型。
  • 能够利用多张 GPU 的计算能力。

缺点:

  • GPU 之间需要频繁通信。
  • 对互联带宽和通信延迟敏感。
  • 配置和调优复杂。
  • GPU 数量增加不一定带来线性性能提升。

常见通信技术包括 NVIDIA NVLink、PCIe 和 InfiniBand 等。

3. 流水线并行(Pipeline Parallelism)

流水线并行将模型的不同层分配给不同 GPU。

例如:

  • GPU 1 运行模型前半部分。
  • GPU 2 运行模型中间部分。
  • GPU 3 运行模型后半部分。