Extious’ Notes

Computer Network

Fri, 25 Oct 2024 00:00:00 GMT

WebSocket

NCCL通信

Thu, 21 Nov 2024 00:00:00 GMT

集体通信原语

原语介绍

Broadcast

初始：只有GPU0上有数据

GPU0将DATA广播到GPU0, GPU1, GPU2, GPU3.

最终：每个GPU数据一样

Scatter

初始：只有GPU0上有数据

GPU0将DATA分片再分发给GPU0, GPU1, GPU2, GPU3.

最终：每个GPU数据不一样

Gather

Scatter的反向操作

初始：每个GPU上有不同的数据

GPU0将GPU0, GPU1, GPU2, GPU3.的数据收回

最终：GPU0有完整的数据

All-Gather

Gather + Broadcast

初始：每个GPU上有不同的数据

最终：每个GPU有完整的数据

Reduce

初始：每个GPU上有不同的数据

将所有GPU的数据进行规约（求和，求积，矩阵运算等不改变维度）计算，将结果归于主节点GPU0（或其他GPU）

最终：GPU0（或其他单个GPU）有规约后的结果

All-Reduce

Reduce + Broadcast

或者ReduceScatter + AllGather

初始：每个GPU上有不同的数据

最终：每个GPU有规约后的结果

Reduce-Scatter

初始：每个GPU有不同的数据

中间步骤：每个GPU上的数据分维度进行规约操作，然后不同维度Scatter分发到不同GPU上

最终：每个GPU上有不同维度的规约之后的操作

All-to-All

Gather-Scatter

初始：每个GPU上有不同的数据

中间步骤：每个GPU上的数据分维度进行Gather操作，然后将不同维度Gather在一起的数据Scatter分发到不同的GPU上

最终：每个GPU上有不同维度合并的数据（注意：不是规约中的SUM）

原语实现细节

NCCL通常使用一个或多个环形拓扑，来实现上述通信原语，能够得到最大化的带宽利用率。在nccl-test工具中，默认拓扑就是Ring。

Broadcast

数据传输流程：GPU0→GPU1→GPU2→GPU3

优化：分块传输可提高最终速度

All-Reduce

初始：每个GPU都有不同的数据（维度相同，数据不同）

步骤一：多个step进行，每个step都有两个GPU之间进行一个维度的Reduce操作

中间结果：步骤一多个step之后，每个GPU都有一个维度的数据是Reduce之后。

步骤二：每个GPU将Reduce之后的维度的数据Broadcast到其他GPU上

最终：每个GPU都有不同维度Reduce之后的结果（完全相同）

All-Gather

初始：每个GPU都有不同的数据

中间步骤：多个step，每个step都有GPU中间数据的tranfer

最终，每个GPU都有完整的数据

并行方式

数据并行（DP）

训练场景

每个 GPU 都运行相同的模型代码，而数据集被拆分为多份分配给不同的 GPU 进行训练。每轮迭代完成后，需要通过 AllReduce 操作进行同步。 AllReduce = ReduceScatter + AllGather

或者AllReduce = Reduce + Broadcast

初始：模型参数分散在各个GPU上

步骤一：All-Gather操作让每个GPU上有完整的模型参数

步骤二：每个GPU（模型）上针对不同数据进行Forward Pass

步骤三：每个GPU（模型）针对本地Backward Pass进行更新

步骤四：针对所有GPU做All-Reduce操作，进行梯度累计更

张量并行（TP）

利用多头注意力机制进行张量并行操作，每个头计算独立分配到不同的GPU上，通过All-Reduce操作同步矩阵乘法结果。

流水线并行（PP）

将模型的多个层（stage）分在不同的GPU上，通过点对点通信

序列并行（SP）

专家并行（）

参考文章

Collective Operations — NCCL 2.23.4 documentation

Collective operations have to be called for each rank (hence CUDA device), using the same count and the same datatype, to form a complete collective operation. Failure to do so will result in undefined behavior, including hangs, crashes, or data corruption.

https://docs.nvidia.com/deeplearning/nccl/user-guide/docs/usage/collectives.html

一文讲清 NCCL 集合通信原理与优化 - 极术社区 - 连接开发者与智能计算生态

大模型分布式训练往往需要上千乃至上万 GPU 卡进行超大规模并行训练，是典型的计算密集型和通信密集型场景。

https://aijishu.com/a/1060000000483892

专家并行 (Mixture of Experts, MoE)

MoE是一种模型架构，它将模型分为多个“专家”网络，每个专家专注于处理特定类型的输入。一个门控网络（Gating Network）会根据输入动态地决定激活哪个或哪些专家。这种方式允许模型规模变得非常大，但每次前向传播时只使用其中的一小部分计算资源，从而在不显著增加计算成本的情况下提升模型容量和性能。

AI

Sat, 30 Nov 2024 00:00:00 GMT

Agent

Transformer

RAG

Deep Learning

NCCL

Tue, 03 Dec 2024 00:00:00 GMT

NCCL通信

nccl-test

NVIDIA Collective Communications Library (NCCL)

NCCL 是 NVIDIA 开发的一个高性能库，旨在为多 GPU 和多节点环境中的深度学习框架提供优化的集合通信原语。它通过利用 NVIDIA GPU 的高速互联技术（如 NVLink）和高效的通信算法，显著加速了分布式训练的性能。

NCCL 提供了多种集合通信操作，包括：

All-Reduce: 所有参与者贡献数据，并接收所有数据的规约结果。

All-Gather: 所有参与者贡献数据，并接收所有数据的完整集合。

Reduce-Scatter: 所有参与者贡献数据，并接收部分规约结果。

Broadcast: 一个根节点将数据发送给所有其他参与者。

这些操作是分布式深度学习训练中梯度同步和数据分发的核心。

nccl-test

Tue, 03 Dec 2024 00:00:00 GMT

参考文章

zhuanlan.zhihu.com

https://zhuanlan.zhihu.com/p/682530828#:~:text=NCCL%E6%B5%8B%E8%AF%95%E4%BE%9D%E8%B5%96%E4%BA%8EMPI%E4%BB%A5%E5%9C%A8%E5%A4%9A%E4%B8%AA%E8%BF%9B%E7%A8%8B%E5%92%8C%E5%A4%9A%E4%B8%AA%E8%8A%82%E7%82%B9%E4%B8%8A%E5%B7%A5%E4%BD%9C%E3%80%82%20%E5%A6%82%E6%9E%9C%E4%BD%A0%E6%83%B3%E4%BD%BF%E7%94%A8MPI%E6%94%AF%E6%8C%81%E7%BC%96%E8%AF%91%E8%BF%99%E4%BA%9B%E6%B5%8B%E8%AF%95%EF%BC%8C%E9%9C%80%E8%A6%81%E5%B0%86%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8FMPI%E8%AE%BE%E7%BD%AE%E4%B8%BA1%EF%BC%8C%E5%B9%B6%E5%B0%86MPI_HOME%E8%AE%BE%E7%BD%AE%E4%B8%BAMPI%E5%AE%89%E8%A3%85%E7%9A%84%E8%B7%AF%E5%BE%84%E3%80%82%20cd%20nccl-tests,%23%20%E7%BC%96%E8%AF%91%E6%94%AF%E6%8C%81mpi%E7%9A%84test%20%E6%88%90%E5%8A%9F%E5%90%8E%E4%BC%9A%E5%9C%A8build%E7%9B%AE%E5%BD%95%E4%B8%8B%E7%94%9F%E6%88%90%E5%8F%AF%E6%89%A7%E8%A1%8C%E6%96%87%E4%BB%B6%20NCCL%E6%B5%8B%E8%AF%95%E5%8F%AF%E4%BB%A5%E5%9C%A8%E5%A4%9A%E4%B8%AA%E8%BF%9B%E7%A8%8B%E3%80%81%E5%A4%9A%E4%B8%AA%E7%BA%BF%E7%A8%8B%E5%92%8C%E6%AF%8F%E4%B8%AA%E7%BA%BF%E7%A8%8B%E4%B8%8A%E7%9A%84%E5%A4%9A%E4%B8%AACUDA%E8%AE%BE%E5%A4%87%E4%B8%8A%E8%BF%90%E8%A1%8C%E3%80%82

nccl-test 工具介绍

nccl-tests 是 NVIDIA 官方提供的一套用于测试和基准化 NCCL 性能的工具集。它包含了针对各种集合通信原语（如 All-Reduce, All-Gather, Broadcast 等）的测试程序，可以帮助用户评估多 GPU 或多节点环境下的通信带宽和延迟。

基本使用示例

编译 nccl-tests (通常在 NCCL 源码目录下):

运行 All-Reduce 测试 (例如，测试 2个GPU，数据大小为 8M):

运行 All-Gather 测试 (例如，测试 4个GPU，数据大小为 16M):

更多选项和测试类型，请参考 nccl-tests 的官方文档或运行程序时使用 --help 参数。

GPU通信方式

Wed, 04 Dec 2024 00:00:00 GMT

单机多卡

GPU Direct

GPU Direct 是 NVIDIA 开发的一项技术，可实现 GPU 与其他设备（例如网络接口卡 (NIC) 和存储设备）之间的直接通信和数据传输，而不涉及 CPU。

GPUDirect Storge

GPUDirect Storage 允许存储设备和 GPU 之间进行直接数据传输，绕过 CPU，减少数据传输的延迟和 CPU 开销。

通过 GPUDirect Storage，GPU 可以直接从存储设备（如固态硬盘（SSD）或非易失性内存扩展（NVMe）驱动器）访问数据，而无需将数据先复制到 CPU 的内存中。这种直接访问能够实现更快的数据传输速度，并更高效地利用 GPU 资源。

NVMe 全称 Non-Volatile Memory Express，中文译为非易失性内存主机控制器接口规范。它是一种专为闪存和下一代固态硬盘（SSD）设计的高性能存储协议。NVMe 允许 SSD 直接通过 PCIe 总线与 CPU 通信，绕过了传统 SATA 接口的瓶颈，大幅提升数据读写速度。

闪存（Flash Memory）是一种非易失性（Non-Volatile）的计算机存储芯片, 闪存主要分为两种类型： • NAND Flash（与非闪存）： 容量大、成本低、擦写速度快，但可靠性相对较低，主要用于大容量存储设备，如固态硬盘（SSD）、U盘、存储卡等。 • NOR Flash（或非闪存）： 容量较小、成本较高、擦写速度较慢，但可靠性高，可以直接执行代码（XIP, Execute In Place），主要用于存储启动代码、固件等，常见于嵌入式系统、手机等设备。

SATA，全称 Serial ATA（Serial Advanced Technology Attachment），中文译为串行高级技术附件，是一种计算机总线接口，主要用于连接主机系统（如计算机主板）与存储设备（如硬盘、光驱）。

GPUDirect RDMA

GPUDirect P2P

GPUDirect 视频

参考文章

聊透 GPU 通信技术——GPU Direct、NVLink、RDMA - 又拍云 - 博客园

最近人工智能大火，AI 应用所涉及的技术能力包括语音、图像、视频、NLP 等多方面，而这些都需要强大的计算资源支持。AI 技术对算力的需求是非常庞大的，虽然 GPU 的计算能力在持续提升，但是对于 AI 来说，单卡的计算能力就算再强，也是有极限的，这就需要多 GPU 组合。而 GPU 多卡的组合，主

https://www.cnblogs.com/upyun/p/17679500.html

单机多卡通信

GPUDirect P2P

GPUDirect P2P (Peer-to-Peer) 允许同一台服务器上的不同 GPU 之间直接进行数据传输，而无需通过 CPU 或系统内存。这显著减少了数据传输的延迟和 CPU 的开销，是单机多卡通信中最常用的优化技术。

NVLink

NVLink 是 NVIDIA 推出的一种高速互联技术，用于 GPU 之间以及 GPU 与 CPU 之间的直接连接。它提供了比 PCIe 更高的带宽和更低的延迟，特别适用于多 GPU 系统中的数据密集型任务，如深度学习训练。

多机多卡通信

GPUDirect RDMA

GPUDirect RDMA 允许 GPU 直接与支持 RDMA 的网络适配器（如 InfiniBand 或 RoCE 网卡）进行数据传输，而无需通过 CPU 或系统内存。这使得多机多卡系统中的 GPU 之间能够进行高速、低延迟的直接通信，是构建大规模分布式深度学习集群的关键技术。

GPUDirect Storage

GPUDirect Storage 允许 GPU 直接从存储设备（如 NVMe SSD）读取数据，绕过 CPU 和系统内存。这对于需要处理大量数据的应用（如数据分析、AI训练）来说，可以显著提高数据加载速度和整体性能。