GPU通信方式 | Extious’ Notes

单机多卡

GPU Direct

GPU Direct 是 NVIDIA 开发的一项技术，可实现 GPU 与其他设备（例如网络接口卡 (NIC) 和存储设备）之间的直接通信和数据传输，而不涉及 CPU。

GPUDirect Storge

GPUDirect Storage 允许存储设备和 GPU 之间进行直接数据传输，绕过 CPU，减少数据传输的延迟和 CPU 开销。

通过 GPUDirect Storage，GPU 可以直接从存储设备（如固态硬盘（SSD）或非易失性内存扩展（NVMe）驱动器）访问数据，而无需将数据先复制到 CPU 的内存中。这种直接访问能够实现更快的数据传输速度，并更高效地利用 GPU 资源。

NVMe 全称 Non-Volatile Memory Express，中文译为非易失性内存主机控制器接口规范。它是一种专为闪存和下一代固态硬盘（SSD）设计的高性能存储协议。NVMe 允许 SSD 直接通过 PCIe 总线与 CPU 通信，绕过了传统 SATA 接口的瓶颈，大幅提升数据读写速度。

闪存（Flash Memory）是一种非易失性（Non-Volatile）的计算机存储芯片, 闪存主要分为两种类型： • NAND Flash（与非闪存）： 容量大、成本低、擦写速度快，但可靠性相对较低，主要用于大容量存储设备，如固态硬盘（SSD）、U盘、存储卡等。 • NOR Flash（或非闪存）： 容量较小、成本较高、擦写速度较慢，但可靠性高，可以直接执行代码（XIP, Execute In Place），主要用于存储启动代码、固件等，常见于嵌入式系统、手机等设备。

SATA，全称 Serial ATA（Serial Advanced Technology Attachment），中文译为串行高级技术附件，是一种计算机总线接口，主要用于连接主机系统（如计算机主板）与存储设备（如硬盘、光驱）。

GPUDirect RDMA

GPUDirect P2P

GPUDirect 视频

参考文章

聊透 GPU 通信技术——GPU Direct、NVLink、RDMA - 又拍云 - 博客园

最近人工智能大火，AI 应用所涉及的技术能力包括语音、图像、视频、NLP 等多方面，而这些都需要强大的计算资源支持。AI 技术对算力的需求是非常庞大的，虽然 GPU 的计算能力在持续提升，但是对于 AI 来说，单卡的计算能力就算再强，也是有极限的，这就需要多 GPU 组合。而 GPU 多卡的组合，主

https://www.cnblogs.com/upyun/p/17679500.html

单机多卡通信

GPUDirect P2P

GPUDirect P2P (Peer-to-Peer) 允许同一台服务器上的不同 GPU 之间直接进行数据传输，而无需通过 CPU 或系统内存。这显著减少了数据传输的延迟和 CPU 的开销，是单机多卡通信中最常用的优化技术。

NVLink

NVLink 是 NVIDIA 推出的一种高速互联技术，用于 GPU 之间以及 GPU 与 CPU 之间的直接连接。它提供了比 PCIe 更高的带宽和更低的延迟，特别适用于多 GPU 系统中的数据密集型任务，如深度学习训练。

多机多卡通信

GPUDirect RDMA

GPUDirect RDMA 允许 GPU 直接与支持 RDMA 的网络适配器（如 InfiniBand 或 RoCE 网卡）进行数据传输，而无需通过 CPU 或系统内存。这使得多机多卡系统中的 GPU 之间能够进行高速、低延迟的直接通信，是构建大规模分布式深度学习集群的关键技术。

GPUDirect Storage

GPUDirect Storage 允许 GPU 直接从存储设备（如 NVMe SSD）读取数据，绕过 CPU 和系统内存。这对于需要处理大量数据的应用（如数据分析、AI训练）来说，可以显著提高数据加载速度和整体性能。