NVLink、NVSwitch 等互连技术,通过更高的带宽和更低的延迟,为多 GPU 系统提供更高的性能和效率,支持 GPU 之间的高速数据传输和协同工作,提高通信速度,加速计算过程等。NVLink 用于连接多个 GPU 之间或连接 GPU 与其他设备(如 CPU、内存等)之间的通信,它允许 GPU 之间以点对点方式进行通信,具有比传统的 PCIe 总线更高的带宽和更低的延迟。NVSwitch 实现单服务器中多个 GPU 之间的全连接,允许单个服务器节点中多达 16 个GPU 实现全互联,每个 GPU 都可以与其他 GPU 直接通信,无需通过 CPU 或其他中介。经过多年演进,NVLink 技术已升级到第 5 代,NVLink 5.0 数据传输速率达到 100GB/s,每个Blackwell GPU 有 18 个 NVLink 连接,Blackwell GPU 将提供 1.8TB/s 的总带宽,是 PCIe Gen5 总线带宽的 14 倍;NVSwitch 也升级到了第四代,每个 NVSwitch 支持 144 个 NVLink 端口,无阻塞交换容量为 14.4TB/s。