申万宏源报告指出,Scale-up是算力系统扩容的重要维度,追求硬件的紧密耦合和高带宽通信。英伟达NVLink 5.0带宽达1800GB/s,华为通过两层UBSwitch实现384个NPU全互联,AMD IF128探索以太网Scale-up新路径。超节点内主流通信方案为铜连接与电气信号,跨机柜则引入光通信。本文基于报告数据,深入分析Scale-up算力网络的技术演进与产业影响。
Scale-up核心——内存语义网络,带宽远超Scale-out
Scale-up本质上支持内存语义的网络,在节点范围内实现内存语义级通信和总线域网络内部的内存共享,本质上是一个显存的Load-Store网络,性能和延迟均优于传统网络协议。一般Scale-up网络是GPU芯片直出互连,不采用传统网络的传输层和网络层,采用信用机制流量控制、链路层重传等机制保障可靠性。
Scale-up技术带宽:英伟达NVLink 5.0达1800GB/s,华为HCCS为392GB/s,AMD xGMI为896GB/s。而Scale-out以800G光模块为例,对应100GB/s带宽,差距显著。Scale-up场景适配张量并行、专家并行等高频交互、内存读写是重点的工作负载。
英伟达NVLink——单层NVSwitch实现72卡全互联
GB200NVL72中72个B200 GPU分布于18个Compute Tray,18个NVSwitch交换机芯片分布于9个Switch Tray。72个GPU通过盲插高速背板(铜线为主)实现Scale-up,每个B200对超节点内其他71个GPU通信带宽均达1800GB/s。单层Clos拓扑使GPU间形成无阻塞全互联,通信带宽弹性较大。
上代Scale-up规模为8卡,英伟达将交换芯片引入Scale-up(Clos拓扑),使通信压力集中于NVSwitch,GPU间形成无阻塞全互联。当前英伟达除了将NVLink性能迭代作为重要更新之外,还以NVLink Fusion IP授权的形式对第三方部分开放了NVLink机柜级架构互联。
华为UB网络——两层UBSwitch实现384卡全互联
华为CloudMatrix384通过两层UB Switch实现Scale-up。第一层UB网络实现8张NPU服务器内全互联,第二层UB网络实现48个小节点的无收敛全互联。L2交换机被划分为7个独立子平面,每个L1交换芯片精确连接到对应子平面的所有L2交换机,保证从任何节点到L2交换矩阵的上行总带宽与其内部UB容量完全匹配。
实测节点间带宽衰减低于3%,延迟增加低于1μs,证明两层UB网络工程可行性。CloudMatrix384可理解为超大规模、紧密耦合的超节点,弥补国产单卡性能短板。UB网络包含三大通路:UB平面(Scale-up)、RDMA平面(Scale-out)、VPC平面(外部通信)。
AMD IF128——以太网Scale-up新路径
AMD将在26H2推出搭载128个MI450X的超节点产品,采用IFoE(Infinity Fabric over Ethernet)连接,可以理解为基于以太网技术打造了新的超节点互联方式,对标UB网络及NVLink,一定程度打破Scale-up和Scale-out界限。
与NVL72类似,4个MI450X与1个EPYC CPU组成1U的Compute Tray,32个Compute Tray分布于2个机柜中,由Switch Tray中的定制IFoE交换芯片实现互联,两个机柜通过铜背板连接。在当前大模型和超节点趋势下,Scale-up的技术路径将受到工程、通信协议优化等因素影响。
特斯拉Dojo——2D Mesh拓扑的启示与局限
Dojo从芯片到网络均为全定制,采用2D Mesh拓扑结构。优势在于局部通信高效,适合视频等视觉训练数据;但2D Mesh的固定拓扑结构在MoE模型All-to-All通信时受“木桶效应”拖累,导致集群效率降低。Dojo封闭生态和2D Mesh拓扑为重要掣肘,到24年底训练能力仅约等于8000张H100。工程问题同样突出,单机柜计算部分功率超180kW(NVL72整体145kW),对供电及液冷需求极高。