返回顶部
返回首页 会员充值 我的足迹 返回上一页
具身智能
情绪经济
商业航天
十五五
银发经济

亚马逊Trainium2互联

亚马逊自研AI芯片Trainium2的互联方案是理解AEC在云厂部署的典型案例。东吴证券报告详细拆解了Trn2-Ultra64超级服务器的Scale Up网络架构:4台16卡Trn2服务器通过AEC实现柜间3D Torus互联,每颗Trainium2芯片配套1条AEC,芯片与AEC配比达1:1,单卡Scale Up带宽5120Gb/s(单向640GB/s)。报告指出,AEC与ASIC的兴起有相关性而非因果性,其底层逻辑是云厂自研ASIC使计算与通信解耦,云厂可以自主选择AEC而非英伟达DGX的DAC或光连接方案。

亚马逊Trainium2互联方案中的AEC部署逻辑

Trn2-Ultra64:4台服务器AEC柜间互联,芯片配比1:1

Trn2服务器中每个Compute Tray含2枚Trainium2芯片,8个托盘共16枚芯片。4台Trn2服务器在两个机位上2×2叠放组成Trn2-Ultra64超级服务器。托盘内两枚芯片通过PCB互联;服务器内通过DAC互联;柜间每颗芯片通过2条AEC与相邻服务器中两颗芯片相连,沿Z轴形成3D环绕连接链,实现64颗芯片全互联。Scale Up网络中Trainium2芯片与AEC配比为1:1,单卡带宽5120Gb/s。

ASIC兴起推动计算与通信解耦,AEC获得独立发展空间

英伟达DGX产品将算力与通信产品耦合——GB200 NVL72主要使用DAC做Scale Up连接,GH200 NVL256主要使用光连接。当云厂使用自研ASIC时,计算与通信天然解耦,云厂可以自行选择搭建网络的方式,包括Scale Up网络中使用AEC。同时,当云厂可以拿到充足的HGX等算力模块时,英伟达“计算+通信”一体方案也随之解耦。计算与通信的解耦不仅发生在ASIC上,AEC获得了独立于英伟达方案之外的发展空间。

AEC向柜内渗透的配比测算:B200需4.5支1.6T,Trainium2需3支800G

若AEC向柜内渗透替代DAC:GB200 NVL72中,单枚B200 NVLink带宽单向900GB/s(7200Gb/s),以等效1.6T计,一枚B200需约4.5支1.6T AEC。若Trn2-Ultra64柜内换用AEC,单枚Trainium2带宽5120Gb/s,以等效800G计,一枚芯片需约3支800G AEC。若AEC参与ToR层连接(服务器网卡到交换机),和算力卡配比为1:1。决定配比的关键因素为单卡带宽及交换机层数。
表4:亚马逊Trainium2互联方案核心参数
参数数值
超服务器总GPU数64颗Trainium2
单卡Scale Up带宽5120Gb/s(单向640GB/s)
柜间互联方式AEC(3D Torus)
芯片与AEC配比1:1
柜内互联方式DAC
托盘内互联方式PCB
点击阅读报告原文: 【东吴证券】AI算力跟踪深度:辨析Scale Out与Scale Up——AEC在光铜互联夹缝中挤出市场的What、Why、How-250106(33页)
相关报告