一个数据包的丢失可能导致数千个GPU的训练进程同时停滞——AI数据中心对网络丢包的容忍度为零。VIAVI这份白皮书揭示了RoCEv2如何通过三层拥塞控制机制实现无损传输：ECN在数据路径上标记拥塞，CNP将信号传回发送端，DCQCN动态调整发送速率，PFC则作为最后防线防止缓冲区溢出。这套机制构成了AI网络的“免疫系统”，确保万亿参数模型训练不受网络波动干扰。
RoCEv2——AI数据中心的事实标准
RDMA如何消除CPU瓶颈
由于CPU处理和内核交互，传统的网络堆栈会引入显著延迟。远程直接内存访问（RDMA）通过在没有CPU参与的情况下在不同节点的内存之间实现直接数据传输，消除了这些瓶颈。这对于AI工作负载尤其有利，因为同步事件必须频繁、快速且延迟最小。
RoCEv2是数据中心最广泛采用的RDMA协议。它通过标准以太网运行，并支持使用UDP封装跨第3层网络进行路由。这种灵活性允许AI工作负载跨大型、多机架甚至多站点部署进行扩展。自2014年推出以来，RoCEv2因其低延迟、高带宽能力而被广泛应用于数据中心。
RoCEv2的拥塞控制架构
为了使RoCEv2有效运行，底层网络必须支持无损传输。这需要先进的拥塞管理协议：优先级流量控制（PFC）——当缓冲区已满时通过暂停每个优先级类别的流量来防止第2层数据包丢失；显式拥塞通知（ECN）——标记经历拥塞的数据包以便端点降低传输速率；数据中心量化拥塞通知（DCQCN）——一种拥塞控制算法，在拥塞时成倍降低传输速率，在拥塞解除时逐渐提高速率；拥塞通知数据包（CNP）——用于通知发送方自适应降低速率。
DCQCN——专为RoCEv2设计的拥塞控制算法
DCQCN的工作原理
DCQCN是专门为RoCEv2设计的拥塞控制算法，有助于防止网络拥塞和数据包丢失，同时在基于RDMA的网络中保持高吞吐量和低延迟。当发送方收到CNP时，它会成倍降低传输速率；如果一段时间内未检测到拥塞，发送方会逐渐增加其速率。
作为接收方，如果某个流的标记数据包到达，并且在最近N微秒内没有为该流发送CNP，则立即发送CNP。如果在该时间窗口内到达的任一数据包被设置了ECN标志位，接收方最多每N微秒为该流生成一个CNP数据包。
DCQCN的速率调整机制
作为发送方，自最近一次收到RoCEv2 CNP以来，当经过可配置的时间和/或已传输可配置的字节数时，发送方应提高注入速率。Alpha参数用于估计网络中的拥塞程度，并用于降低速率。
在速率降低阶段，如果收到CNP，OP速率降低。Alpha用于控制下降速率，直到达到最小速率，公式为：RC（当前速率）= RC × (1 - Alpha/2)（0 < Alpha < 2）。如果连续收到CNP，速率将降低到配置的最小速率。当最后一次减少后达到时间复位或字节复位阈值时，系统进入增加阶段，速率将增加到目标速率。
PFC与ECN——无损网络的“免疫系统”
PFC：优先级流量控制的逐跳机制
优先级流量控制（PFC）在第2层运行，基于IEEE 802.1Qbb。网络流量分为8个优先级（0-7），每个优先级都可独立控制。当交换机缓冲区接近溢出时（由Xoff阈值指示，表示特定优先级队列中的高缓冲区利用率），交换机发送PFC暂停帧，提醒上游端口暂停数据传输。一旦缓冲区使用率低于Xon阈值，交换机提示上游端口恢复流量。
每个PFC暂停帧包括一个针对每个优先级的2字节定时器值，指示流量应该暂停的持续时间。定时器以暂停量（pause quantum）为单位计量，取值范围为0到65535。Xon帧对已启用优先级的Time值为0，用于恢复该优先级的流量传输。
PFC与DCQCN的协同机制
PFC和DCQCN的结合使用优化了RDMA性能。DCQCN作为主要的拥塞管理机制，通过向端点发送数据路径上任何地方的拥塞信号，有效缓解了每个流的拥塞。PFC则通过减慢发送速率来有效管理拥塞，充当故障安全解决方案。
PFC在过载条件下提供微秒级响应以防止数据包丢失，确保无损网络。DCQCN使用基于速率的方法，根据从网络接收的ECN标记数据包调整每个队列对的传输速率。协议协同运作的方式是：PFC通过逐跳回压防止数据包丢失，而DCQCN通过端到端速率控制管理拥塞。两者相结合，即使在极端流量条件下也能保持RDMA网络的性能。
ECN与CNP的信号链路
ECN在IP报头中标记拥塞，接收端生成CNP通知发送端。这一信号链路构成了DCQCN速率调整的基础——发送端根据收到的CNP频率判断网络拥塞程度，动态调整发送速率。DCQCN作为主要拥塞管理机制，PFC则充当故障安全解决方案，两者共同构建了AI网络的“免疫系统”。
