返回顶部
返回首页 会员充值 我的足迹 返回上一页
具身智能
情绪经济
商业航天
十五五
银发经济

CXL内存扩展技术

国海证券指出,CXL(Compute Express Link)正成为AI推理时代的关键内存扩展技术。CXL 3.0引入内存共享,使多个主机同时访问同一内存区域。AI推理产生的KV Cache内存需求极高,CXL使GPU通过共享内存池访问大规模KV Cache,大幅提升推理性能。CXL互连芯片市场预计2030年达17亿美元,2025-2030年CAGR高达170%。

CXL技术演进——从内存池化到内存共享

CXL是基于PCIe协议的高速互连技术,专为CPU与各种外围设备高速数据通信设计,通过内存共享和扩展提升系统性能和效率。CXL 1.0/1.1(2019年)支持Type 1/2/3设备,最大链路速率32GT/s。CXL 2.0(2020年)引入内存池化(MLDs)和单级交换。CXL 3.0(2022年)是重大升级——除内存池化外引入内存共享概念,使用硬件一致性使CXL内存能够在主机间实现一致共享,允许多个主机同时访问给定内存区域并确保每个主机看到最新数据。同时支持64GT/s速率、多级交换、256字节FLIT模式,使系统能够构建机器集群通过共享内存结构解决大型问题。

CXL在AI推理中的核心价值——解决KV Cache内存墙

AI推理模型响应的效率和速度取决于计算次数,LLM服务系统为避免重新计算之前处理过的已标记注意力值,将键值对存储在KV Cache中,内存需求极高。据Astera Labs官网,Leo CXL内存为KV Cache存储提供高性能层级:高效的GPU卸载(CXL-CPU互连数据传输与CPU-GPU相当)、吞吐量提升与稳定性能、显著降低基础设施成本、增强并发处理(每台服务器支持多2X个并发LLM实例)。

Beluga架构——CXL vs RDMA的颠覆性性能提升

据《Beluga: A CXL-Based Memory Architecture for Scalable and Efficient LLM KVCache Management》,LLM规模迅速扩大以及对上下文推理需求增长,使内存成为GPU加速LLM服务中的核心瓶颈。GPU的HBM容量有限,必须依赖主机内存(CPU DRAM)支持大型KV Cache。DRAM最大容量受限于CPU插槽内存通道数量。当前系统通常采用基于RDMA的分散内存池,但带来高访问延迟、复杂通信协议和同步开销。Beluga内存架构使GPU和CPU通过CXL交换机访问共享大规模内存池,支持CXL结构上原生加载/存储访问语义,提供近乎本地内存延迟、降低编程复杂度、最大限度减少同步开销。与RDMA方案相比,Beluga-K在adikM中实现TTFT减少89.6%,吞吐量提高7.35倍。

CXL性能验证——HPC/AI工作负载带宽提升24%

据《Optimizing System Memory Bandwidth with Micron CXL Memory Expansion Modules on Intel Xeon 6 Processors》研究,使用8个CXL E3.S(x8)美光CZ122设备在Intel Xeon 6处理器6900P上进行真实数据实验,该处理器具有128个内核和12个DRAM通道。8个CXL内存设置为统一NUMA配置,在DDR5和CXL内存节点间采用基于软件的页面级交错机制。实验结果显示,CXL内存扩展使只读带宽提高24%,混合读/写带宽在HPC和AI工作负载中性能加速几何平均值达24%。

CXL核心企业与产品对比

| 企业 | 产品 | 核心功能 | 应用场景 |

|

|

|

|

|

| Astera Labs | Leo CXL智能内存控制器 | DDR5 RDIMM(最高2TB),温度/健康监测 | 内存扩展、内存分解 |

| 澜起科技 | CXL内存扩展控制器 | 内存池化 | AI推理KV Cache |

| Microchip | CXL相关产品 | 内存扩展 | 数据中心 |

| 万通发展 | CXL 4.0交换芯片(2028年规划) | 144+通道 | Scale-Up互联 |

来源:各公司官网、国海证券研究所

投资逻辑——CXL从“配套件”走向“算力核心”

CXL互连芯片市场从2024年430万美元增长至2030年17亿美元,CAGR高达170%,是增速最快的互联细分市场。CXL在AI推理KV Cache场景的颠覆性性能提升(TTFT降低89.6%)已获学术验证,商业化进程有望加速。重点关注CXL领域Astera Labs(全球龙头)、澜起科技(国内CXL控制器领先)、万通发展(CXL 4.0交换芯片规划)。CXL正在从“内存扩展”走向“AI推理核心”,是AI算力“卖水人”中最具成长性的细分方向之一。
点击阅读报告原文: 计算机行业深度报告:高速互联协议与硬件从“配套件”到“第二算力”——AI算力“卖水人”专题系列(10)-260729(58页)
相关报告