大模型推理速度正成为制约AI应用大规模落地的核心瓶颈。基于Transformer架构的自回归序列生成方式，使得每个词的生成都依赖于之前生成的词，计算过程难以实现真正的并行化。内存带宽限制推理速率的“存储墙”问题尤为突出。西部证券在2025年度策略报告中指出，随着AI应用发展，推理算力需求有望超过训练算力，最终训练芯片与推理芯片数量之比或达到2：8。对推理芯片在高速推理方面性能提升的追求，有望推动新技术路线探索的加速与变革。
推理算力需求将超过训练算力
目前生成式AI模型仍处于快速迭代、各厂商相互追赶的阶段。随着模型性能逐步稳定和应用陆续落地，算力的推理需求有望超过训练需求。
训练需求与推理需求在计算量、精度要求以及部署位置上存在显著差异。训练需求的精度要求更高，训练芯片需要有更高的精度范围和更强的性能。推理芯片则会兼顾云侧与边缘侧的算力需求。根据施耐德电气的测算，到2028年人工智能的推理负载有望占比达到85%。
西部证券认为，高速推理将成为AI芯片发展的新坐标。高速推理使得开发者可以在极短时间内完成大模型应用的测试和调优循环，加速开发过程。更关键的是，高速推理意味着交互效率的飞跃，将大大缩小人机交互的时间差，为更自然、更流畅的交互体验铺平道路。
推理速度的瓶颈——存储墙问题
大模型推理速度的瓶颈源于底层计算架构的固有限制，主要体现在存算交换带宽方面，这就是所谓的“存储墙”问题。
在传统的冯·诺依曼架构中，计算单元和存储单元是分离的，数据需要在这两个单元之间不断移动，这个过程消耗大量时间和能源。随着处理器速度的不断提升，内存访问速度便成为制约系统性能的主要因素。
基于Transformer架构的大语言模型在推理过程中采用自回归的序列生成方式，每个词的生成都依赖于之前生成的词，这种顺序依赖性使得计算过程难以实现真正的并行化。尽管GPU可以通过批处理、模型并行等技术来提高效率，但这些方法主要是增加推理吞吐量，而非从根本上解决单次推理的速度和时延问题。
目前最先进的GPU仍然无法满足大模型实时交互的需求，这为新技术路线的突破提供了空间。
存算一体技术路线突破瓶颈
英伟达通过引入高带宽内存（HBM）技术实现了“近存计算”，以缓解存储墙问题。HBM采用垂直堆叠的内存芯片设计，配合超宽数据总线和硅中介层，显著提升了内存带宽。
Groq采用更激进的存算一体路径。其独有的LPU（语言处理单元）使用类似超长流水线的一维处理器阵列结构，每个处理单元都配备了本地内存，能就近获取所需数据。叠加精确的静态调度机制，LPU能高效处理具有强依赖性的连续操作，且避免了频繁访问芯外储存。Groq运行Llama 3.1-70B的推理速度达240 token/s。
Cerebras的技术路线更为激进。其WSE-3芯片尺寸是英伟达H100的57倍，核心数量（90万个核心）是H100的52倍，片上内存（44GB）是H100的880倍，内存带宽（21PB/s）是H100的7000倍。Cerebras Inference服务在Llama 3.1 70B上取得450 token/s的推理速度，达到了英伟达GPU方案的20倍以上。
不同芯片架构推理速度与带宽对比
表：不同芯片架构推理速度与存算带宽对比（运行Llama 3.1-70B）| 芯片/架构 | 推理速度（token/s） | 对比英伟达倍数 | 核心特性 | 技术路线 |
|---|
| 英伟达H100（标准方案） | ~20 | 1x | HBM近存计算 | 传统GPU |
| Groq LPU | ~240 | ~12x | 本地内存、一维处理器阵列 | 存算一体 |
| Cerebras WSE-3 | ~450 | ~20x+ | 晶圆级芯片、片上内存21PB/s | 存算一体 |
