训练侧整柜化交付成为主线、推理侧PD分离与KV Cache管理重构效率边界、边缘侧端边分层部署加速落地——AI基础设施的竞争逻辑正从“单点性能比拼”转向“系统级效率优化”。国泰海通证券这份报告从训练、推理、边缘三个维度，系统梳理了AI基础设施算力迭代的技术路径与产业格局。核心判断清晰而有力：硬件堆叠的时代正在过去，软硬一体的系统级协同正在成为新的竞争壁垒。
训练侧AI基础设施——系统级算力、供应链锁定与架构创新
整柜化成为主线，系统级有效算力成为核心指标
2026年，大模型训练基础设施的竞争重心从单芯片转向整柜系统。随着模型参数量与数据规模持续扩张，单卡峰值算力受存储墙与通信墙限制，训练效率更多取决于芯片间互联带宽、HBM容量、集群调度算法及散热供电的协同程度，系统级模型算力利用率（MFU）成为衡量交付能力的实际标准。
英伟达GB300 NVL72采用机架级设计，通过NVLink全互连技术将72个GPU与36个CPU整合，配套全液冷散热方案，针对万亿参数模型训练优化。相比Hopper架构，AI工厂整体产出性能提升多达50倍。AWS Trainium3 UltraServers通过NeuronSwitch互连技术将144个芯片整合，配合HBM3e内存优化分布式训练效率。AMD与HPE押注开放标准路线，计划于2026年推出Helios机架级AI架构，通过UALink互联协议和UltraEthernet网络实现跨厂商兼容。
供电散热与HBM供应链成为核心瓶颈
单机柜功率密度快速提升，液冷从配套选项转为部署前提。GB300 NVL72整柜功耗约120kW，需配套全液冷散热。英伟达800V HVDC架构相较于54V系统，端到端效率提升最高约5%，总体拥有成本（TCO）降低最高约30%。华为提出“韬（t）定律”，将优化目标从晶体管面积缩小拓展至缩短数据在计算、存储、互联网的流转时间。
HBM与先进封装成为训练集群交付瓶颈。SK海力士2025年3月向主要客户交付12层HBM4样品，三星2026年5月宣布开始交付12层48GB HBM4E样品。台积电等先进制造与封装资源更加稀缺，云厂商和芯片厂商正通过长期锁单、供应链绑定和整柜交付能力争夺扩容主动权。
国产算力依托超节点架构从系统层面弥补单点不足。华为CloudMatrix通过MatrixLink将网络拆分为Scale-Up总线域（384卡全对等互联，2.8Tbps卡间互联带宽）和Scale-Out网络（微秒级通信），主要落地于自动驾驶、科学计算、能源、政务等对技术可控性要求较高的场景。
推理侧AI基础设施——从单点性能到系统级效率优化
Token成本成为核心锚点，KV Cache管理成为关键瓶颈
推理侧竞争不再只看服务器算力规模，而是更关注每个Token背后的综合成本。DeepSeek-V4-Pro正式定价为输入$0.025/百万token（缓存命中）/$3/百万token（缓存未命中）、输出$6/百万token。单位token的成本和芯片选型、显存利用率、请求调度、缓存复用和电力消耗等因素有关。
Agent应用推高显存与缓存压力，KV Cache管理从推理优化项升级为长上下文服务的关键瓶颈。DeepSeek-V4-Pro支持1M上下文，在1M token上下文设置下单token推理FLOPs降至V3.2的27%，KV缓存占用仅为10%，但绝对占用规模仍可达数十GB。NVIDIA Dynamo通过KV缓存感知路由，将新请求导向缓存重叠度最高的节点，在671B MoE模型上将吞吐量提升2.5倍。
PD分离成为主流架构，异构芯片进入共存阶段
PD分离将Prefill（计算密集）和Decode（存储密集）分开部署。NVIDIA Dynamo采用PD分离架构后，在Blackwell架构上通过PD分离将长输入场景下的交互速度至高提升4倍，在671B MoE模型上将吞吐量提升2.5倍。
推理芯片选择从通用性能转向场景成本最优。GPU适合新模型验证和复杂推理；ASIC适合稳定模型和高频调用场景（TrendForce预测2026年ASIC出货量增长率将达44.6%，高于GPU的16.1%）；LPU面向低延迟交互场景。英伟达在GTC 2026将Groq LPU纳入核心战略，其加入使Vera Rubin平台每兆瓦推理吞吐量提升35倍。
液冷与高压供电从工程偏好转为财务刚需。GB300 NVL72峰值功耗约130-140kW，下一代Vera Rubin单芯片功耗预计突破2300W。字节跳动杭州余杭智算中心采用浸没+冷板复合液冷技术，PUE低至1.08；2026年新建智算中心已100%采用液冷。
边缘侧AI基础设施——从硬件堆叠到端边一体
端边分层部署，算力资源精准匹配
边缘侧算力部署上，端边分层部署成为主流。端侧设备采用低功耗紧凑形态（如研华DS-011超薄无风扇边缘终端，整机厚度约23mm，TDP 6-9W），承载1B-3B小语言模型。边缘节点侧重高带宽显存与工业级加固（戴尔PowerEdge XR8720t短深度边缘服务器、华硕RUC-2000系列2U半深机柜），满足本地高并发推理需求。
软件工具链与系统级交付成为竞争焦点
编译及量化工具链的成熟度决定部署效率。瑞芯微RKNN工具链、高通AI Engine Direct路径、恩智浦eIQ Agentic AI Framework等降低模型部署门槛。交付模式从芯片裸机向预集成系统方案过渡。高通拟收购Edge Impulse补齐全流程软件栈；恩智浦收购Kinara补强独立NPU算力；瑞萨电子收购Irida Labs实现从芯片到应用层的一站式交付。
资源配置引入算力虚拟化技术，单台设备可拆分异构算力并行承载多业务。戴尔NativeEdge升级为Dell Distributed Private Cloud；Armada边缘平台整合至NVIDIA AI Grid架构，支持跨分布式GPU站点的统一编排与多租户隔离。交付模式转向分期租赁，顺网科技已落地300多个节点机房、覆盖近200个重点城市，可服务近80万台终端。
