内存正成为端侧AI硬件最核心的变革方向。东吴证券研报显示,半精度7B模型参数加载占用DRAM超14GB,而DRAM耗能比计算操作高两个数量级(6400pJ vs 3pJ)。7B模型以10Token/s速度运行,满电iPhone(约50kJ)支持不到2小时。苹果正通过三大内存创新应对瓶颈:合作三星研发独立封装替代PoP堆叠式封装、推进LPDDR6-PIM技术、2026年转向WMCM封装方式。安卓与iOS内存利用效率差异巨大,安卓需在OS层统一AI基础模型,iOS需提高硬件内存。
内存是端侧AI核心瓶颈,DRAM耗能比计算高千倍
端侧AI推理对内存的消耗远超一般应用。苹果论文《LLM in a flash》指出,在LLM推理阶段,仅将半精度7B模型的参数加载入DRAM所需空间就超过14GB。Meta指出SRAM缓存约20MB仅能容纳一个Transformer块,而DRAM要与系统和其它应用共享,单个应用不应超过DRAM的10%,留给模型的DRAM空间更为有限。
内存读取的能耗问题更为严峻。根据论文《EIE》,在相同精度下,DRAM耗能(640pJ)比SRAM耗能(5pJ)高两个数量级,比计算操作(0.1-3.7pJ)高出数百甚至上千倍。内存读取是端侧AI推理的主要耗能项。按每10亿参数生成1token耗能0.1J计算,满电iPhone(约50kJ)以10Token/s速度运行7B模型不到2小时。能耗增加同时带来严重的散热问题。
当前主流手机SoC中,苹果在内存/电池/散热上提升空间巨大。苹果iPhone最新DRAM容量仅8GB,安卓旗舰最高24GB;iPhone 16 Pro Max电池4685mAh,小米15 Pro为6100mAh。苹果虽然优先拿到最先进制程,但设备功耗极限潜力因散热限制无法充分发挥。
计算与存储操作能耗对比(45nm工艺)| 操作类型 | 能耗(pJ) | 相对成本 |
|---|
| 32 bit int ADD | 0.1 | 1 |
| 32 bit float ADD | 0.9 | 3 |
| 32 bit 32KB SRAM | 5 | 50 |
| 32 bit DRAM | 640 | 6400 |
安卓与iOS内存利用效率差异巨大
iOS在内存利用效率上远高于安卓。根据Android authority测试,相同应用在iOS的内存占用远低于安卓——Gmail在iOS占用190MB、安卓占用259MB;YouTube在iOS占用176MB、安卓占用282MB;Twitter在iOS占用100MB、安卓占用366MB。主要原因是安卓为消除硬件差异性,代码运行在虚拟机中需编译为中间语言,而iOS则是原生编写因此内存占用较小。
游戏方面差异相对较小——游戏引擎均为原生编写,iOS和安卓内存占用差异收窄,但安卓仍普遍略高。同时在国内由于安卓监管较少,各App为保活留存后台、集成额外功能等也增加了App的内存占用。
这意味着安卓和iOS需要采取不同的AI内存优化策略:安卓需要在OS层提供统一的AI基础模型以消除碎片化内存消耗;iOS在模型压缩之外,需要提高硬件内存以克服单个功能占用大量内存的硬件瓶颈。
苹果内存创新:独立封装、PIM技术、WMCM封装
苹果正与三星合作研发独立封装形式。韩媒The Elec报道,三星应苹果要求开始研究新的LPDDR DRAM封装方式——独立封装,改变2010年起iPhone沿用至今的PoP堆叠式封装(内存直接叠在SoC上通过Pitch连接)。PoP技术因芯片过于靠近,端侧AI负载下带宽和散热问题严重。独立封装可增加I/O引脚数量、提高数据传输速率和并行通道数量,并改善散热性能,显著提高内存带宽。
三星还尝试在iPhone DRAM中应用LPDDR6-PIM(内存内置存储器)技术,数据传输速度和带宽是LPDDR5X的两到三倍,专为设备端AI设计。
预计2026年苹果芯片封装将从InFO(集成扇出型)改为WMCM(晶圆级芯片封装)方式。WMCM可将多芯片集成在同一封装中,CPU、GPU、DRAM、NPU等灵活排列集成。WMCM在信号传输方面表现出色,能减少信号延迟和干扰,对需要高速数据处理的AI设备尤为重要。