端侧AI的核心矛盾在于“模型性能”与“硬件资源”之间的紧张关系。东吴证券研报显示，半精度7B模型参数加载占用DRAM超14GB，而主流手机DRAM仅8-24GB。量化、剪枝、蒸馏三大模型压缩技术正成为破解这一矛盾的关键——苹果将模型从32bits量化至3.7bits并通过准确率恢复适配器实现近乎无损压缩。剪枝可降低内存占用25%，蒸馏则将大模型能力高效迁移至轻量小模型。端侧模型在有限参数量下的性能提升，依赖算法创新与硬件升级的双轮驱动。
量化技术：32bits→3.7bits，近乎无损压缩
量化是端侧模型部署中最核心的压缩技术。用低精度数值表示参数，从32bits转化为8bits时，内存开销降为1/4、计算成本降为1/16。对于端侧设备有限的内存资源，量化直接决定了模型能否在本地运行。
苹果在量化技术上取得突破性进展。通过混合精度量化策略，苹果将端侧模型AFM-on-device压缩至3.7bits水平。量化后模型性能出现一定损失——IFEval指令级准确率从100%降至97.9%，AlpacaEval 2.0从100%降至87.3%，GSM8K数学推理从100%降至91.3%。
但苹果通过加入准确率恢复适配器（rank 16），实现了近乎无损的量化压缩：IFEval恢复至100.6%，AlpacaEval恢复至94.8%，GSM8K恢复至96.0%。这项创新意味着端侧模型可以在大幅降低内存占用的同时，保持接近原始模型的推理能力，为端侧AI的大规模部署扫清了关键障碍。
苹果混合精度量化与准确率恢复效果| 模型版本 | IFEval | AlpacaEval 2.0 | GSM8K |
|---|
| 16bits（未量化） | 100% | 100% | 100% |
| 3.7bits量化 | 97.9% | 87.3% | 91.3% |
| 3.7bits+准确率恢复 | 100.6% | 94.8% | 96.0% |
剪枝与蒸馏：降低内存占用、迁移大模型能力
剪枝技术通过删除不必要的神经元、权重参数或节点来压缩模型。以原理示意为例，修剪前需执行32次乘法累加和存储32个参数，修剪后只需24次乘法累加和24个参数，计算复杂性和内存都降低了25%。剪枝尤其适合去除训练后冗余的连接，在不显著影响性能的前提下减少模型体积。
蒸馏技术则实现了“大模型教小模型”的能力迁移。将大模型作为“教师模型”，用其输出训练一个性能接近但更轻量化的“学生模型”。Gemma的2B和9B模型由27B模型蒸馏而来，苹果3B的AFM-on-device也是由剪枝后的6.4B模型蒸馏而来。蒸馏使小模型在有限参数量下获得接近大模型的能力，是端侧模型性能提升的关键路径。
端侧模型仍需提升参数量，1.8B与3.25B性能差距显著
模型参数量对端侧AI性能影响巨大。谷歌Gemini Nano 1（1.8B）全面弱于Nano 2（3.25B），在MBPP编程任务中1.8B仅20%准确率、3.25B为27%；MATH数学推理中1.8B为13.5%、3.25B为22.8%。1.8B模型在推理/编码/数学方面准确率大幅下降，仅回答真实性方面保持较高准确率。
当前量化/剪枝/蒸馏技术各有侧重方向——高质量的数据集、高效的训练方式、先进的压缩方法均能显著影响模型性能。各厂商因数据集选择、压缩精度、量化混合方式等差异，预计端侧小模型将呈现百花齐放的格局。但模型参数对性能的决定性作用意味着，在硬件允许的范围内尽可能提升参数量，仍是端侧模型发展的重要方向。
