返回顶部
返回首页 会员充值 我的足迹 返回上一页
具身智能
情绪经济
商业航天
十五五
银发经济

端云混合架构趋势

2024年6月苹果在WWDC24正式公布Apple Intelligence,端云混合架构成为AI手机行业风向标。苹果AI使用约30亿参数的AFM-on-device端侧模型和基于服务器的AFM-server大模型,用户发出指令后端侧优先响应。东吴证券电子团队认为,端云混合架构将在未来中短期长期存在——端侧SoC硬件不断升级,云端用于弥补端侧算力不足,端侧与云端算力共同拉动算力总盘子增长。高通骁龙8 Elite、联发科天玑9400等旗舰SoC持续提升端侧算力,端云协同正成为AI手机主流范式。

Apple Intelligence端云混合架构详解

苹果在WWDC24公布的Apple Intelligence采用端云混合架构:端侧使用约30亿参数AFM-on-device模型,云端使用大型AFM-server模型。用户发出指令后,系统分析请求,若需求在端侧能力范围内则本地运行,若超出上限则云端介入。Writing Tools功能中,校对、重写等功能无网络直接运行(端侧),Summary、Key Points等复杂功能需接入网络(云端)。iOS 18.2 Beta1已接入OpenAI,用户可切换使用GPT-4o调用更强云端模型。苹果的端云混合架构有三个关键设计:隐私保护(端侧优先保证用户数据安全)、算力协同(云端补充端侧不足)、用户体验(无感切换减少等待)。

端云混合架构的形成逻辑——为何不能只做端侧或只做云端

端侧运行AI具有成本、能耗、性能、隐私安全、个性化五大优势,但当前端侧算力仍有限——1000 tokens文本推理,7B小模型需14 TFLOPS,GPT-4需560 TFLOPS,差距约40倍。只做端侧:当前SoC算力不足以支撑复杂任务,7B模型与GPT-4的性能差距(55.5 vs 80.4分)仍显著,长文本处理端侧受限。只做云端:云端推理成本是传统搜索的10倍,网络依赖性强,排队时延影响用户体验,隐私数据上传存在安全风险。端云混合架构取长补短——简单任务端侧快速响应(保护隐私、降低成本),复杂任务云端补充算力(保障效果、提升速度),成为当前AI手机最务实的技术路径。

端侧SoC算力升级与端云协同趋势

高通骁龙8 Elite(台积电第二代3nm,4.32GHz超大核,Hexagon NPU出词速度70+tokens/s)、联发科天玑9400(台积电第二代3nm,NPU890支持50 tokens/s,LLM提示词处理能力提升80%)是当前端侧AI算力的标杆。骁龙8 Elite已支持4k上下文窗口端侧多模态,天玑9400首发支持端侧LoRA训练和端侧视频生成。东吴证券认为,端云混合架构中,端侧算力占比将持续提升——随着SoC硬件升级和端侧小模型定向优化,目前需云端承载的复杂功能有望从2027年开始逐步被端侧承接。但云端算力需求不会因此下降,端侧AI对算力总盘子的拉动作用会长期存在,端侧SoC与云端算力链将双向受益。消费电子整机、端侧SoC、云端算力链均值得关注。
表:端云混合架构主要参与方与产品布局
参与方端侧产品云端产品端云协同方案
苹果A18 Pro(35 TOPS)、AFM-on-device(3B)AFM-server、ChatGPT集成端侧优先,超出上限调用云端
高通骁龙8 Elite(70+tokens/s)——端侧多模态、4k上下文
联发科天玑9400(50 tokens/s)——端侧LoRA训练、视频生成
三星Galaxy AI(端侧)云端大模型端云混合
点击阅读报告原文: 【东吴证券】电子行业深度报告:算力需求看点系列——如何看待AI手机对端侧&云端算力影响?-250215(14页)
相关报告