慧博智能投研2025年2月发布的推理算力行业深度报告指出，随着AI技术从训练阶段走向大规模商用落地，推理算力正迎来爆发式增长。IDC数据显示2022年云端推理占算力已达58.5%，预计2026年将升至62.2%。以字节跳动豆包模型为例，日均token使用量7个月内从约1200亿飙升至4万亿（增长33倍），揭示推理算力需求的指数级增长曲线。测算显示2025年推理芯片需求有望达600亿美元，推理算力将成为AI产业链最具爆发力的环节。
云端推理占比持续提升，AI落地应用进入加速期
据IDC数据，2022年在云端部署的算力中推理已占58.5%，训练仅占41.5%。预计到2026年推理占比将升至62.2%，训练降至37.8%。云端推理占比的持续提升说明AI落地应用数量正在不断增加，人工智能模型正逐步从实验室训练走向广泛投产模式。这一结构性转变意味着推理算力需求将进入长期增长通道——每一次AI应用的上线都对应着持续的推理调用需求，而非训练的一次性投入。随着生成式AI在科学研究、编程、办公软件、医疗健康和金融等领域的广泛应用，推理算力的需求曲线将越来越陡峭。
豆包模型日均token7个月增长33倍，推理需求爆发力凸显
字节跳动豆包模型是推理算力需求爆发的典型案例。截至2024年12月中旬，豆包日均token使用量已超过4万亿，短短七个月内增长了33倍（从约1200亿增长至4万亿）。这一爆发式增长背后是AI技术在社交、内容创作、教育等场景中的广泛渗透。每一次用户调用AI服务，都对应着一次推理计算——从文本生成到图像创作，从代码辅助到知识问答，推理算力正在成为AI应用的“燃料”。随着OpenAI o1-preview等新一代推理增强模型的推出，推理阶段的计算量将进一步提升。o1系列模型在回答前会进行更长时间的“思考”（链式推理），这直接拉长了推理计算的时间，增加了单次推理的算力消耗。推理算力需求的增长斜率有望进一步陡峭化。
推理芯片2025年市场规模或达600亿美元，远超训练需求
推理芯片市场的规模潜力巨大。据测算，2025年生成式AI大规模商用后，推理芯片的需求可能达到600亿美元左右。这一数字远超训练芯片的市场规模。背后的经济逻辑是：训练是一次性投入（模型训练完成后即结束），而推理是持续性投入（每一次用户调用都产生推理需求）。AI大模型的商业化应用一旦铺开，推理算力的消耗将呈现指数级增长。不同规模大模型的推理需要不同级别的硬件支撑：1750亿参数的GPT-3推理需约700GB显存（含中间参数），需9张A100（80GB）；1万亿参数规模的大模型推理需约4000GB显存，需50张A100。如果推理端大规模放量，GPU/AI芯片的需求量将远超训练端。
2025年为算力爆发元年，推理算力进入井喷期
2025年被视为算力爆发的元年，推理算力需求将迎来井喷式增长。DeepSeek等低成本高性价比大模型的出现降低了AI应用部署门槛，将进一步催化推理算力需求。据IDC预测，到2026年中国智能算力规模将达到每秒十万亿亿次浮点运算（ZFLOPS），年复合增长率52.3%，主要来自于推理端的需求释放。AI基础模型的开源生态（如DeepSeek R1开源）有望加快创新速度，AI应用部署门槛降低以及成本下降带动应用繁荣，最终形成“模型开源→应用爆发→推理需求增长”的正循环。
推理算力核心市场规模与需求预测| 指标 | 2022年 | 2025E | 2026E | 增长趋势 |
|---|
| 云端推理占比 | 58.5% | — | 62.2% | 持续提升 |
| 云端训练占比 | 41.5% | — | 37.8% | 逐步下降 |
| 推理芯片市场需求 | — | ~600亿美元 | — | 爆发式增长 |
| 中国智能算力规模 | — | — | ZFLOPS级别 | CAGR 52.3% |
