2025年2月5日，上海交通大学研究团队发表LIMO（Less is More for Reasoning）论文，提出颠覆性观点——大模型的推理能力本质上是“潜伏”的而非“缺失”的，关键在于通过高质量样本“激活”而非“训练”。LIMO仅用817条精心设计的样本结合简单监督微调，在AIME24测试中准确率达57.1%，远超使用100k数据的NuminaMath（6.5%），在10个基准测试上实现40.5%的绝对性能提升。财通证券认为LIMO标志着AI推理研究从“更大即更强”向“少即是多”的范式转变。
从LIMA到LIMO——少即是多原则从对齐拓展至推理
2023年LIMA（Less Is More for Alignment）提出“少即是多”原则——只需少量高质量数据，大语言模型便能学会生成符合人类偏好的对话。LIMO研究将该原则拓展至推理领域，核心假设从“对齐风格适应”转向“推理能力激活”。研究团队认为，大模型经过预训练已纳入海量数学知识（Llama3仅在数学推理上训练数据就高达3.7T tokens），推理能力已“潜伏”于模型中，关键在于如何通过精确的认知模板“唤醒”这些能力。LIMO在AIME24中57.1%的准确率直接挑战了“监督式微调主要导致记忆而非泛化”的传统观点，证明了高质量、小规模数据远比低效海量训练更能激发LLM的真正推理能力。
两场革命奠定LIMO基础——知识基础革命与推理计算革命
LIMO实现“少即是多”突破依赖于两大前提条件。知识基础革命：现代大模型在预训练阶段已纳入海量数学知识，Llama3仅数学推理训练数据就达3.7T tokens，远超前代模型的全部训练数据量，模型早已“知道”大量数学知识，关键是如何“唤醒”而非“输入”。推理计算革命：最新研究表明推理链长度与模型推理能力密切相关，与其在训练阶段强行输入大规模监督数据，不如在推理阶段提供更优质的问题和示范，让模型自主展开深入思考。基于此，LIMO提出核心假说：在知识基础已足够完善的情况下，仅需少量高质量示例就能通过推理链激活模型的“潜伏”推理能力。财通证券认为这一假说正在重塑AI研究者的方法论共识。
数据质量的三维验证——推理链质量、问题难度与预训练知识
LIMO研究发现使用少量数据提升推理能力需满足三大关键因素。推理链质量：高质量推理链（L5级）与低质量（L1级）之间的性能差距高达15个百分点，精心设计的推理链不仅能帮助模型理解问题，还能提高推理准确性和泛化能力。问题难度：使用Advanced-500（竞赛级别）训练的模型比使用Simple-500训练的模型准确率高16%，更高难度的问题迫使模型调用更复杂的推理链。预训练知识：Qwen2.5-32B-Instruct（高质量预训练）在AIME24上比Qwen1.5-32B-Chat高47个百分点，证明推理能力高度依赖预训练阶段的知识储备。这三个维度共同构成了LIMO高质量数据集的设计原则——从预训练强大的基座模型出发，选取高难度问题，构建高等级推理链。
LIMO vs RL Scaling——从搜索最优轨迹到激活潜伏能力
RL Scaling代表当前主流推理增强路线：OpenAI o1和DeepSeek-R1通过大规模强化学习在庞大解空间中“搜索”最优推理轨迹，资源消耗巨大但效果显著。LIMO则代表全新范式：推理能力已潜伏于预训练模型中，只需高质量认知模板“激活”而非通过RL“训练”。RL Scaling的核心挑战是如何在庞大解空间中高效搜索有效推理轨迹；LIMO的核心挑战是如何识别和构建激活现有能力的最优推理轨迹。两者在资源效率上的差异极为显著：RL Scaling需要海量数据和复杂算法，LIMO仅需817条样本。财通证券认为两种范式将在未来共存——RL Scaling适用于探索全新推理能力边界，LIMO适用于在既有知识范围内最大化释放模型的推理潜力。
表3：LIMO与RL Scaling方法论核心差异| 维度 | RL Scaling（o1、R1） | LIMO（少即是多） |
|---|
| 核心假设 | 推理能力需通过大规模RL“训练” | 推理能力已“潜伏”，需“激活” |
| 解决方案 | 通过RL搜索最优推理轨迹 | 基于认知理解直接构建最优轨迹 |
| 数据需求 | 海量（数十万至百万级样本） | 极少量（817条样本） |
| 资源效率 | 资源密集型 | 资源高效型 |
| 泛化方式 | 广泛采样+轨迹空间覆盖 | 理解推理模式+认知迁移 |
| AIME24效果 | o1-preview约44.6% | 57.1% |
