具身智能是实现通用人工智能的关键基础，其核心在于让智能体像人类一样理解物理世界。海通国际报告指出，具身智能体依托多模态大模型和世界模型构建“大脑”，通过模拟器训练、具身感知和具身交互三大技术支柱，在虚拟与物理环境中实现感知、推理和行动。vSLAM、3D视觉定位、视觉语言导航等关键技术持续突破，EAI正从理论走向实践。
MLM+WM构建具身智能“大脑”
具身智能体不同于ChatGPT等非实体AI，它们通过控制物理实体在现实和模拟环境中交互。其核心“大脑”由多模态大模型（MLMs）和世界模型（WMs）构成，包含四大关键能力：具身世界模型（理解虚拟与物理环境）、多模态感知（处理视觉/触觉等多源数据）、人类意图理解与对齐（理解语言意图并符合人类价值观）、任务分解与执行（将复杂任务分解为子任务并精确执行）。代表性具身模型RT-2和RT-H已展现出比传统深度强化学习更高的灵活性和通用性。让AI变聪明的关键在于利用“想象力”——人类和其他动物依靠世界的现有模式生成想法，是一个强大的规划工具。
模拟器——训练EAI的核心基础设施
数据匮乏一直是具身AI研究的核心挑战，真实世界机器人训练需搭建物理场所、进展缓慢、成本高昂。模拟器为EAI数据收集和训练提供了全新解决方案，具备成本控制（避免昂贵硬件依赖）、安全保障（避免无人机坠毁/机械臂故障风险）、快速迭代（避免繁琐实物调试）三大优势。英伟达Isaac Sim基于Omniverse平台，支持URDF/MJCF/USD格式导入，提供ROS/ROS2框架，可模拟RGB-D、激光雷达、IMU等多传感器数据。ThreeDWorld（TDW）由MIT、哈佛、斯坦福联合开发，支持高保真物理交互（流体/柔体/刚体）、多智能体交互和VR设备接入，为室内具身智能研究提供接近真实世界的模拟环境。
具身感知——vSLAM+3D视觉定位+视觉语言导航
具身感知以智能体为中心的视觉推理为核心。vSLAM（视觉同步定位与绘图）由传感器预处理、视觉里程计、后端优化、回环检测和建图五部分组成，解决未知环境中的定位与建图。3D视觉定位采用分级方案：预检索（基于全局特征获取相似图像集）→共视聚类（区分不同场景图像）→局部匹配与定位（求解PnP问题获取相机位姿）。视觉语言导航（VLN）结合计算机视觉、NLP和自主学习，使智能体跟随自然语言指令导航。NaVid是首个专为VLN设计的视频大模型，仅将视频信息作为输入，无需地图或里程计支持，模仿人类导航策略。当前挑战包括导航数据模态与大模型数据不一致、高质量真实数据匮乏。
具身交互——EQA与主动探索
具身交互任务中，智能体在物理或模拟空间中与人类和环境交互。典型任务为具身问题解答（EQA）：智能体在三维虚拟空间中被询问，需主动探索环境、整合信息、执行目标导向动作后返回答案。EQA要求智能体具备主动探索性（随机生成位置下寻找视觉信息）、常识推理（像人一样有目的探索）、收敛性分析（采用模仿学习策略进行示范引导）。EQA的最终目标是agent可以理解所处的环境（通过视觉感知）、具有沟通交流能力、采取主动动作进行环境探索。
表：具身智能三大技术支柱对比| 技术支柱 | 核心任务 | 代表技术/工具 | 关键挑战 |
|---|
| 模拟训练 | 虚拟环境算法开发 | Isaac Sim, ThreeDWorld | sim-to-real迁移 |
| 具身感知 | 空间理解与定位 | vSLAM, 3D视觉定位, VLN | 动态环境适应性 |
| 具身交互 | 环境探索与问答 | EQA, 模仿学习 | 长序列收敛 |
