自然语言操控电脑的时代正在来临。天风证券计算机研报指出，Anthropic推出Claude3.5 Sonnet的突破性“Computer Use”功能——开发者可通过API指示Claude像人一样使用计算机，包括观察屏幕、移动光标、点击按钮和输入文本。升级版Claude3.5 Sonnet在SWE-bench Verified得分从33.4%跃升至49.0%，超过OpenAI o1-preview。Asana、Canva、DoorDash等公司已开始探索应用。虽然目前仍处于实验阶段，成功率有待提升，但这是AI从“对话”走向“行动”的里程碑式跨越，自然语言控制硬件正进入临界点。
Claude3.5升级——Computer Use开启AI“行动”时代
2024年10月23日，Claude3.5重磅升级，首发Claude3.5 Haiku，并推出新版Claude3.5 Sonnet。新版Claude3.5 Sonnet在多项能力上超过GPT-4o，在GPQA、MMLU、HumanEval等测试数据集上的得分均达到领先水平。
最突破性的功能是“Computer Use”——开发者可以通过API指示Claude像人一样使用计算机，包括观察屏幕、移动光标、点击按钮和输入文本。Anthropic构建了一个API，使Claude能够感知并与计算机界面互动，开发者可集成该API将指令转化为计算机命令，实现任务自动化和智能化。
在编码能力方面，Claude3.5 Sonnet在SWE-bench Verified上的表现从33.4%提升至49.0%，超过所有公开可用的模型，包括OpenAI o1-preview。在自主工具使用任务TAU-bench中，成功率从62.6%增加到69.2%，在更具挑战性的航空领域从36.0%提升到46.0%。
表4：Claude3.5 Sonnet核心能力提升| 基准测试 | 之前得分 | 新版得分 | 提升幅度 |
|---|
| SWE-bench Verified | 33.4% | 49.0% | +15.6pct |
| TAU-bench（零售） | 62.6% | 69.2% | +6.6pct |
| TAU-bench（航空） | 36.0% | 46.0% | +10.0pct |
Computer Use工作原理与演示
Claude Sonnet模型控制电脑的核心思路是教会AI通用计算机技能，使其能够使用一系列为人设计的标准工具和软件程序。Anthropic研究员Alex Albert的演示展示了四个步骤：第一步，Claude在Chrome浏览器中导航到Claude.ai并创建个人主页；第二步，点击下载并保存文件在VS Code中打开；第三步，启动服务器在浏览器中查看文件；第四步，识别终端错误并自行修复——Claude顺利找到并删除了引发错误的代码行。
这一过程展示了AI Agent的核心能力：规划（分解多步骤任务）、工具使用（操作浏览器、代码编辑器、终端）、反思（识别错误并自我修正）、多步骤执行（从网页浏览到代码编写到服务器启动）。
当前局限与未来前景——实验阶段但里程碑意义
目前模型仍处于实验阶段，存在一定的出错可能。在一项旨在测试AI Agent帮助完成机票预订任务的评估中，升级版Claude3.5 Sonnet成功完成的任务不到一半；在另一项涉及发起退票等任务的测试中，失败率也超过了30%。
Anthropic承认，目前Claude3.5 Sonnet的Computer Use功能仍不完美。一些人们能轻松完成的操作（如滚动、拖动、缩放）目前对Claude来说仍具挑战性，整体速度也很慢。单次使用Computer Use功能的成本为0.88美元，整个过程较为缓慢且经常超过API速率限制。
尽管如此，这仍是一个里程碑式的功能，代表着模型未来有望理解并控制计算机等设备。Asana、Canva、Cognition、DoorDash、Replit和The Browser Company等公司已开始探索应用，尝试令其自动执行需要数十甚至上百个步骤才能完成的任务。
端侧AI与云端协同——Computer Use的算力启示
Composio开发者的测试表明Computer Use会带来大量的tokens消耗和推理算力。执行4项简单任务（查找Top5电影、寻找餐厅、在线订餐、购物）花费30美元，代表了大量tokens消耗。
这验证了端侧AI的关键路径：云端协同是长期最优解。纯端侧AI虽然是终极形态，但不会太快到达。通过高质量数据、专业化目标任务训练以及云端隐私方案的混合协同与优化，端侧AI可以从“可用”发展到“好用”。
AI Agent是端侧AI的重要一环，端侧应用在很长一段时间都将是端侧+云端搭配使用。考虑到AI Agent需要规划+多次调用大模型，端侧AI会带来大量的云端推理算力增量，利好国产算力产业链。
