国盛证券报告指出，智谱AutoGLM是首个产品化的手机端智能助理，实现了Phone USE的重大突破。AutoGLM只需接收文字/语音指令即可模拟人类操作手机，支持微信、淘宝、美团、大众点评、小红书、高德地图、12306、携程8类APP。在AndroidLab评测基准上，AutoGLM显著超越GPT-4o和Claude-3.5-Sonnet。技术层面，AutoGLM基于自研"基础智能体解耦合中间界面"和"自进化在线课程强化学习框架"，解决了大模型作为智能体时动作执行不够精确和任务规划不够灵活的两大挑战。智谱团队表示理论上AutoGLM可完成人类在可视化电子设备上能做的任何事。
产品功能：从演示到日常工具的跨越
AutoGLM的产品设计体现了从"功能演示"向"日常工具"的跨越。目前安卓端可操作的APP覆盖了用户日常高频场景：社交（微信）、购物（淘宝）、外卖（美团）、生活服务（大众点评）、内容社区（小红书）、导航（高德地图）、出行（12306）、住宿（携程）。
用户体验细节体现了深思熟虑的设计。任务执行中如出现多个符合要求的搜索结果，AutoGLM会主动询问用户意见，避免错误执行。任务完成后通过文字信息反馈详细结果，用户可通过悬浮球反馈。用户可创建常用指令一键触发，高频场景实现秒级触发。快捷指令、主动询问、结果反馈三大机制构建了"人机协作"而非"完全自动化"的交互范式。
AutoGLM的应用场景远不止于此。智谱团队表示，理论上通过对GUI的深刻理解，AutoGLM可以完成人类在可视化电子设备（电脑、手机、平板）上能做的任何事。它不受限于简单的任务场景或API调用，操作逻辑与人类类似。这意味着从"订外卖"到"订机票+酒店+查攻略+发朋友圈"的复合任务，AutoGLM均可胜任，真正做到在日常生活和工作中辅助人类。
技术优势：解耦合中间界面破解核心难题
AutoGLM的技术突破在于解决了大模型作为智能体时的两个关键挑战。挑战一：动作执行不够精确。训练大模型智能体的一大难题在于让模型学会精准操作屏幕上显示的元素。端到端训练受制于轨迹数据获取成本高昂，数据总量严重不足，导致需要高精度的动作执行能力训练不充分。
AutoGLM引入"基础智能体解耦合中间界面"设计，将任务规划与动作执行通过自然语言中间界面进行解耦合。以"点外卖提交订单"为例，传统方案直接在GUI上点击"提交订单"按钮（容易点错位置），中间界面方案先将屏幕上的按钮信息转化为自然语言描述（如"屏幕中央有'提交订单'按钮"），再由模型理解后决定点击哪个位置。该方案实现了智能体能力的极大提升。
挑战二：任务规划不够灵活。GUI智能体训练轨迹数据极其有限且成本高昂，面对复杂任务需要灵活即时规划和纠正能力。智谱研发"自进化在线课程强化学习框架"，以Web浏览器为实验环境，在真实在线环境中从头开始学习提升大模型智能体能力。模型根据当前迭代轮次的能力水平动态调整学习任务难度，通过KL散度控制策略更新及置信度经验回放避免遗忘。
在AndroidLab评测基准上，AutoGLM显著超越GPT-4o和Claude-3.5-Sonnet表现。开源版GLM-4-9B在WebArena-Lite中相对GPT-4o提升超160%，总体任务成功率43%。在简单任务的人工评测中，AutoGLM表现令人满意。智谱团队表示Phone Use相对于Computer Use更进一步——手机陪伴用户的时间更长，解锁更多应用可能性。
权限与生态：终端厂商把握流量入口
AutoGLM操作APP需要用户授权手机给予设备权限，包括协助操作的无障碍权限、与本地应用交互的悬浮窗权限、麦克风权限以及录屏权限。权限获取反映Agent模拟人类操作手机的底层逻辑——需要"看到"屏幕内容、"听到"用户指令、"执行"触屏操作。
权限层级决定了Agent的能力边界。无障碍权限让AutoGLM能够识别屏幕元素并进行触控模拟，悬浮窗权限实现与本地应用的交互，录屏权限让模型"看到"屏幕内容，麦克风权限让模型"听到"用户指令。四类权限的组合使AutoGLM能够完整模拟人类的手机操作流程。
从生态角度看，终端硬件厂商相当于把握了流量入口。AutoGLM通过模拟触屏操作打通APP，无需APP厂商配合，这改变了传统APP生态的流量分配方式。如果AI未来大幅替代用户对APP的直接操作，对现有APP的广告生态和用户粘性模式可能产生深远影响。终端厂商在AI Agent生态中相对于APP厂商将有更高话语权。
表：AutoGLM支持的APP及功能范围| APP | 核心功能 |
|---|
| 微信 | 发消息、公众号总结、朋友圈点赞/评论 |
| 淘宝 | 商品选购、店铺查找、评价总结/撰写 |
| 美团 | 点外卖 |
| 大众点评 | 打卡、写好评、查评价/榜单 |
| 小红书 | 点赞/评论笔记、关注用户、写总结 |
| 高德地图 | 导航、路线规划、查询周边 |
| 12306 | 订车票/机票、查车次 |
| 携程 | 订酒店 |
