豆包手机明日开卖，AI能帮你操作App了吗？

文｜李炤锋 编辑｜张雨忻 昨日，豆包手机助手发布消费者版本。这款基于豆包App（应用）、与手机厂商在操作系统层合作的AI助手，首款落地机型为中兴通讯旗下努比亚NaviX Ultra，而这款手机将在9月16日正式公开发售。 去年底，豆包手机助手技术预览版曾落地努比亚M153工程样机，重点展示AI如何跨应用“操作手机”。不到一年时间，全新推出的消费者版本更强调日常可用性：除屏幕问答、本地记忆和检索外，“操作手机”功能以Beta（测试版）形式开放；豆包同时推出SAEP（屏幕自动化操作声明协议），并设置30天公示期。 根据协议，第三方应用可以自主声明是否允许AI助手执行屏幕自动化，也可以限制具体操作。30天公示期内，未明确同意接入的第三方应用默认不操作。消费者版豆包手机助手进一步加入应用侧选择权：第三方应用可以整体拒绝GUI，也可以单独限制发布、删除和权益领取等操作。 从事GUI（图形用户界面）Agent研究的人士认为：“未来手机里肯定要有一个原生AI助手。这个事情不一定由手机厂商自己做，但最后一定要做到系统级。”而随着NaviX Ultra和一众系统级手机助手进入消费市场，系统级AI助手正在走向普通用户的日常使用场景中。 走出对话框，手机AI开始跨App完成任务 今年7月，中兴通讯高级副总裁、努比亚总裁倪飞在接受媒体采访时表示：“用户真正想要的是‘省心’，但今天的手机功能越多、操作越复杂，这种矛盾已经积累到了一定程度，需要一个全新的产品形态来回应。” 这正是豆包手机助手在尝试解决的问题：它嵌入手机系统，能在用户授权后搜索当前屏幕和本机信息，调用日历等系统工具，或进入其它App完成App中的操作。用户可以通过AI键发起任务，多个任务还可以排队或临时插队。 比如，在豆包手机助手的官方演示中，用户拍下新学期课表后，可以让助手将课表加入个人日历；也可以让它打车到屏幕显示的地址，添加银都大厦为途经点，上车后再把车牌号发给飞书同事，并提醒对方10分钟后下楼。 这套使用方式在去年的技术预览版——努比亚M153上已经有过雏形。一段公开演示中，用户让豆包根据相册里的一张血压仪照片，在淘宝“挑一个便宜的同款”，再“把链接发给张三”。豆包识别出商品，也识别出“张三”是QQ好友，随后连续完成相册、电商和社交应用之间的操作。 据悉，M153调用了Android的INJECT\_EVENTS系统级权限。获得用户授权后，即使第三方App没有为AI提供接口，豆包也可以模拟点按、滑动和输入；遇到密码、人脸识别等敏感环节，再把手机交还用户。 但在实际使用中，涉及到一些登录验证和平台风控的跨App操作都可能中断任务。随后，豆包主动限制了金融支付、刷激励等高风险场景。 今年2月，Google在Galaxy S26系列和部分Pixel 10机型上测试Gemini多步任务：它可以为同事安排包含多个停靠点的网约车，任务转入后台后，用户仍可通过通知查看进度、随时接管，并在购买前确认。Google负责Android开发者产品管理的副总裁Matthew McCullough在官方博客中写道：“衡量应用成功的标准，正在从‘让用户打开App’转向‘真正完成用户的任务’。” 2026年以来，一批系统级手机AI助手批量涌现。 6月发布的HarmonyOS 7开发者Beta中，华为小艺接入超过200项系统级感知数据，可以从面试邀请中识别时间、地点和注意事项，写入备忘录；也可以在手机上要求小艺寻找电脑中的文件，再发送到手机。 7月的2026世界人工智能大会（WAIC）上，努比亚NaviX Ultra、阶跃星辰STEPX Neo和荣耀Robot Phone集中亮相。STEPX Neo搭载的Amoo助手接到“帮我处理一下明天汇报的事情”后，会读取飞书日历和群消息，拆解任务、生成PPT（演示文稿），再把文件发回飞书；修改文档前会申请权限，涉及支付则由用户确认。 而几乎在同一时间，超级App们和手机AI助手之间的关系也在发生变化。 今年6月，微信确认与华为、荣耀、小米、OPPO、vivo合作A2A（智能体间通信）能力，手机助手可以提交发消息或音视频通话指令，由微信执行并返回结果，全程采用双重授权。8月，vivo蓝心小V与支付宝服务智能体“阿宝”合作，用户说“帮我叫车去高铁站”或“帮我开具打车发票”，相关服务均可在对话中完成。 可以看出，2026年，手机AI助手进入了密集发布期。除了搭载豆包手机助手的努比亚之外，Google、华为、阶跃和荣耀相继将Agent带到手机系统层，微信、支付宝等超级App也开始接收系统助手发出的指令。 AI替你点屏幕，怎样才能不越界？ 当采用GUI路线的手机AI助手越来越普及，它们更加迫切地需要处理三项权限问题：用户是否授权、应用是否放行，以及发送、下单和支付前由谁确认。从豆包此次推出SAEP（屏幕自动化操作声明协议）上，也许能窥探到有关这一权限边界的安全举措。 目前，CUA（计算机操作智能体）已经将GUI技术路线作为主流，它在解决的问题是：AI如何直接操作软件，又如何限制可访问的范围。有研究员把CUA形容为“给你的电脑配了一个特别全能的程序员，什么都懂，会写代码，同时也懂网络安全”。 目前的操作方式是：面对可以结构化处理的任务，手机会优先调用代码、命令和工具；只有遇到没有接口的软件，才转向识别屏幕、点击按钮。GUI更像一项兜底能力，让Agent能够继续操作那些尚未向AI开放的软件——手机App数量庞大，各种临时页面又不断变化，不可能全部接口化，需要GUI来覆盖未接入的部分。 一位GUI研究员告诉智能涌现：“不能指望所有App开发者都为AI完成适配，GUI肯定是必要的补充。”另一位从业者也提到，“短时间内，市面仍会有很多软件不具备AI能力，尤其是大型软件，即使有接口也非常复杂，可能一时半会儿接不完。” 手机Agent比电脑Agent更依赖应用生态。在电脑上，操作系统可以直接决定哪些软件可以通过与Agent连接；但到了手机端，操作系统不具备这样的权限，不仅不同服务都被封装在各自App内，定位、相机、通讯录等权限也由系统和应用共同控制。如果第三方App既不开放接口，也不允许AI操作界面，手机助手就无法继续执行任务。 目前，GUI会把每一步操作显示在屏幕上。一位研究员说，“大家都能看得懂，也都能够了解这个AI助手正在做什么东西”。用户可以据此判断是否暂停或接管。 但“看得见”不等于“做得好”。卡内基梅隆大学研究团队今年推出的手机Agent评测基准iOSWorld，用26款自研iOS应用模拟同一名用户的数字生活，并设计了133项任务。表现最好的模型在跨应用任务中的成功率也只有37%，真实消费场景还要面对不断变化的页面、身份验证和平台风控。 和App场景相比，手机系统层还聚合了相册、通讯录、位置、日历等用户个人信息。手机AI助手掌握的信息越完整，能完成的任务越多。所以，接下来要比拼两项能力：一是“怎么造出更多、更好的数据”，二是“怎么编排各个步骤、各个Agent之间的协作”。 但同时，更多能力也意味着对生态的要求也更高。 对此，豆包手机助手选择推出SAEP（屏幕自动化操作声明协议），允许第三方应用在GUI Agent执行前，先声明是否放行，以及哪些操作不可执行。 “SAEP有点像AI时代的Robots协议（网络爬虫访问规则）。网站通过这项协议告诉搜索引擎等自动程序，哪些页面允许抓取、哪些不允许；SAEP则让应用声明Agent能否进入应用，以及哪些操作必须停下。”一位研究员解释。 接入SAEP后，第三方应用既可以拒绝全部屏幕自动化，也可以只限制内容发布、删除、签到抽奖和权益领取等具体操作；拒绝声明随时生效。30天公示期内，除系统自带应用、字节跳动旗下应用和明确同意接入的第三方应用外，其余应用默认不操作。公示期结束后，未表态的应用将按风险等级逐步开放，明确拒绝的应用则始终不被操作。 应用通过SAEP表达意愿，手机系统负责读取声明、限制GUI权限，并在敏感步骤交还用户。这需要模型公司与终端厂商共同完成。 此前，努比亚总裁倪飞把豆包与努比亚的合作概括为：“模型公司解决AI能不能做到，终端厂商解决用户能不能真正用起来。”按照倪飞披露的分工，豆包负责大模型和Agent能力，努比亚负责系统、硬件、产品工程、质量、渠道和用户服务。合作范围覆盖模型、操作系统和整机工程。 在这套分工中，权限与信任最终由操作系统承接，这意味着手机操作系统和Agent的关系将愈发一体化。 今年8月，在杭州举行的支付宝AI生态合作伙伴大会上，vivo副总裁、AI全球研究院院长周围曾表示：“硬件形态不会消失，但操作系统会重构——从管理App，变成管理Agent、管理权限、管理信任。” 更早的7月，国家互联网信息办公室首次单独公布7款手机端侧生成式AI服务备案，涉及Apple智能、华为小艺AI大模型、OPPO AndesGPT大模型、vivo蓝心端侧大模型、小米澎湃AI、三星盖乐世AI和努比亚豆包手机大模型。手机系统级AI助手，正在进入一个行业井喷期。 一位GUI研究员对智能涌现表示，相比独立AI应用，手机拥有更稳定的用户关系：“只做AI软件，用户可能谁免费就用谁；但手机不一样，一部手机往往要用几年，会伴随用户很久。” 9月16日，NaviX Ultra将正式开售。届时，豆包手机助手将正式进入消费市场，SAEP也将随之接受真实用户和应用开发者的检验。 图片来源｜豆包手机助手