2024年，全球手机市场迎来反弹。市场调研机构Counterpoint的最新报告，2024年全球智能手机销量同比增长4%。国际数据公司（IDC）预测，2025年中国智能手机市场出货量将达到2.89亿，同比增长1.6%。

市场复苏之际，AI被手机厂商视为前往下一个时代的船票，纷纷在各自最新的产品中部署大模型，竞逐AI赛道。因此这一年也被认为是AI手机元年。

2024年10月24日，OPPO发布搭载ColorOS 15操作系统的旗舰手机Find X8系列，实现了“AI一键问屏”功能。在综合分析用户指令和屏幕信息后，AI助手可以实现回答、修图、办公处理等场景。

随后的10月28日，苹果公司上线了全新的AI功能“Apple Intelligence”。

10月29日，小米操作系统澎湃OS2带来了“AI重塑系统应用”，包括AI写作、识音、字幕等功能，同时小米智能语音助手“小爱同学”升级为“超级小爱”，成为全生态AI助手，具备记事、精准搜索、跨设备操作等功能。

10月30日，荣耀发布Magic7系列手机，其中内嵌的AI智能体YOYO能够学习和认知用户的行为习惯，通过分析理解用户意图，自动执行相关操作，如“一句话取消自动扣款”“一句话点2000杯咖啡外卖”。

11月，华为发布了Mate 70 Pro+，其中搭载盘古大模型，可实现AI动态照片、AI互动主题、AI隔空传送、AI降噪通话等功能。

不只是手机厂商，大模型企业也在展示其操作手机的AI能力。11月29日，在智谱Open Day活动中，该公司CEO（首席执行官）张鹏向公众展示了其手机助手产品AutoGLM。他仅用一句话指令“帮我在智谱开放日的群聊里发个2万元的红包，数量定为100个，红包名字就叫‘AI给你发的第一个红包’”，AutoGLM便能自动打开微信，精准选择红包数量、设置总金额、修改红包名称，最后输入支付密码完成发送。

在人工智能的创新浪潮中，手机助手智能化是重要的应用场景与发展方向，正在为人们创造全新的使用体验，但其间的用户隐私与数据安全等风险也亟待在发展中得以规范。

“自动驾驶”的智能助手

2024年关于AI手机一个极具传播度的热词是“2000杯咖啡”。

“帮我点2000杯喝的。”2024年10月30日晚，在荣耀手机新品发布会的现场，时任荣耀CEO赵明使用AI智能体YOYO下单了2000杯瑞幸。一时间，周边的瑞幸咖啡门店陷入手忙脚乱的忙碌状态，“自动化”的AI和令瑞幸咖啡门店应接不暇的订单成为网友关注、调侃的对象。

这一功能被荣耀称为手机进入“自动驾驶”时代。根据荣耀的介绍，在MagicOS 9.0的支持下，Magic7系列手机不再局限于简单的指令执行，而是实现了对用户需求的深度理解和自主决策。

在北京的多家荣耀线下门店，自动点餐功能作为YOYO的亮点之一，被销售人员反复提及、展示。我们在门店试用了荣耀Magic7，并对YOYO下达指令“帮我点四杯咖啡”，之后YOYO根据用户习惯提出了多个产品及规格的选择，并提示用户需要点击“开始点单”按钮后才能够主动下单。在用户点击“开始点单”后，YOYO自动打开外卖软件搜索瑞幸咖啡，并选择了搜索结果第一位的门店，下单四杯美式咖啡。在完成自动点单的流程后，屏幕上提示需要用户手动点击提交订单。

记者在多个手机品牌门店试用了其AI手机助手，并给出了相同的指令——“帮我点四杯咖啡”。

以苹果手机为例，iPhone手机助手在收到指令后在地图搜索相关门店，并表示可以查询路线或打电话给门店。

而小米、华为、vivo、OPPO等多个品牌的手机在收到指令后仅仅只能打开外卖软件页面，其中部分AI手机助手会在外卖软件搜索关键词“咖啡”后再停止。

智能助手如何操控手机？

AI手机助手自动点咖啡是如何实现的？

网络安全机构“知道创宇404实验室”总监隋刚解释，端侧大模型在手机应用时需要RAG（Retrieval-augmented Generation，检索增强生成）、微调（Fine-tuning）、智能体（Agent）以及工作流（Workflow）配合私有领域数据实现落地。

“RAG和微调是让智能体对当前环境的有感知，比如一些规章制度、财务知识等私有领域的知识，主要目的就是越精准越好。智能体相当于是一个代理人。Workflow则是告诉AI助手整体的操作流程。”隋刚说。

隋刚表示，结合上述逻辑对点咖啡进行拆解，会发现这一动作包含几个业务系统：支付系统；咖啡店的业务接口，主要信息有订单量、送货地址，联系电话等；此外还需要手机的语音识别功能。

隋刚告诉我们，在这一场景下，端侧大模型所做的就是：通过大模型将人类的语音、文字等模糊指令变成计算机能理解的精确指令。