6月27日，随着AI智能体技术的快速发展，它们能够主动协助用户完成手机上的多种任务，如调整设置或开启导航。然而，这些AI系统并不真正理解界面背后的操作机制，只是按照预设程序执行指令。
近日，苹果公司与华盛顿大学的研究团队联合发布了一篇论文，重点探讨如何使AI具备风险评估能力，避免误操作引发的安全问题。
AI的自主操作能力已成为苹果计划在未来的系统升级中加入的核心功能。早在2024年的WWDC大会上，苹果就展示了Siri的进化方向——通过自动化完成购物、订票等任务。然而，这种看似便利的功能也带来了潜在风险：如果AI错误地点击了”删除账户”按钮而不是简单的”注销”操作，后果不堪设想。
手机作为承载个人隐私的重要设备，保存着用户的金融信息、健康数据和私密照片。当AI代替用户执行任务时，必须能够准确区分哪些操作是无害的，哪些可能带来严重后果，并在必要时主动寻求用户确认。
目前大多数AI开发者的关注点主要集中在”如何完成特定操作”上，而对这些操作的实际影响缺乏深入考量。这种单纯追求执行能力的做法已显现出明显局限性。
苹果的AI研究团队指出，并非所有用户界面操作的风险程度相同：例如，点击”刷新”按钮属于低风险行为，但执行”转账”操作则可能带来重大安全隐患。
这项研究从跨学科专家研讨会起步，旨在建立一套系统化的风险评估标准。研究团队重点关注以下问题：
-
操作是否具有可逆性？
-
影响范围是局限于用户本人还是可能波及他人？
-
是否会改变隐私设置或产生费用支出？
研究论文中提到，团队开发了一套多维度标注手机应用操作风险的方法。例如，删除消息的操作通常在2分钟内可以撤销，但超过这个时间窗口就无法恢复；而转账操作往往需要通过额外的验证程序才能完成撤销。
这种分类体系的核心价值在于为AI提供了一个决策框架——相当于内置了一套”风险预警系统”，帮助智能体判断哪些操作需要谨慎处理或必须获得用户许可。
为了训练AI准确识别不同操作的风险等级，研究人员设计了一个模拟移动应用环境，参与者在其中记录各种高风险动作（如修改密码、发送敏感信息等），而非简单的浏览或搜索行为。
研究团队将收集到的数据与现有安全交互数据集结合，并使用新开发的分类体系进行标注。随后，他们对包括OpenAI GPT-4在内的五种主流AI模型进行了测试，评估其在判断操作风险方面的表现。
实验结果显示，在引入分类法后，AI模型的风险识别准确率有所提升，但即便性能最佳的GPT-4多模态版本，准确率也只有约58%。
研究发现，AI模型容易出现过度谨慎的问题。例如，将”清除计算器历史记录”这种低风险操作误判为高风险。虽然这种保守态度从安全角度看无可厚非，但频繁的确认提示会让用户体验大打折扣。
苹果的研究人员认为，真正有用的AI应该是既智能又可靠：如果它因为过度谨慎而需要用户确认每一个操作（比如调整音量），那这样的功能就失去了实际意义。
研究人员强调，他们的分类体系为设计更优的AI行为准则提供了参考。例如，未来可以开发让用户自定义风险偏好设置的功能。这种个性化策略不仅能让AI更加智能，还能帮助开发者更好地识别现有模型的局限性。
相关文章
