Personal Agent 目前已经能够独立完成许多复杂操作，但在决策时仍面临一个问题：什么时候应该直接推断，什么时候需要向用户追问。
例如，用户要求预订平时常去的餐厅，Agent 可以从历史记录中判断是哪家餐厅，也能识别出需要确认的聚餐时间和人数。如果擅自猜测，可能偏离用户的真实意图；如果连历史记录中已经明确的信息也反复追问，又会让自动化流程变得冗长，降低使用效率。
在这项工作中，苹果团队提出了iPrefBench，专门评估移动端 Agent 在这类模糊请求中的“推断与询问”能力。该基准运行在可执行的 iOS 环境中，包含 26 个应用、130 个未完全指定的任务，以及围绕同一用户构造的 3051 条活动记录。Agent 只能从用户历史中获得既有信息，并可通过 ask_user 动作向模拟用户提问。
(资料图片仅供参考)
论文链接：https://arxiv.org/abs/2610.34735
iPrefBench 的核心设计，是为每一项被省略的用户相关信息标注唯一来源。一类信息能够从历史活动中恢复，例如用户惯常选择的餐厅、座位或出行方式；另一类信息只能由用户在当前情境下提供，例如这次聚餐的时间和人数。Agent 必须先识别任务中哪些决策仍未确定，再判断这些决策应该从历史中推断，还是通过提问获得。
图｜iPrefBench 同时评估推断偏好与主动询问能力
这一区分补上了传统计算机使用 Agent 评测中的一个空缺。许多评测使用信息完整的任务，Agent 无需推断，也无需提问。另一些个性化评测提供用户历史，却不允许 Agent 与用户交互；交互式评测则允许提问，但没有足够的用户历史来判断某个问题是否多余。iPrefBench 将两种信息源放进同一环境，分别衡量任务是否完成、是否符合特定用户，以及 Agent 是否只在必要时打扰用户。
研究团队使用同一套移动端 Agent Harness 评估了 7 个前沿模型。结果显示，Agent 的执行能力和个性化能力之间存在明显差距。表现最好的 Claude Opus 5，动作完成率达到 91.6%，但完整任务成功率只有 47.7%。Agent 往往能够完成预订、购买或填写等操作，却未必做出了符合该用户意图的选择。
图｜iPrefBench 基准上的主要结果
所有受测 Agent 在处理必须通过询问用户才能获取的信息时，表现都明显较弱。以 Claude Opus 5 为例，对于能够从历史记录中推断的信息，其任务完成率为 76.3%；对于必须向用户询问才能获得的信息，完成率则降至 51.3%。
整体来看，各 Agent 平均每个任务只发起 0.08 至 0.35 次询问，而每个任务平均包含 0.89 项必须向用户确认的信息。对于这类信息，询问召回率最高仅为 44.3%。这表明，Agent 经常在需要向用户确认时，直接做出决定。
不过，询问次数少只是问题的一部分。各模型的询问精确率介于 60.4% 至 77.1% 之间，说明它们提出的问题中，仍有相当一部分并无必要，例如相关答案已存在于历史记录中，询问内容与当前任务无关，或重复询问已有信息。因此，Agent 需要具备的关键能力，是准确判断哪些信息可以从现有记录中推断，哪些信息确实需要向用户确认。
研究团队还设计了三类扰动任务，用来测试 Agent 是否会盲目照搬历史偏好。第一类是当前指令与长期习惯冲突；第二类是近期行为显示偏好已经变化；第三类是原本偏好的选项在当前环境中不可用。评测结果显示，Agent 在前两类任务中的个性化得分低于整体水平，而环境扰动反而促使它们明显增加提问。当首选项无法使用时，Agent 平均发起的问题数量达到原来的 2.3 倍，对只能询问的信息的处理也有所改善。
图｜iPrefBench 三类扰动任务子集上的表现
错误分析进一步揭示了四种典型失败。面对只能询问的信息，Agent 有时意识到信息缺失，却仍然自行猜测，有时甚至没有把缺失信息识别为需要决策的事项，直接沿用应用默认值。面对能够从历史推断的信息，Agent 也可能完全没有发现相关偏好，或发现后却从历史中得出了错误结论。研究团队认为，当前 Agent 面临两个相互关联的难题：先找出所有尚未解决的用户相关选择，再为每个选择决定应当推断还是询问。
图｜个性化失败在两个维度上的分布
研究团队还测试了一个执行前澄清阶段，让 Agent 在开始操作前集中识别疑点并提问。实验结果显示，Claude Sonnet 5 加入该阶段后，完整任务成功率从 39.2% 提升到 53.8%，对只能询问信息的处理得分从 25.7% 提升到 85.0%；但询问精确率从 60.4% 降至 42.5%，平均每个任务的问题数量从 0.24 个增加到 1.37 个。Qwen3.8-27B 也出现类似变化。提前澄清能够减少漏问，却同时增加了不必要的问题。
图｜在执行前加入明确澄清阶段对 Claude Sonnet 5 和 Qwen3.8-27B 的影响
用户历史的数量也并非越多越好，实验显示，提供少量与任务相关的历史事件，就能明显改善可推断偏好的处理；继续加入完整历史并不会带来同等幅度的收益。更多历史有助于 Agent 避免询问那些已经能够推断的信息，却没有帮助它发现哪些信息仍然只能由用户提供，甚至可能降低对这类信息的询问召回率。
图｜向 Agent 上下文提供不同数量用户历史记录的影响
iPrefBench 揭示了当前移动端 Agent 面临的一项普遍挑战：它们已经能够较好地执行界面操作，却仍不擅长处理用户意图中的未知信息。真正个性化的 Agent，需要结合历史记录与当前情境理解用户需求，既要避免机械套用过去的习惯，也要减少不必要的追问。如何在自主执行与主动确认之间做出准确判断，是提升 Agent 个性化能力的关键。
更多技术细节，详见原论文。
作者：张佳怡
如需转载或投稿，请直接在本文章评论区内留言
营业执照公示信息