30 秒看懂
Assistant Benchmark 创建者 David Pawlan 与 Anish Acharya、Josh Elman 分享测试个人 AI 助手的观察。他们讨论权限边界、小规模购物与旅行比较、记忆迁移、社交助手,以及对快速变化市场进行预测的局限。
- 1重度用户样本中的信任问题Pawlan 说,在所选用户群消息中 22% 涉及信任;这一数字不能代表总体。
- 2给权限设置边界清晰的权限可以区分个人和工作上下文,同时允许助手完成有用的行动。
- 3比较不同助手鲜花和旅行实验展示助手如何权衡多个或含糊的约束。
- 4可迁移的记忆Pawlan 说,他测试的 15 个助手中多数能够导出可用的记忆文件。
- 5不一定自动变理性助手可能引入自己的偏向,消费者也可能抗拒居高临下的建议。
- 6助手组成的社交网络嘉宾设想助手促成人际介绍,同时承认隐私和同意仍然关键。
要点建议
- 个人助手可以帮助研究选项,同时把最终决定和批准留给用户。
- 信任不仅涉及数据权限,还包括分寸和可靠地完成任务。
- 非正式测试显示,不同助手处理多个或含糊偏好时存在差异。
- 记忆和照片可能改善个性化,也带来迁移、同意和隐私问题。
- 助手可能引入自己的偏向,不能保证消费者决策自动变得理性。
- 社交和娱乐型助手具有潜力,但未来影响仍不确定。
按章节阅读整理后的全文
不断扩展的助手世界
嘉宾讨论开发者聚会,以及个人助手可能承担的不同角色。
Anish Acharya 邀请 Josh Elman 和 Assistant Benchmark 创建者 David Pawlan 讨论快速变化的个人 AI 助手市场。Pawlan 最近组织了一场百余人参加的聚会,十位产品开发者介绍了自己的项目。
Pawlan 说,尽管产品之间存在重叠,参加者仍愿意开放交流。他们认为市场还处于早期,开发者可以一起了解什么功能可靠、用户又真正喜欢什么。
几位嘉宾预计,一个人可能使用不止一个助手:不同产品分别帮助处理日程、旅行、工作、自我思考或轻松的社交,就像人们会因不同需求找不同朋友。
一位嘉宾描述,社交助手在社交交流中告诉他朋友家停电,让他有机会重新联系。这个例子的吸引力并非节省任务时间,而是促成了一次原本可能不会发生的交流。
信任、权限与分寸
助手处理个人信息或代人发言时,信任和有边界的授权尤为重要。
Pawlan 说自己接触过 147 个以上的助手,大致分为通用、工作、多人社交和旅行几类。他还没有看到太多成熟的财务助手,并怀疑信任是主要原因之一。
Pawlan 说,在 AI 重度用户群约 3600 条消息中,22% 把信任作为担忧。这只是他所观察样本的结果,不能代表所有消费者。
嘉宾讨论“围栏”类比:将助手的权限限制在明确的数据和渠道范围内,使其能够在边界内行动。他们提到一宗据称个人助手把财务信息发到工作 Slack 的事件,说明区分上下文的重要性。
一个问题是边界能否只靠硬规则表达,还是还需要定性原则与判断。嘉宾认为,助手即使能力很强也可能不懂社交细节,因此权限与监督仍然重要。
有效的助手不必自主决定一切。它可以先研究选项和权衡,再在行动前请用户确认最终选择、价格和其他条件;信任可能随着经验逐渐扩大。
嘉宾区分口头表达的隐私担忧与实际行为,认为便利有时会促使人们分享敏感信息。他们也指出,助手代人发言或行动时造成的尴尬,可能是很强的信任障碍。
一位嘉宾把隐私和实用性看作权衡:更好的服务可能促使用户分享更多,而服务水平相近时隐私可能影响选择。这是他们对行为的判断,并非普遍规律。
代人发送邮件既需要技术权限,也需要合适的语气和分寸。一位嘉宾说,自己用 AI 写邮件时会在名字旁标明模型,让收件人知道 AI 参与了写作。
测试判断与记忆
Pawlan 介绍有关鲜花、旅行和记忆迁移的非正式比较。
Pawlan 的鲜花测试要求助手找到当天能送达的最便宜鲜花。他说,几个产品兼顾了价格和送达时间,其他产品虽然满足了送达要求,却没有同样重视价格。
一个任务同时包含多项约束时,更容易看出助手判断的差异。浏览器集成也可能帮助助手寻找选项;Pawlan 特别提到 Kicker 在测试中使用 Chrome。
另一项非正式比较让三个助手规划“奢华但划算”的洛杉矶周末。它们对要求的理解不同:有的强调少花钱,有的更重视在目的地停留的时间。
主持人追问,助手是否应该主动澄清这些冲突:旅行者可能愿意搭红眼航班,却想要一间酒店房间补觉。Pawlan 说几个助手都提出了问题,但他有意给出较模糊的回答。
随后他让几个助手在同一对话中进行三轮行程提案。他观察到其中一个吸收其他方案中的有用细节,纳入自己的计划;这是一次关于助手相互影响的个案测试。
鲜花测试有意只衡量两项约束,并未覆盖送礼的完整社交语境。嘉宾指出,现实中的助手可能还要考虑收礼人的花卉偏好、留言以及价格是否会被看到。
与助手合作可能要求人们把隐含偏好说清楚。嘉宾讨论,助手怎样才能了解这些偏好,同时避免迫使用户用自己不舒服的方式描述自我。
Pawlan 谈到 Dots,以及部分用户认为既有对话上下文的价值。他说,在一项涵盖 354 名 AI 重度用户的调查中,仅 3% 把它作为主要助手;这一小规模选定样本不能代表整体市场份额。
记忆也带来切换成本。Pawlan 说,他让基准中的前 15 个助手导出关于自己的记忆,除一个以外都生成了可用于其他产品的文件;他认为总体有用,但未必完整。
照片、购物与偏好
嘉宾思考照片上下文,并质疑助手是否一定让消费者选择更理性。
照片和截图可能提供人们不会主动输入的上下文。嘉宾讨论一款照片产品所强调的“忘记不必要信息”,同时承认开放整个相册属于敏感授权。
一位开发过截图信息提取应用的嘉宾说,数据虽然有趣,但价值随时间下降,他很少回来查看。另一位建议把保存的图片整理为可复用的设计灵感板,供设计和编码使用。
谈到购物时,嘉宾推测助手可能帮助用户发现营销能力较弱的小型直销品牌。他们也指出,卖家规模小并不自动意味着产品更好。
对于“助手会让消费者更理性”的看法,嘉宾存在分歧。一位嘉宾认为助手也会形成自己的捷径,例如偏好 API 和文档完善的商家,但这不等于商品质量更高。
另一位嘉宾怀疑人们是否希望助手强加理想化选项,例如只展示符合减重目标的餐食。他预计用户会选择尊重自己口味的工具,并在产品过于居高临下时转向其他助手。
Pawlan 区分日常标准商品和强依赖个人偏好的购买:前者可能只需合适、便宜的选项,后者则更需要探索和乐趣。他预计产品会逐渐超出通用效率助手的范畴。
多人互动与有趣的助手
独立话题、共同的社交约定和轻松互动,带来新的交互模式。
嘉宾讨论 Wabby 为生活不同方面建立独立话题,例如共享的书籍和影视清单。如果新群聊从一开始就同时包含人和助手,也可能更容易约定助手可以看到什么。
爱“八卦”的助手可能询问朋友们如何认识,注意到双方故事的不同,再引导他们继续聊天。嘉宾认为这能带来社交乐趣,但前面提到的分寸与隐私问题仍然存在。
可靠性与助手网络
讨论转向基础设施、本地控制以及助手之间交流的实验。
Pawlan 说,可靠性是反复出现的痛点:助手不能完成任务时,用户可能觉得自己操作更方便。他正在关注浏览器操作、结账集成和能提高完成率的基础设施。
他还观察到规模扩大时明显的性能差异:有些产品随着用户增加而退化或中断。这说明即使原型更容易开发,稳定运营软件仍然困难。
嘉宾比较开箱即用的托管助手与本地或自托管系统。为了便于横向比较,Pawlan 主要测试预配置产品,但他认为用户更直接地控制模型和基础设施也有潜力。
聚会参与者可以把自己的助手送进另一个助手群聊。Pawlan 说,一些交流在大量消息后变得语无伦次,这既体现了实验的趣味,也反映了让互动真正有用的难度。
更进一步的设想是,助手发现互补兴趣后询问用户是否愿意认识对方。嘉宾设想学习小组、本地聚会等场景,同时承认不同人结识陌生人的意愿并不相同。
上下文与未来方向
新的数据来源可能改善个性化,也带来授权问题;嘉宾提出近期预测。
他们还考虑智能家居习惯、购买历史和社交场合对话等其他上下文来源。更多信息可能改善个性化,但记录或分享其他人的信息会带来授权问题。
一位嘉宾提醒,搜索历史不等于持久偏好:研究世界杯或孩子喜欢的歌手,不代表这些兴趣定义了用户。助手需要区分临时好奇与长期喜好。
被问到未来几周可能发生什么变化时,Pawlan 预测企业级助手会获得更多关注。其他嘉宾预计助手会更加有趣、更擅长对话,其价值既包括陪伴,也包括完成任务。
Pawlan 回忆不喜欢技术的母亲使用助手,包括请它帮忙寻找一只像家中旧宠物的狗。他认为这提示开发者需要研究早期尝鲜者之外的人会如何使用这些产品。
对话最后提出一个设想:助手未来也许能帮助人们追求理想或发展能力,而不仅是清理待办事项。嘉宾把这视为可能的产品方向,并非已经实现的结果。
同频道的其他文章
48:08EN → 简体中文
44:57EN → 简体中文
24:30EN → 简体中文
52:10EN → 简体中文
49:17EN → 简体中文
1:00:17EN → 简体中文