Gemini 产品负责人谈模型评估和面向未来的产品设计

Tulsee Doshi 负责谷歌前沿模型的产品工作，涵盖 Gemini、生成式媒体、Gemma 和音频。她的职责范围包括图像与视频生成、音乐、语音和翻译。

Lenny Rachitsky 问，人们对模型构建有什么误解。Doshi 说，团队会设定能力和评估目标，但训练结果不能完全预测：产品经理既要参与塑造输入，也要发现最终出现的意外优势。

研究人员通过指标监控训练过程并适时干预，让尽可能多的环节具有科学依据。Doshi 还希望产品经理了解与模型交流的感受，以及新能力会如何改变下游产品。

Rachitsky 问及有人认为谷歌落后于其他前沿实验室的看法。Doshi 说，谷歌希望参与前沿竞争，同时贯通硬件、模型和产品，并针对不同用户提供不同成本和质量的模型。

她说，目标既包括强大的前沿模型，也包括在公司各类产品中提供有用体验。主持人提到谷歌通过 Gmail、日历和文档等产品拥有的既有分发渠道。

谈到 AI 安全，Doshi 回顾了自己六年负责任 AI 工作经验。她介绍监控模型行为和潜在偏离、必要时进行干预，以及把部署防护纳入整个流程的做法。

她还讨论用 AI 加强网络防御，并提到识别和修复漏洞的工作。被问及是否对安全问题持乐观态度时，她说乐观取决于持续、谨慎地审视问题，以及有人主动追问模型是如何构建的。

Rachitsky 问，快速发布能力的竞争是否使 AI 产品越来越难使用。Doshi 说，团队需要试验不同交互设计，包括为视频创作、研究和其他任务提供不同体验。

合适的界面取决于用户：面向广泛人群的搜索功能必须容易使用，而开发者工具可以为熟练用户提供终端、集成开发环境和斜杠命令。

Doshi 认为模型本身也有用户体验：它是否透明、怎样沟通、会提出什么问题。产品经理与研究人员把用户反馈和期望的行为规范转化为评估标准和训练数据。

研究型产品经理还要与搜索、Gemini 应用、YouTube 等内部团队以及外部客户合作，了解哪些能力能真正改变体验，并将这些信息反馈给开发团队。

Rachitsky 观察到，AI 让人们更容易构建用户未必想要的东西，产品经理因此重新受到重视。Doshi 承认自己作为产品经理有偏向，但认为品味、识别有效信号和帮助人们围绕清晰方向达成共识变得更有价值。

招聘研究型产品经理时，她希望候选人每天使用并测试模型、对模型行为有自己的判断、能查看数据和构建评估，也愿意随着领域变化重新审视路线图。

构建第一次评估时，Doshi 建议先从五个提示词开始，而不是一上来做大型基准。即使只有约 20 个提示词，也可能暴露模型在某项能力上的差异。最初可以由人判断回答并明确什么是好结果，再考虑扩大规模。

要培养对模型特点的直觉，她建议测试自己真正关心的任务，例如视觉动画、写作或财务分析。选择现有模型已有潜力但还不够理想的任务，更容易看出不同模型的差异。

Doshi 回顾了团队关于肤色表示的工作。她说，六级 Fitzpatrick 量表原本用于医疗目的，并不适合在产品评估中代表全球肤色的多样性。

团队与哈佛大学教授 Ellis Monk 合作，将他的十级肤色量表纳入评估。Doshi 说，调整后的衡量方式帮助团队改进 Pixel 相机和图像生成等工作。

评估必须覆盖完整用户体验，而不只是孤立的模型。评判者的质量、过滤器、安全防护和服务系统都可能改变结果；对于音频，内容、声音质量和传递方式都重要。

Rachitsky 问及智能体群。Doshi 区分了她此前在斯坦福与 Michael Bernstein 合作的研究：那项工作研究的是将技能互补的众包人员临时组织起来完成任务，之后再解散团队。

她认为设计这种临时团队与组织子智能体有相似之处，同时指出原研究对象是人。主持人提到一起有关智能体的事件；Doshi 则回到如何组建高效临时团队这一总体思路。

Doshi 的 60-20-20 框架用于考虑模型持续进步时如何构建产品。她说具体比例可以调整：约 60% 现在就能工作，另外 20% 已有潜力但尚不完善，剩余部分留给初露端倪、未来可能带来价值的能力。

这种方法在当下可用的产品与未来改进空间之间取得平衡。Doshi 说，即使从事模型工作，也无法准确预测三个月后的模型能力，因此她更愿意依据产品中已经看到的迹象，而不是精确预测。

围绕旧模型构建的僵化外层也可能限制新模型。Rachitsky 提到定期移除技能并重新测试；Doshi 赞同团队持续检查既有结构是否仍然有帮助。

她把 harness 定义为模型周围的运行环境：系统指令、可用工具和技能，以及能够访问的上下文或数据。这些共同决定模型可以利用什么来行动。

谈到提升产品经理能力，Doshi 说团队成员会分享有用技能，并举办工作坊，教授如何阅读数据和较长的模型执行轨迹。共享资料库让其他人复用和改进工具，同时建立信心。

她说实际限制是时间：不断冲刺很难给人留下学习空间。团队正计划举办为期两天的工作坊，让产品经理暂时离开日常工作，试验、构建和分享。

Rachitsky 建议在开始任务之前先问一句：AI 能帮我做吗？Doshi 说，一次成功经历就可能改变习惯。她也会问重复做两次的任务能否交出去，同时仍亲自处理制定战略等工作。

Rachitsky 问，为什么谷歌还没有推出一个更令人满意、能利用 Gmail、日历和文档的个人助手。Doshi 说团队正在研究这个问题，也承认在何处、如何为用户提供体验方面还有更多工作；她没有给出具体上线承诺。

主持人问，随着 AI 提高工作预期，团队如何避免倦怠。Doshi 说团队目前工作时间很长，她仍在思考如何建立可持续的工作环境。

在她看来，反复折腾、混乱以及感觉毫无意义的工作也可能导致倦怠。她希望 AI 能减少令人沮丧的例行工作，让人有更多时间做有意义的创造性工作，同时承认可持续性仍需解决。

对于 AI 生成文档过多的问题，Doshi 区分了收集信息和提供洞察。她认为 AI 适合从多个来源汇总产品上线后的指标与反馈，而人应负责解释和判断。

她认为，产品经理的职责正在超越仅仅写需求、再交给别人补充细节。AI 可以帮助产品经理制作原型和查看数据，但她期待他们无论采用何种形式，都能让提案更有实质内容。

推荐书籍时，Doshi 提到《呼吸》，因为它探讨人与数字生活；《创造力公司》讨论如何建立支持创造力和从失败中恢复的文化；她还推荐包括《玻璃王座》在内的奇幻作品。

她推荐电视剧《人生切割术》，并说语音输入工具 Wispr Flow 帮助她应对手腕问题。她的个人建议是通过接受陌生挑战来寻找机缘，让自己有机会遇到好运。

Rachitsky 问起她接受印度古典舞训练的经历。Doshi 说，跳舞让她集中注意力，也将她与朋友和文化联系起来；舞蹈长期是她参与组织的波特兰印度节的一部分。

她鼓励听众尝试谷歌的模型和音频功能，并通过产品、公司、私信或公开帖子提供反馈。访谈在 Rachitsky 的感谢中结束。