地面一直在动，OpenAI 和 Anthropic 的产品负责人怎么做 AI 产品

Sarah Guo 在 Lenny and Friends Summit 上请 OpenAI 产品负责人 Kevin Weil 和 Anthropic 产品负责人 Mike Krieger 谈各自接下这个职位时的反应。Kevin 说这是他做过最有挑战、也最有意思的产品角色，夜里经常睡不着。普通产品工作的那些难题都还在：搞清楚给谁做、解决什么问题。但传统产品默认技术底座是固定的，你知道手里有什么，再尽量做出最好的产品。

他说，在这里情况完全不同：每两个月，计算机就能做一件有史以来从没做过的事，你得弄清这会怎样改变产品，而答案大概是「改动会相当大」。Mike 回忆自己入职时的三种反应：了解他的人觉得「这就对了，你会玩得很开心」；中间那拨人问「你又不是必须工作，为什么还要干」；还有人觉得能把 Instagram 创始人请来本身就很有意思。他说半退休只维持了大约六周，自己就忍不住要找下一件事。

谈到企业业务，Mike 说节奏和做 Instagram 完全不同。你可能先有一场愉快的谈话，然后需求掉进采购流程，过六个月才部署，才知道对不对。他刚来两个月就急着问为什么还没上线，同事告诉他这正在各层副总裁之间流转。真正有意思的是部署之后：客户会直接打电话告诉你哪里好、哪里糟，因为他们有真金白银押在上面，不像消费产品只能靠数据科学和抽样访谈。

Kevin 补充，企业不只是产品本身。对面有买家，买家有自己的目标；你可以做出全公司都爱用的产品，结果仍然可能无关紧要。他记得一位大客户说产品很好，但有一件事必须做到：上线任何东西之前提前 60 天通知。Kevin 开玩笑说，他自己也想提前 60 天知道。OpenAI 同时做消费、企业和开发者产品，他估计产品直觉大概只在一半工作里用得上。

Kevin 说，产品直觉真正派上用场，是在功能快要发出去的尾声，比如高级语音模式或 Canvas 的收尾打磨。开头完全不是这样。训练新模型时，你隐约觉得它可能长出某种能力，但产品团队不知道，研究团队也不知道，谁都不知道它最终会是 60% 好、90% 好，还是 99% 好。而 60% 能用的产品和 99% 可靠的产品，该做成什么样，完全是两回事。

于是他只能时不时去问研究团队：训练得怎么样了，有没有新线索。对方的回答通常是：这是研究，我们也在摸索。Mike 把这种感觉比作当年等苹果 WWDC 发布：消息可能让你爽到，也可能把路线图搅得一团乱。不同的是，现在搅乱路线图的是自己公司内部。

Mike 说规划大致有三条路。一是盯着智力提升的斜率，虽然不可精确预测，但方向能 squint 着看见。二是产品侧主动投入，和真正的研究团队合作做微调，Artifacts 就是这样共创出来的，他认为 Canvas 也类似。三是跟上新能力前线，OpenAI 那边是语音模式，Anthropic 这边是刚发布的计算机使用。他们会尽早把设计师嵌进实验，但实验的产出首先是学习和演示，不是每次都能变成可预测的成品。

Kevin 说，研究并不都一个样。尤其是后训练，产品导向很强；另一些部分更像学术研究。偶尔开会时产品侧刚说「真希望能做这个」，研究员会接一句：这个我们三个月前就会了。只是当时没人觉得它重要，研究员已经去做别的了。他说这种时刻也会突然冒出魔法。

Sarah 问：如果模型在一件很有价值的任务上只有 60% 成功，而不是 99%，团队该怎么想。Kevin 说，很多事情在 60% 时就能成立，只要你按这个前提去设计，并预期回路里会有人。他举 GitHub Copilot 为例：那是第一款真正让人意识到 AI 不只是问答、还能做有经济价值工作的产品。他记不清当时用的是哪一代模型，现场有人猜是相当小的 GPT-2；反正模型对编程远谈不上完美，但只要代码被写到相当一部分，你就少打许多字，再自己改就行。

他认为，智能体和更长程任务也会走类似的路：做得不完美，但能省下五到十分钟，就已经有价值。若模型还能知道自己哪里没把握，回头来问人，人和模型合在一起，表现可以远高于 60%。Mike 说这个 60% 其实很「块状」：有的任务极好，有的极差。他们给客户做试点时，同一天两家公司的反馈可能完全相反，一家说三个月的难题被解开了，另一家说还不如旧模型。内部评测再漂亮，一碰到客户自己的数据、提示和用法，也会被打回原形。

Kevin 认为，今天的模型往往不是智力不够，而是评测不够：它们其实能做更多、在更广的事情上更正确，关键是把原先训练里没覆盖的题目教对。Mike 说，大约三年前许多热闹的 AI 落地根本没做过评测，当时只顾着上酷功能。现在模型更好了，可最难跨过去的一步仍是退回来问：成功到底长什么样、你在解决什么问题。Claude 能帮忙写评测、打分，但你必须先定义成功，再迭代着把 60% 推到 85%。

Mike 说 Anthropic 面试会让候选人把一份糟糕的评测改好，因为这种人才在别处不够。他判断写评测会变成产品经理的核心技能。公司里原先做模型能力的「研究产品经理」，和做产品表面、做 API 的产品经理正在合流：功能质量被评测和提示词卡住，这两个角色越来越像同一份工作。OpenAI 也给所有产品经理办过写评测的训练营。Mike 提醒，没有什么比亲自看数据更重要；打分器和标准答案都可能错，模型卡上的黄金答案有时连人看了都会觉得不像人会说、甚至数学有点不对。

Mike 说，用模型做原型这件事被用得远远不够。Anthropic 最好的产品经理会在设计师还没打开 Figma 之前，就让 Claude 做出两种界面的对比，然后大家一起试。这样能探索远比以前多的方案，评估速度也快得多。他认为，让自己进入「和 AI 工具一起做原型」的状态，会越来越值钱。

Kevin 认为，产品经理还得往技术栈里走得更深。不必人人变成研究员，但要花时间学这门语言、建立直觉。你面对的是随机、不确定的系统，评测只是目前最好的抓手。产品设计要回答另一套问题：模型说跑偏了怎么发现、反馈怎么快速收回来、护栏怎么设、日常在大量输出上如何监测聚合行为。这和「按钮点了没跳转」那种可复现的缺陷报告完全不是一类问题。

他说，不确定性顶着过去二十五年用电脑养成的直觉：同样的输入不再给出同样的输出。做产品的人自己还在适应这种不确定的界面，更何况不在科技圈里的用户。构建者必须把自己放进用户的鞋子里，想清楚这对他们意味着什么。坏处当然有，但也有很酷的好处可以设计进去。

Mike 说，用户研究现在一半看人怎么用，一半看模型在那种情境里做了什么。模型反应对了，研究者会生出一种近似骄傲的感觉；它误解意图、答到十页开外，又会非常沮丧。产品人需要一点 Zen：在这种环境里学会松开控制。

Kevin 拿坐 Waymo 来比喻 AI 采用：头三十秒还在替车担心会不会撞上自行车，五分钟后觉得自己活在未来，再过十分钟已经无聊得刷起手机。ChatGPT 还不到两年，当初 GPT-3.5 已经让人觉得原始得可怕。他说，人们适应魔法的速度非常快，然后就会期待下一次魔法。今天还觉得神奇的东西，十二个月后大概会被当成垃圾。

Mike 说 Anthropic 正在让产品更会「教人」。早期他们没这么做，现在会把功能用法直接告诉 Claude。这来自用户研究：有人问 Claude 某功能怎么用，模型只会说「你上网查查」，完全帮不上忙。现在上线时它能给出文档链接、一步步带着你。他认为模型其实很擅长解决界面困惑，应该更多地用在这件事上。

企业部署则是另一套教育问题。消费端几百万用户里，重度使用者仍偏早期采纳者；进了企业，你面对的是整个组织，里面有很多完全不技术的人，第一次接触聊天式大模型。这时可以开培训、发材料。内部的超级用户往往愿意当福音传播者。Kevin 补充，OpenAI 的自定义 GPT 让组织做出成千上万个封装好的应用，让本来不会用 AI 的人立刻感到有用。

谈到计算机使用，Mike 说功能来得很晚，但他们有信念要先发，尽管还早、还会犯错。内测时有人试着让它点披萨，Domino's 真的送到了办公室，只是份量比预想的多。早期有希望的场景包括 UI 测试：Instagram 当年几乎没有 UI 测试，因为脆弱、按钮一挪快照就挂；现在可以问计算机「它是不是按你想的那样工作」。另一块是客服和财务里把数据从一个孤岛搬到另一个孤岛。Mike 把目标说成：把苦差自动化，让人去做创造性的事。

Kevin 说，o1 不能当成现有模型在每个应用里的一对一替换。很多最成熟的客户，以及 OpenAI 自己，真正在做的是在模型之间编排工作流，让各自去做擅长的事。o1 擅长推理，但要想一会儿，也不是多模态，还有别的限制。

他把 o1 和预训练缩放对照。人们已经习惯 GPT-2、3、4 那种越做越大的预训练：模型知道得越来越多，但更像系统一思维，你一问它就立刻往外吐词。o1 是在查询时缩放智力：它会停下来，像人解数独或《纽约时报》Connections 那样形成假设、反驳或确认，再继续推理。Kevin 说，科学突破和难题就是这么答出来的。现在模型会想 30 秒或 60 秒；想象它们能想五小时、五天会怎样。他觉得这还只是这种新推理方式的 GPT-1 阶段。

并不是每个问题都该等 60 秒。所以他们会把不同模型搭配起来用。比如网络安全，听起来不该交给会幻觉的模型，但你可以微调一个模型把某类任务做好，再微调别的模型把输入输出卡得很精确，让模型互相检查输出、发现不对就重来。这和人做复杂工作一样：不同技能的人一起完成一件难事。

被问到六到十二个月后可能普及的体验，Mike 先种下两个词。一个是主动性：模型一旦了解你，并在你授权下监控邮件这类来源，就能发现趋势、给你一份晨间回顾、为下一场会做准备，或先起草一版演示文稿。他认为这种主动协助会非常强。另一个是更异步。他把 o1 看成这种交互的早期界面：模型会说明自己要做什么，然后想很久；你可以坐等，也可以去做别的，等它完成再回来。

一旦不再要求立刻给答案，你就可以把整份小项目计划丢给它去充实，让它修一个 bug，或把产品需求文档按几种新的市场条件改写。时间范围同时往两个方向拉开：你没问，它先告诉你；你问了，它可能一小时后再带着经过核验的初稿回来。Kevin 完全同意，并补充模型变聪明的速度还在加快，而这正是上述体验得以发生的一部分原因。

Kevin 还期待模型能用和人一样的方式交互：现在多半是打字，但人也说话、也看。他刚去韩国和日本，常常遇到完全没有共同语言的人。打开高级语音模式，让 ChatGPT 英韩互译，他就能做商务交谈。他说这就像口袋里的星际迷航万能翻译器，可能改变人们去陌生地方旅行的意愿，而这种体验会很快变成平常。

Mike 注意到 TikTok 上有一类内容，是年轻人对着语音模式掏心掏肺。他说自己再怎么信 AI，也想不出这种用法，但十四岁的人已经默认 AI 就该这样。Kevin 的孩子八岁和十岁，坐车时会要求跟 ChatGPT 说话，问一些稀奇古怪的问题，却聊得很开心。Sarah 说自己的孩子会现场导演龙和独角兽的故事，并要求实时生成配图。下一代对多模态接口的预期，已经在形成。

被问到产品里最意外的行为，Mike 说那其实是一种关系。用户能听出 Claude 作为模型的细微差别。新模型来了，他们会说：更聪明了，但也许更疏远一点。对他这个产品人来说，这意味着你运出去的不只是功能，而是智力；而智力和共情，正是人际关系之所以重要的东西。他比喻：如果一个朋友跑来告诉你「我升级了，数学分高了两个点，但我变成了另一种人」，你也会觉得要去适应，甚至有点担心。

Kevin 说，模型行为绝对是产品职责，模型个性是关键。有意思的问题是：它该个性化到什么程度，以及 OpenAI 该不该有一种个性、Claude 该不该有另一种。人选朋友是因为喜欢不同的人，用户选模型也可能出于同样的理由。

他提到最近有个提示在 Twitter 上传播：用户让模型根据它所知道的自己、以及过去所有互动，说说会怎样描述这个人。模型会给出一份基于那些互动的描述，人们反应很强烈。Kevin 说，用户已经开始几乎像对待某个人或某个实体那样和模型打交道。