评测集就是新的 PRD：Anthropic 研究产品负责人讲 Claude 如何找到自己

Lenny 回忆 Anthropic 刚推出第一代模型时，他觉得这帮人没机会：OpenAI 已经领先太多。Penn 2023 年加入，是第一位技术产品经理，当时产品工程只有五个人，整个 API 业务只有一名工程师。她说今天公司身上的东西，很多在早期就已经在：文化很强，使命和价值观说到做到，能量也像创业公司。早期真正要回答的，是技术怎样给用户和社会带来价值，公司自己又能成为什么。

她把 Golden Gate Claude 称为一个容易被忽略的拐点。2024 年初，团队发表了早期可解释性研究，发现模型内部有对应特定主题的特征，其中一个反复出现的是金门大桥。把这个特征调高之后，Claude 会在每个回答里谈到金门大桥：问意大利面食谱，它也会把酱汁的橙色比成桥身的国际橙。工程、产品、设计和研究在大约 24 小时内，把这个体验做到了 Claude 网站上。

Penn 承认它大概只触达了约 2000 人。可这件事让团队确信，他们能用产品把研究展示出来，节奏像创业公司，气质也和竞争对手不一样。工程师和设计师是自己捐时间做的。她说这就是早期自下而上的样子，而文化与价值观从那时到现在变化不大。后来的 Labs、Claude Code，都是沿着这条路，把他们对 AI 该如何走进公众的想法做出来。

被问到还有哪些拐点时，Penn 先点了 Opus 3。当时公司仍不到 200 人，核心问题是：凭什么选 Claude。模型大约在 2024 年 3 月初发布，前面好几个月，推理、微调、预训练和产品围着同一个目标转。她记得那年 12 月，自己、研究负责人和各路同事还在各自父母家里远程加班，背景里是童年房间。那段一起扛模型的经历，后来变成产品和研究方向长期合作的信任基础。

编程是另一道弯。2023 年她刚加入时，几乎没人把 Anthropic、Claude 和写代码放在同一句话里。GPT-4 也会被用来写代码，但只是诸多用途之一。她看到有人开始拿模型写长篇代码，而不是只做自动补全，于是把这当成训练 Opus 3 时一个相对较小的改动。结果却帮公司在早期开发者里站住了脚，也吸引来第一批 Claude 爱好者。

一年后的寒假，Opus 4.5 发布时大家又窝在家里写代码。Penn 说这次神奇之处在于，他们不仅有模型，还有 Claude Code 这个载体。团队常说：要让人感受到前沿模型，先得有前沿产品。模型到了能以智能体方式端到端跑任务的程度，Claude Code 的采用才被加速；反过来，没有 Claude Code，Opus 4.5 也不会有那个时刻。Lenny 提到 Dario Amodei 很早就预言编程会被模型拿下，当时很多人觉得太复杂，结果他对了。

Lenny 问，身处这条历史性的指数曲线是什么感觉。Penn 拿互联网从新鲜事物变成人人都用的基础设施来类比。她说最重要的是适应能力：评测、红队测试、Claude Code 这类原型，都没法精确告诉你某项能力会在哪一代模型上出现。面对新信息时重新做决定，比守着原计划更重要。另一件事是用第一性原理想下一步该投什么产品、怎么把差异讲给用户听。Cowork、Skills 这类体验，就是把原本以为几个月后才做的计划提前拉上来，因为模型已经能做了。

不同团队感受到指数的速度不一样，领导者还得把变大的组织一起带上。她回头去看最初的 scaling law 论文：随着算力和数据增加，下一词预测的损失平滑下降，模型看起来越来越聪明。同一篇论文里还有另一类图：能力是不连续跳出来的。模型会从算不了 1+1，突然变成能稳定计算。正因为没人能精确知道跳跃发生的时刻，才需要评测集去捕捉；安全也因此更难，因为跳跃可能已经发生，你却还不知道。

Lenny 把这理解成：你可能已经养出一颗会做某件事的「AI 脑子」，工作之一就是发现它、再决定拿它做什么。Penn 用产品经理的话说，今天的模型里已经有产品和用户两端的 overhang：现有的 Opus，以及 Fable 这类新模型，都还有大量没被探索的用法。这种发现欲，她认为从 Anthropic 早期就写进了基因，现在仍然是产品、Labs 和研究的工作方式。

Lenny 提起 Y Combinator 总裁 Gary Tan 的说法：现在一年愿意花大约 10 万美元买 token，就是在过 2028 年普通人会过的日子。Penn 把镜头转到产品：token 花费是投入，产出该是实验。目标如果对准实验，达到它的办法可以不止一种。她也承认，Anthropic 内部最会做原型的人，确实会在每个新研究模型上花大量时间。技术跑得这么快，不亲手摸，很难想出像样的策略。

早期产品界面还少的时候，几乎全公司都在一个 Slack 频道里测 Claude 的早期版本。有人让它改作文，有人让它写邮件，没人把这些叫「用例」。一个人抛出一个想法，别人跟着变体试，大约十几次请求之后，就可能冒出一种新用法。她的意思是：发现不必是个人运动，内部公开地做实验，让同事叠在彼此的发现上，往往更有效。

Labs 的命题，是去拽核心路线图之外那些不连续的大赌注，并追问 10 倍、100 倍、1000 倍长什么样。Claude Code、Skills、Claude Design、MCP 都从这里出来。今年他们的做法是：对主题和方向持强观点，对具体原型持弱观点。有的想法这一代模型还不行，就隔一两代再回头看。失败的原型只要带来学习，也算有价值。小队往往很小，有时从一个工程师开始；人选则偏向真正想做从 0 到 1、并且能接受赌注被关掉的人。

Lenny 以为研究员的日常是：有个改进模型的假说，找数据、改算法、调训练，再测试、再迭代。Penn 说这只覆盖了偏日常的一层。研究组织里还有一层更像创始人的愿景：公司成立时，研究员就已经在谈怎么让 Claude 会用电脑、会在屏幕上导航。一边想技术能走到哪，一边改今天已经交到用户手里的 Claude。她的团队嵌在这两条回路里，尤其是视觉、computer use、智能体编程、工具调用和测试时计算这些直接碰到用户的方向。

难的是把原始反馈落到研究员听得懂、动得了手的粒度。用户说「Claude 产生幻觉」，拿这句话去找研究员，对方没法改。团队会顺着那次对话往回追：当时该不该调用工具？是看对了文档却抽错了事实？第一种是工具调用失败，第二种是检索和综合的问题，也可能和对齐有关。问题够大，就做成评测，用来说明改没改好。这是研究员日常的语言，产品要贴近这套语言，才能把用户和模型训练连上。

谈到怎样成为出色的研究员，Penn 说 Anthropic 里最强的人，是能用第一性原理把问题想清楚、对自己的方向有热情、愿景也敢写得很大胆的人。首席科学家、微调和强化学习负责人会盯训练过程、看评测、看底层数据，在细节里养品味。另一面是野心：Dario 那种「我们可以改造软件工程」的目标，逼着人把想法往远处射。她常问团队：假如 Claude 8 来了，用户行为会变什么，今天做的产品向前兼容吗？方向要能收束成一条路，而不是各奔东西的野心。

Lenny 注意到 Mythos 受到限制和大量审视：过去发布 Opus 4.5 是欢迎所有人来用，现在每家实验室都得先确认模型不会闯进别人的系统。他问这会怎样改变 Anthropic 的运作。Penn 把政策和出口管制留给负责那些事的人，只谈产品。随着前沿模型变强，护栏、红队测试和发布前流程也必须很快跟上。

Fable 这代模型之前，他们还没有足够强的回退体验。目标是让这项技术的好处不对称地大于严重风险，于是做成了回退系统：用户仍然能从 Opus 4 拿到好回答。她说安全和体验两边都还有空间，团队正在改进现在称为「模型护栏包」的东西，未来几周到几个月会看到更多。Lenny 担心限制访问会让实验室内部形成不公平优势，因为员工先用上外面还用不到的模型。Penn 说目标是让通用模型尽量包容、尽量可及，减少这种落差，这是眼下的优先事项之一。

Penn 说她的团队三年没改过招聘流程。他们要的仍是第一性原理，而不是把消费级产品或 B2B SaaS 的旧套路搬过来。研究产品经理证明自己的方式，不是写传统的 PRD，而是找到对的用户反馈和评测，让评测成为用户需求的化身。团队有句口头禅：评测集就是新的 PRD。第一性原理意味着先问怎样达成目标，而不是把过去一二十年写过的那套活动再做一遍。

第一步仍然是理解痛点，只是接触痛点的方法变了。过去可以看用户点过哪些界面；现在必须像抠像素一样抠 token。团队会深读失败轨迹的对话，判断是幻觉还是 Claude 过度自信。失败主题有很多细微差别，然后才能写成一份稳定的痛点描述，也就是新的评测。评测还得看分布：既覆盖正在失败的情形，也覆盖本来不该失败的情形。再拿回研究，问 Opus 5.5 这一项有没有变好，Claude 能不能从文档里抽出该抽的内容。

她举的早期例子是 JSON 格式。Claude 2 那阵用户说模型不听话，细挖之后大约 80% 其实是 JSON 写不对。输出格式过不了关，就调不了 API、用不了工具，后面也当不好智能体。他们先收集了大约 30 到 40 个失败样本当评测集：提示、回复、以及期望的标准答案。这套评测进了仓库，每个新版本都要跑。现在已经接近 100% 或 99.9%，不再是痛点。Lenny 把这称作产品经理的测试驱动开发。Penn 同意：不能衡量，就不能改进。

PRD 并没有消失。问题定义清楚时，评测可以当捷径；需要让一大群人朝同一方向走时，PRD 仍是对齐体验、目标和事实来源的工具。每个模型他们都会写一份，主要给不断变多的产品界面、工程、法务和安全看，研究员反倒不是第一读者。另一类适合写 PRD 的，是 computer use 这种还没有明确痛点的模糊赌注：愿景部分用来探索，哪怕技术还不能服务所有人，也要先让某一群用户用起来。

对已经坐到管理岗、或处在职业中段的人，Penn 的态度很明确：要带好和这项技术打交道的团队，自己必须上手，不只是摆弄一下，还要真正用它把东西发出去。她招来的资深产品经理，入职计划和早期同事一样：理解用户、读经过同意的用户反馈、和客户谈话。每次有新模型，她会给自己留出时间，亲自负责一两根工作流，好保持对模型改进速度的判断，也才能帮团队做决定。

Lenny 问，有人觉得 AI 烦人、被迫使用、已经很累，怎样找回乐趣。Penn 再次强调：实验不是个人运动。她经手过大约 20 个正式版 Claude 以及几乎每个研究版本，快乐有一部分来自看别人发现新用法。与其一个人去找那个完美用例，不如找一个对你在意的场景已经很兴奋的人一起做。对别人来说是工作的事，和人一起做常常会变成乐趣。内部也常出现这种循环：一个好奇的人分享新原型，更多人突然发现 Claude 现在能做这件事了。

可试的东西太多，她自己的办法是只在一两件事上走深。Lenny 说读者调查里最清楚的一条也是这个：幸福来自把少数几件事做透，而不是同时碰一堆半残的工具。对产品人来说，这变成时间和精力的优先级练习。如果目标是带着乐趣去实验，就要设计达到这个目标的投入。她把 Anthropic 的秘方说成文化、自下而上，以及公开实验、把别人一起带上。

Penn 用 Claude 让自己成为更好的管理者。她做过一个基于《关键对话》的 Skill，用来准备难谈的对话，检查自己有没有进到该有的细节深度。她把它看成个性化教练：帮助她想清楚对方可能的反应，更快建立信任，必要时更直接。有时她并不采用 Claude 的建议，头脑风暴本身仍然有用。她认为这不只是把产品体验的「智商」抬高，也是在情商一侧给人补手。

谈到过度依赖和「脑萎缩」，她说对自己而言，思考和写作是绑在一起的。她会用 Claude 增强思考，但不想让它接管全部思考。需要自己判断的场合，她先形成观点，再和 Claude 一起打磨，并保住自己的语气。月度业务回顾这类更新则相反：她希望写作被完全交给 Claude，自己当审核和核验的人，因为思考比起草更值钱。用不用、交多少，取决于这件事里委托出去有没有不对称的好处。

这和 Anthropic 的对齐与安全研究连在一起。只同意你的 AI 没有用，她要的是能把结果推到更好的合作者。想法还不成形时，她希望同事顶回来。她用过研究版 Opus 来帮着权衡下一版 Claude 的定价，目标是走出来时决策更好。主动性也包括知道什么时候该反对，而不是按日程把该做的事做完。思考搭档的英雄目标，是让你带着更好的想法离开，而不是把原想法改善百分之十。

Lenny 问，以后还能不能分辨一段文字是不是 AI 写的。Penn 说这取决于你为什么想知道，评测是什么。她的团队和研究侧正在专门训练 Claude 把文章写得更好。想法由谁主导，该不该写清楚，要看写作的目的：月度业务回顾她希望从头到尾都由 Claude 写。她把更重要的问题从「谁写的」挪到「谁在核验、谁签字」。

为什么大语言模型反而还不擅长写作？她认为技术是锯齿状的。模型还不会当智能体时，训练重点是让它更会调用工具；这一头改善之后，写作、语气和性格就成了新的毛边。语气和性格现在是优先事项。能力会一次次跳到新的正常水平，人类又会提出下一档要求，比如希望 Claude 更主动。她把这看成该有的事：人想让自己更好，也该让这门技术更好。

人类大脑在走向更强智能之前仍最值钱的地方，她首先点了判断力。判断是大量细微经验和分寸的积累，这些系统还没有人类那么多阅历。产品领导者仍然要决定：AI 能做的事情那么多，实验室该做哪几件。韧性、主动性这类行为特质，也超出了一般能力清单。软件工程已经被 AI 明显改写，生物和生命科学还在指数曲线的山脚，所以 Anthropic 才投 Claude for Science 这类方向。对四岁和八岁的孩子，她想培养的仍是自己成长时那些东西：好奇心、韧性，以及相信并发展自己的内心声音。

一位近期嘉宾建议 Lenny 问她：作为母亲、又站在 Anthropic 研究工作的风暴中心，怎样避免燃尽。Penn 说 2024 年全年发布了四个模型系列，今年第二季度的量已经超过那个数字。没人能独自、可持续地做这种又关键又快的判断。她觉得自己幸运，因为研究和研究产品团队会互相照看：发布前夜，即使不是这代模型的直接负责人，也会留下来帮着改博客、改演示，给对方多一双手。他们把那种彼此同步叫做进入蜂巢思维。

这种互相补位，让人能真正休假。她 6 月休过假，回来时不是工作堆成三倍，而是知道团队能把该做的事做对。招聘时她会看这个人是在意自己的地盘和编制，还是在意给 Anthropic 和团队的影响做贡献，偏向低自我、以团队为先的人。Lenny 转述另一位嘉宾的观察：工程师现在更多和智能体而不是和其他人共事，团队变小，工作更孤独，于是身边的人反而更重要。技术把个人杠杆放大了，能在第一性原理和假设上与你同步的人，才能在你背后补位，或把你的决定磨得更锋利。

收尾时她主动提到社区里的问题：模型这么强、工程师又往前靠，还要不要产品经理。她认为角色的核心是以用户为中心，钻进用户想完成的事，再把这件事用可行动的形式浮出来，并且持续做这种吃力的工作。技术层叠得很快，要让它真正有用，必须走深、保持好奇、自己上手。Lenny 同意：建造越来越容易，难的是决定该造什么、以及造出来的东西好不好。这些特质，她认为也是 Anthropic 产品和模型开发文化的一部分。