在产品团队里建一个实验室:Dan Shipper谈如何跟上不断移动的AI前沿

原标题Build a Lab Inside Your Product Team: Dan Shipper on Keeping Up With a Moving AI Frontier

Every联合创始人兼CEO Dan Shipper在Lenny and Friends峰会上说明,一个极小的、以可丢弃实验为主的实验室,如何与专注交付的产品团队共存,并把赢家交回去。

LRLenny Rachitsky主持 · Lenny's Podcast
频道
Lenny's Podcast
视频
18:32
阅读
8 分钟
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

Dan Shipper认为,同一批人既去探索AI前沿又去执行路线图会互相拉扯,所以该把工作拆开。实验室最好只有一两个人,大量试、大量扔;明确的管道和晋级标准,把大约一成赢家交给产品团队。他用Every内部的「Kate pass」审稿代理,以及OpenAI把Codex并进ChatGPT,说明这条回路现在终于转得动。

  1. 1探索和执行是相反的动作探索发散、大部分要扔掉;执行收敛、要说不。让同一批人同时干两件事,会把他们往相反方向拉。
  2. 2早采用者既是最好的传感器,也是最大的干扰周末已经在跑新模型的人,比谁都清楚产品可能变成什么样,但实验室能让他们探索,而不把别人带跑。
  3. 3事先讲清楚预期:实验室大约扔掉九成产出,产品团队大约只收一成。 这样实验室敢试,产品仍能对现有客户保持连贯。
  4. 4Shipper把贝索斯的两人比萨团队改成「两片披萨」:最多一两个人。 海盗负责在一堆能扔的东西里找价值,建筑师把能用的原型收成可扩展的系统。
  5. 5用内部是否有人反复使用当价值代理,再问一个月后是否仍好十倍。新鲜感会骗人,时间和回头用才是过滤器。
  6. 6Codex说明自我颠覆现在能成小团队在主应用外做出来,增长快到被并进ChatGPT并成为其基础;标志是新模型发布时你欢迎而不是害怕。
全文

按章节阅读完整文稿

01

盯前沿和跑路线图是相反的工作,不该交给同一批人

Dan Shipper在Lenny and Friends峰会上开场就说,他要讲的是在移动前沿上做产品,或者用他的说法:技术革命期间,「一切照旧」有多么不合理。他指的变化很具体:前一周刚发布了Fable 5.1和Astra 6。他用一个提示跑了大约四小时,做出历史上准确的滑铁卢战役三维再现;同事把一篇关于智能体互动的科学论文喂进去,电脑上跑起大约一千个互相作用的智能体。Astra已经好到能进Premiere剪视频,他这套幻灯片里的动画大多也是Astra做的,自己几乎没碰过动画面板。

对产品负责人,这提出一个难受的问题。埋头赶路也许能撑一阵;问客户也许有用,但多数客户并不熟悉这些技术,反而在等你指方向。把B2B SaaS改成三维多人策略游戏?他半开玩笑说也许可以,但很难。他半认真的第一条规则:冥想闭关、迷幻体验或第一次碰到前沿模型之后的三十天内,不要做重大人生决定。笑完,他进入真正的难题。

核心问题是:产品团队里每个人都同时被要求高水平执行路线图,并待在前沿。这两种工作方式相反。探索是发散的,试很多模型、做很多演示,大部分要扔掉。利用是收敛的,聚焦、说不、按已经排好的计划交付。同时做,就是往相反方向拉。他的主张是:给产品组织加上研究实验室的元素,讲清楚为什么建、怎么跑,以及如何把实验室里管用的东西送回主产品,例子来自Every和他认为最强的AI公司。

02

实验室让早采用者去探路,而不把整支产品团队带跑

Shipper说,每个产品组织里都有人探索得远比同事多,值得先认出来。他们是内部早采用者:周末已经在用Astra和Fable做个人项目,人已经活在未来的某个版本里。因此他们对产品可能变成什么更有感觉,尽管兴奋的东西里很多最终没用。问题是,他们也可能是巨大的干扰。关键问题变成:如何驾驭团队里、甚至客户里的早采用者,同时不让其他人分心。

Every的答案,也是他认为许多优秀AI公司正在汇聚的结构,是把关切分开。产品团队负责改进和放大已经管用的东西;实验室负责探下一步、做演示、试新模型。AI让这件事变便宜:实验室可以是一个人,新模型一落地就去挖、回来汇报。团队里每个人都有了超能力,不必巨额投入。

两支队伍的预期必须不同。实验室应预期扔掉大约九成产出;产品团队要对现有客户负责、让产品连贯,不能把一堆垃圾扔给他们,因此大约只该采纳实验室尝试过的一成。他认为实验室这种结构以前就有,但在AI里第一次真正转得动。例子是Anthropic Labs:Claude Code、MCP、skills、Claude Design,都来自内部一个小团体的实验,公司再加码赢家;你没见过的实验还有上千个。

03

实验室要极小团队、极紧反馈,并允许互相竞争的实验并行

怎么把实验室跑好?Shipper把贝索斯「两人比萨」的八到十人,改成AI时代的「两片披萨」:最多一两个人。一两个人已经能走得又远又快,再加人就有协调成本和互相打架的愿景。Every好用的搭配是海盗加建筑师。海盗是他自称的「垃圾炮」,痴迷于找价值,大量乱做、大量扔掉。建筑师看着一团也许完全是氛围编程出来的系统,把它收成有价值、好看、可扩展的东西。这两种人配对,他认为在AI里特别强。

下一条是自己吃狗粮。实验室最要紧的是「做出来」到「知道好不好」的回路要短,最短的是做给自己用。做不到,就找几个早采用型客户。实验应落在真实工作上,才能分清是有用还是仅仅新鲜。这和产品团队很不同:实验室该并行很多实验,哪怕在攻同一个问题、用互相竞争的路径。看起来乱、不连贯,但能力在动、前沿未知时,不同角度去撞,才能画出地图、判断什么有价值。

最后,扔掉的九成也要有回报。Every把实验做成对外内容:试过什么、什么成了、什么没成,读者爱看,也能带来客户。实验还可以喂给早采用者项目,让想贴得更近的客户有东西可玩。底线是实验室持续把「现在什么已经可能」同步给产品团队,让他们做决策时用得上,而不必自己再去翻一遍前沿。

04

用一条研究管道把实验送进产品,「Kate pass」就是这样走过来的

实验室做出东西之后,要有一条研究管道:想法从左边的「仅限实验室」起步,大量小实验往右移,某个时刻交给产品团队,开始进入产品。多数实验不好,少数能用的拿到真实工作里测。Every的第一关是:团队里其他人会不会开始用。会用了,往往就可以放到早采用客户面前,也该让产品团队认真看它在路线图上的位置。即便到这一步也不是每件都能过,但有些会走到可规模化、可发布。

具体例子是Every的总编辑Kate。Shipper说自己怀着爱意、试图把她自动化已经三年。Kate文案品味极好,团队大约三十人后她改不完所有稿,再招一个同等品味的人又很难。他想用AI扩大她的影响,而不是让她夜里继续改到很晚。做法是下载她过去三年的全部修改,做成他称为Kate bench的基准,再让Fable去改最新一篇。这类尝试他做了好几年,能力最近才刚够Kate真正拿去用。

实验随后进了Every内部全公司用的agent。Kate现在可以对草稿说做一次「Kate pass」,系统会按她的历史修改提出建议,并随时间变好。这是Shipper业余时间做出来的乱原型,内部开始用、开始传开,是价值信号。到了内部使用阶段,他才请来建筑师Yanek,把能用的乱摊子收成真正的系统:每篇文档有仪表盘,看建议采纳了多少、Kate还要补多少。结果是这类修改上Kate比前一个月少做了百分之十二。Yanek的工作是让它能持续改进、复利。团队已开始考虑放到早采用客户面前,并问这套流程是否也适用于审稿之外。

05

用明确标准把赢家并进主产品,Codex已经证明自我颠覆能成

要让想法持续往前走,Shipper说Every每周在全员会上过管道,进度记在Notion。产品团队不必自己做实验,也能看见什么正在上移、若被证明对产品意味着什么。实验室和产品组织因此能对齐。晋级要有明确标准,并且把它当成一次事件。Every的第一问是:有没有人在用、会不会回来,内部使用是价值的代理。第二问是:是否比现有方案好十倍。新鲜感很兴奋,一个月后是否仍然更好,要用时间和反复使用来滤。第三问是:规模化后是否还负担得起。

终点是把赢家并进主产品。实验室和自我颠覆的想法早已存在,Shipper认为它们现在在AI里第一次真正管用,因为团队能跑得足够快。例子是Codex:一个小团队在主应用外做,OpenAI内部同时还有别的小组在试编程的未来形态,比如IDE里还是命令行。桌面应用在2026年2月上线,涨得太快,最终并进ChatGPT并成为其基础。那支小小的Codex团队,等于接手了一个号称八亿日活的应用。

他觉得这就是承诺:你可以一边放大已经在卖的产品,一边做出下一版,而不至于把自己逼疯。判断这套做法是否在工作,就看新模型发布时你是欢迎还是害怕。他是Every的联合创始人兼CEO,Every自称是「停留在AI边缘只需要的那一份订阅」。讲完,现场鼓掌。

同频道的其他文章

1:10:27EN → 简体中文
Lenny's Podcast播客 · 2 人对谈硬技能让你进门,软技能决定你能走多远嘉宾 Jules Walter · 主持 Lenny RachitskyYouTube 产品负责人 Jules Walter 把 PM 能力拆成 IQ 与 EQ,并讲怎样用最小请求找到导师、把反馈变成习惯。产品与体验Product ManagementLeadership+3
1:30:46EN → 简体中文
Lenny's Podcast播客跳过「末日漏斗」:Cursor 招顶尖 50 人的打法主持 Lenny RachitskyCursor 人才负责人 Adam Ward 讲如何界定角色、画出全球大约 50 人的名单,再持续追他们,而不是招漏斗里活下来的人。企业与战略Company BuildingLeadership+3
1:42:04EN → 简体中文
Lenny's Podcast播客 · 2 人对谈先做生命体征测试,再谈把付费增长拧到最大嘉宾 Timothy Davis · 主持 Lenny RachitskyShopify 绩效营销负责人 Timothy Davis 讲何时开始买量、怎么做小测试、测哪些平台、看什么指标、以及先招什么样的人。企业与战略Go-to-MarketGrowth Strategy+3
1:21:44EN → 简体中文
Lenny's Podcast播客从划桨到掌舵:OpenAI 如何把 Agent 做成持久共事的同事主持 Lenny Rachitsky负责 Codex 与 ChatGPT Work 产品的 Tara Seshan 解释:当 Agent 负责划桨、人负责掌舵时,产品经理的工作会变成什么样。智能体Product StrategyAI Product Management+3
1:01:00EN → 简体中文
Lenny's Podcast播客 · 2 人对谈谁掌握注意力:Substack 如何按「控制权」做产品嘉宾 Sachin Monga · 主持 Lenny RachitskySubstack 产品负责人 Sachin Monga 讲路线图背后的原则、Recommendations 如何长成增长引擎,以及他认为互联网写作的下一阶段会怎样。产品与体验Product StrategyGrowth Strategy+3
1:26:22EN → 简体中文
Lenny's Podcast播客先从小处开始,再挣来自主权:五十多次企业 AI 落地教会他们的事主持 Lenny RachitskyAishwarya Naresh Reganti 和 Kiriti Badam 解释,为什么 AI 产品需要另一套构建流程,以及怎样一步步提高 Agent 自主权而不丢掉客户信任。产品与体验Product StrategyAI Product Management+3