同样的智能，只要 1% 的价格：Logan Kilpatrick 谈 Gemini Flash

Nathan Labenz 欢迎 Logan Kilpatrick 重返《The Cognitive Revolution》，Kilpatrick 是少数在两家头部 AI 实验室内部都待过的人。他曾任 OpenAI 的开发者关系负责人，现在是 Google 的产品经理，负责 AI Studio，也就是 Gemini API 前面那个类似 playground 的界面。这期节目录制于 Google I/O 之后，是 Kilpatrick 在和家人吃晚饭前挤出来的空档。Labenz 把这一小时的话题围绕文化、DeepMind 研究的速度、AI Studio、Gemini API 和 Vertex 之间的分工，以及一个他认为开发者无法忽视的模型展开。

这个模型就是 Gemini 1.5 Flash。Labenz 在开场时列出的数据是：它在用户的两两对比中明显胜过最初的 GPT-4，上下文窗口长 100 倍，每个 token 的价格只有 1% 到 2%，而这些进步都发生在一年之内。Flash 的微调在路线图上，Labenz 说，取决于这期间还会发布什么，它有可能成为全球范围内可供微调的最强模型。节目的其余部分，讨论的是这种性价比的跃迁会如何改变产品策略，以及 Google 希望开发者从哪扇门进入。

Kilpatrick 刚离开 OpenAI，Google 的人就开始找他。他和现任经理谈过，也和 Google Labs 的负责人 Josh Woodward 谈过。Woodward 在 Google 工作了 15 年，从实习生做到高管，主讲过好几场 I/O 主题演讲。Kilpatrick 觉得招聘流程很慢，他很着急，但他把这看成公司在 AI 上下了一个数量级的赌注。Woodward 的团队做出了 Gemini API 和 AI Studio，Kilpatrick 的团队则要在这些产品的开发者数量突破 100 万之后接手扩张。要跟上这种紧迫感很难，这也是他接受这份工作的原因。

Labenz 自己也有一个小例子，说明 Google 现在的劲头。Gemini 1.5 最早发给早期测试者时，他不在名单上。他在一个周六上午 11:30 左右，通过 Twitter 给 Jeff Dean 发了私信；Dean 在一小时内回复，并抄送了 Woodward。到周日早上，Labenz 就拿到了百万 token 上下文的访问权限。他由此得出结论：没有哪一级资深人员在袖手旁观。Kilpatrick 指出，Woodward 当年就是 Google 的实习生。Dean 在周末回复粉丝的邮件，也是同样的姿态。

Kilpatrick 要讲的文化对比很具体。早期的 OpenAI 让几乎任何人都能走进研究会议，听听模型的进展。ChatGPT 和 GPT-4 之后，研究与其他部门之间竖起了一道厚墙，他认为这些理由是正当的。Google 也保护知识产权，边界清楚，关卡分明。即便如此，他仍然觉得人们是想合作的。他说，DeepMind 确实关心开发者，因为开发者是把技术送进世界的主要渠道之一。这和 ChatGPT 时代那种把大部分鸡蛋放进消费级聊天篮子里的本能，感觉很不一样。

这个例子几乎太巧了。录制前的那个周末，DeepMind 团队的工程师 Susan 发来一份长而写得很好的文档，列出了上手 Flash 的各种难点。24 小时之内，AI Studio 团队就完成了一批改动。研究团队主动帮忙调试开发者的上手流程，并不符合人们对前沿实验室的刻板印象。Kilpatrick 的结论很实际：正是这种协作，让他能为开发者做出真正对的东西。

局面已经反过来。DeepMind 做的东西太多，Google 的限制不再是研究创新，而是产品团队能否把这些模型妥善包装好，交给开发者和 Google 自家的各个入口。I/O 主题演讲结束时，有人数了一下，“AI”一词出现了 121 次。Kilpatrick 最喜欢的 Google 自家工作流，是 Google Meet 里的 Gemini 会议记录：点一下，之后会收到一封邮件，里面有摘要、待办事项，还有被标注的相关人员。他还用 Gemini 和女朋友一起规划了亚速尔群岛的行程，并把行程导出到 Google 文档。另外还有 Chrome 里的 Gemini。数十亿人在用浏览器，如果想从全球规模的影响来考虑，那才是真正重要的分发渠道。

Labenz 希望 Kilpatrick 给一个直接的答案：Google 反复用来形容 Gemini 1.5 的那个词，原生多模态，究竟是什么意思？是一个能吞下所有模态的 Transformer，还是内部的一条流水线？Kilpatrick 面向开发者的简短回答更直接。你输入任何类型的内容，今天就能拿到文本输出，也不必为跨多个模型的路由付出代价。过去的做法是把音频、图像、视频和文本串起来，每一跳都要付出往返延迟，多模态功能常常在生产环境中夭折。Flash 把这四个模型合并成一次快速调用。

Google 在 I/O 之后发布的那份约 150 页的 Gemini 1.5 技术报告，没有把架构讲清楚。Kilpatrick 不确定这到底是 Google 应当公开的细节，还是团队刻意保留的秘方。Labenz 提出一个检验办法：如果模型能察觉音频里的语调和情绪，那音频大概率不是先转写成纯文本、再交给模型处理的。Kilpatrick 说这个问题有人问过，答案可能只限于某些场景，他会去跟进，因为开发者搭建的用例取决于此。

在模型阵容上，他愿意做减法。Gemini 1 已经被完全取代。1.5 Pro 在几乎所有维度上都优于 Gemini 1.0 Ultra，而 1.0 Ultra 从未广泛开放，部分原因是团队早已看到 1.5 Pro 的到来。开发者应该把心智模型切换到 Flash 和 Pro。在 LMSYS 排行榜上，新的 Pro 模型与 GPT-4o 只差几分。其中一个 1.5 Pro 条目是 Gemini Advanced，这是一个用来展示实力的在线版本，只存在于 Google 自家的界面中，不在 API 里。Kilpatrick 已经告诉 LMSYS 团队，他们应该学学 Hugging Face 的做法：提供模型卡，好让人们分清每个名字指的是哪个模型。

Labenz 很惊讶 DeepMind 仍然发表看起来像顶级知识产权的研究。他提到了 Infini-attention，那是一篇与状态空间思路相似的论文：它有一个固定大小、持续更新的注意力槽，并谈到无限上下文。Kilpatrick 对那篇论文没有特别的内幕。他列出了实验室仍然发表论文的常见原因：做姿态、给研究人员署名、吸引学术人才、抛出一个可能有用的想法，以及一个更冷静的算盘：也许竞争对手已经能从另一篇论文没有写明的部分，推断出类似的东西。即使要花掉一个商业秘密，发表在经济上也可能是划算的。

Labenz 提出一个他尽量不去过分看重的传闻：DeepMind 曾经拿到令人印象深刻的内部状态空间模型结果，压着没有发布，直到 Mamba 问世之后才拿出工作。Kilpatrick 的回答，是这期节目中传播最广的一句话。他说，真实的传闻数量少到四舍五入后约等于零。你读到的大部分内容，离现实都很远。他在 OpenAI 时，凡是他确切知道的、外界在传的事情，从来都不是真的。开发者应该继续提问，但要用第一性原理式的怀疑去分析，别把传闻当成路线图。

他真正希望开发者盯着看的，是视觉。在 GPT-4 发布前的几周，他和 Greg Brockman 一起看过那个手绘草图演示，当时他以为多模态会立刻落地。他现在说，在 Flash 出现之前，原生多模态的视觉用例在成本和延迟上其实做不到。前一年的 AI Engineer Summit 上，他把 2024 称为多模态模型之年，他认为这个判断正在应验。大多数生产环境中的视觉请求，都是“告诉我图中这部分在发生什么”的某种变体。Flash 可以输出一个或多个边界框。此前最先进的视觉模型对空间坐标几乎无能为力。定制的分割模型，以及大量的 UI 点击自动化，现在只需要一句提示词就能完成。

Labenz 是 Athena 的 AI 顾问，Athena 是一家高管助理公司。它以前的入职流程，要花一小时通话，再花四小时撰写客户档案，如今这份档案大部分交给语言模型来完成。Labenz 把自己最近发出的 250 封邮件（包括正文、回复和转发，每封约 1000 个 token，合计约 25 万个 token）几乎不做提示词工程，就直接塞进了 Flash。模型返回了一份两页的人物速写，涵盖他的播客、Athena 以及他的其他 AI 项目。从 Gmail 里把邮件导出来，花的时间比推理还长。整个任务跑了三到四分钟，Flash 用了约 45 秒，按每百万 token 0.70 美元的价格，账单不到 20 美分。

原版 GPT-4 的 8000 token 窗口，在输出之前大概只能装下五到八封，还得加上失败重试和拼接。Labenz 开玩笑说，上下文窗口的膨胀是最好的“超级通胀”。同样的请求放到 Gmail 内置的 Gemini 里却被拒绝了，这说明 API 和第一方产品并不对称。他已经在想下一批任务：客户提过的每一份礼物、每一个会员号，都倒进一张表格里。Kilpatrick 是 Athena 的客户，也在 AI Studio 里用 Gemini 1.5 技术报告做同样的事：上传 PDF，然后提问。他们后来现场试了一下，模型如实地说，文档并没有明确定义原生多模态，这正是他所预料的结果。

然后他把价格摆上桌面。最初的 GPT-4，也就是 2023 年 3 月 14 日的版本，每百万输入 token 收费 30 美元。Flash 在 128k token 以内是每百万 0.35 美元，超过 128k 则是每百万 0.70 美元，而他形容这是一个同样聪明、能力却更强的模型。这种更快、更聪明、更便宜的趋势不会停下。太多开发者仍然只是在功能清单上随手加一个“AI”。他希望大家设计的世界里，智能存在于产品的每一个界面，成为主要的交互入口之一，并最终便宜到不必计量。他怀疑 Project Astra 的眼镜演示，大部分可以用 Flash API 加上几百美元的现成硬件复现出来，这件事已经在他的待办清单上了。

Flash 的 LMSYS Elo 为 1232：比最初的 GPT-4 高出将近 50 分，比不受欢迎的 2023 年 6 月版 GPT-4 高 70 分，只比 1 月版 GPT-4 低约 15 分，而价格只是它们的一小部分。Kilpatrick 大部分的日常 AI 使用都已转到 Flash 上，他感觉它比 Pro 快约三倍，不过延迟是一个混乱的公开数字，负载、时段和高峰模式都会影响首个 token 出现的时间。他希望有一个带三个滑块的基准测试，分别对应智能、价格和延迟，因为光看 Elo 会低估一个既是多模态、又比同类便宜一个数量级的模型。128k 处的价格跳涨是一道硬门槛，用来反映长上下文的计算成本并非线性增长。在 Google 内部，成千上万个团队使用的，和开发者拿到的是同一套 Gemini API；只有当 Maps 这类产品需要基础模型没有的数据时，团队才会分叉出定制的后训练版本。

Labenz 承认，他一直搞不清在 Google 内部该去哪里：Cloud、Vertex，还是 AI Studio。Kilpatrick 说，简化这张地图是他目前最关心的事之一。Vertex 是企业云路线，涉及法律、监管、隐私、SLO 和签署的协议。如果你是开发者，想在创业公司里用 Flash 或 1.5 Pro，那就从 AI Studio 开始：先在 playground 里试，拿到 API key，再决定是否调优模型，然后把生产环境放到能够扩展的 Gemini API 上。他举的类比是 OpenAI 和 Azure OpenAI。大多数开发者选择阻力更小的入口，是有充分理由的。除非你有特定的企业云需求，否则可以不理会 Vertex。

AI Studio 的基因偏消费级。它最早叫 MakerSuite，面向自动化工作流，后来才变成开发者的 playground。Labenz 把它当成自己的私人研讨班：一个保存下来的模板里放着约 20 篇混合专家（MoE）论文。GPTs 刚推出时，他试着把整个代码库塞进去，结果系统只做了检索，没有通读，漏掉了一些内容。他要的只是模型把全文装进去，而这种需求，现在还能满足的产品已经不多了。Kilpatrick 的团队讨论过把邮件导入 Studio，好让人们亲身感受模型的工作方式。但他们是刻意克制的。使命是让开发者基于 API 构建；一个消费级工作区不应该在无意中变成产品。

在路线图上，Veo 的推出方式不会像 Sora 那样。Kilpatrick 没有时间表，但 VideoFX 的工具看起来已经很稳健，而 Josh Woodward 描述过一种截然不同的策略。函数调用将推出 v2，也就是即便版本号不正式，也会有实质性改进。Gemini API 已经有语义检索 API，可以把文档上传到语料库中，但目前的设计未必是长期方案。Vertex 的智能体（Agent）构建器走得更远，其中一些经验可能会迁移过来。1.5 Pro 的微调暂不开放。Flash 的微调原定 5 月 30 日公布，还有一个别家都没有的定价安排：训练不收费，推理也不额外收费。

Labenz 的经验法则是：微调适用于收窄单一任务、输入和输出都严格受控的场景；像“按我的口吻写”这类临时任务，更适合直接塞上下文。他在 OpenAI 的模型上尝试克隆自己的文风，失败了。Kilpatrick 在两份工作之间的空档，几乎为这个问题创办了一家公司。难点不在微调 API，而在老派机器学习的苦功：一个平衡、有代表性的数据集。大多数人没有足够多的自己写的文字，所以需要合成放大，而事实仍然需要检索。他怀疑，低秩微调并不是绕开这些问题的什么魔法。

Kilpatrick 在 OpenAI 时曾说，公司的好坏取决于它最新的模型。Labenz 把这句话听成了赢家通吃的警告，因为换模型通常只是重新写一遍提示词。Kilpatrick 现在不接受这个结论。他非常尊敬 Sam Altman，但仍然不同意“我从不考虑竞争”的立场；大家都痛切地意识到竞争有多激烈。机会大到会让进场的玩家更多，包括那些平时不会在这里竞争的人。开源会继续推动前沿。Labenz 预计大约会有十来家可信的前沿实验室，外加一个中国的头部玩家，欧洲则可能是 Mistral。Kilpatrick 不肯给出具体数字，但任何具备技术理解力、又有足够资源的人都会来尝试。他认为，押注整个市场是更糟的商业计划。一个出色的模型，就足以让一家公司变得有价值。

他在推特上说，如果 AGI 今天就到来，人们也不知道该拿它怎么办。这句话并不是冲着 Labenz 去的，因为 Labenz 就生活在这个生态里。它针对的是世界上的其他人。大多数人从没用过 GPT-4，也没用过 Gemini 1.5。即使通过 API 把 AGI 交到别人手里，世界发生改变所需的时间仍然非常长。I/O 上，他被一个叫 Connor 的人打动了，Connor 的工作就是教没有技术背景的人如何使用这些工具。地球上的大部分人都不是技术人员，除非技术能帮他们把事情做成，否则并不关心技术本身。

Labenz 离开 I/O 时，对平台感到焦虑。Google 可以在 Meet 里免费提供会议纪要，只需点一下，而已经有十几家创业公司在这个细分领域活跃。ChatGPT 的桌面应用和 Project Astra 都在朝着会主动盯着屏幕的协作者奔跑。Kilpatrick 并不否认分发渠道的优势。如今他重新回到大公司，也怀念创业公司的优势：一个只管执行的小团队，没有随人员增加而来的协调税。他说，如果今天他在创业公司，他会笑得合不拢嘴。会议纪要工具出人意料地适合成为最早真正干活的智能体之一，因为它们已经掌握了上下文，而上下文是成功的一半。用户在 Zoom、Teams 和 Meet 之间来回切换，这是一个跨平台的机会，Google 并不会自动拥有。

护城河不在转录稿本身。如果系统能起草跟进邮件、提醒合适的人，用户只需检查并发送，那就是一个与记事本完全不同的产品。录音结束之后，总还有更多事情可以自动化。Kilpatrick 的结语，是他在别的场合反复说的一句话：在这个领域，创业从来没有比现在更好的时机。一切都还有待争夺。模型会继续变得更快、更聪明、更便宜。真正重要的构建者，会按照智能即将便宜到不必计量的方式来设计。