他拿公司股权赌 Transformer 能撑下去，然后为 12000 家公司画出一张 AI 地图

Jonathan Frankle 是 Databricks 的首席 AI 科学家，这个职位是在 Databricks 收购 MosaicML 之后接下的，他在 Mosaic 时担任首席科学家。《Unsupervised Learning》的主持人 Jacob 想先聊 DBRX 的故事：Frankle 为了团队定下的性能目标，把头发染成了蓝色，如今灰发已经长回来了。他愿意拿自己来做激励。帮助 DBRX 发布的工程师、外部合作伙伴和法务团队，每人都拿到了一把印有 Mosaic 标志、刻着自己名字的剑。这些剑是通过 Databricks 批准的供应商采购的，而那家供应商得先通过采购审核。他的团队拿不到剑，他们能拿到蛋糕、饼干、Chipotle（同样是 Databricks 的客户），还有——当他们真的达到分数、又没有做假账时——一位染着蓝发的经理。

模型本身很扎实。然后 Meta 花了大约 5 亿美元，推出了 Llama 3。Frankle 喜欢这些模型，包括 3.1 和 3.2。“当两周的山丘之王，已经算不上世上最糟的事。”他说。更深的那笔赌注还要更早。他和 Hugging Face 的研究员 Sasha 拿公司股权对赌，说好赌注捐给慈善机构，赌的是 Transformer 会一直是 NLP 领域的主流架构。收购之后，Databricks 的估值比 Mosaic 当年更容易判断，所以 Sasha 现在对这笔赌注的分量有了更清楚的认识。Hugging Face 的估值仍然更难标定。Frankle 看得长远，不会每出一篇论文就陷入存在主义焦虑。

他说，人们训练的模型，依然是 Vaswani 等人提出的 Transformer，只是位置编码不同，并且只保留了解码器。原始论文在超参数空间里找到了一个甜点，此后就一直没有必要去推翻它。在 Transformer 之前，NLP 的最先进水平是 LSTM。Frankle 的年纪大约只比 LSTM 大一岁；这个玩笑的要点是，好的架构要花一代人才能找到。还有一种另外的历史：这个领域也许只是把 LSTM 不断放大了。新人把 Transformer 看作新东西，于是推断下一次飞跃就快来了。在他看来，科学是先跃进、再巩固。认为有什么东西会突然把 Transformer 掀翻，在他看来违背历史规律。他对这笔赌注仍然很有把握。

Mosaic 有一个 AI 平台；Databricks 有数据平台，并且已经在布局 AI。Frankle 说，没有数据的 AI 说不通，所以这场合并再明显不过，尽管双方都不想被收购，也都不想去收购别人。双方的管理层里都是学者和博士，这一点帮了大忙。促成此事的，是一次会议上与 Databricks 的 Ali 的交谈；Frankle 当时不在场，事后才听说。他说，那时见到的这些人，在创业圈里是传奇，在学术界尤其如此，从这个意义上说，这次合并就像一场梦。

客户最实际的问题，是从哪里开始。单凭原理，你没法知道这段旅程最后会停在对 OpenAI 模型的提示词调用上，还是要一路走到从零开始预训练，所以要留着各种选项。只有当有人真正需要时，Databricks 才会从零开始做预训练——他会想办法劝人打消这个念头，因为它既昂贵又困难——而且他很自豪，对真正需要的人来说，几乎没有别的地方能让他们走完整个流程。其他人应该先花 20 美分试一试 OpenAI，或者 Databricks 上的 Llama，把它当作一块试金石。“你们是科学家。这就是字面意义上的数据科学。去做个实验吧。”用你能拿到的最好模型。一开始先别用 RAG：把你已经知道有用的几份文档粘进去，看看会发生什么。

这段阶梯的顺序是：先提示词，然后是 RAG，这样就不用指望模型能读懂你的内部数据；如果一个通用模型确实知道这些数据，那你就该检查一下安全问题。再往上是微调，然后是继续预训练，最后或许才是完整的预训练。每一步都意味着更高的前期成本，换来更好的成本与质量曲线：微调是把价值压缩进一个更小的模型里。每一次升级都需要严格的投资回报分析和真实的使用量。他常看到的错误，是一直在等完美的数据或完美的评测。衡量数据好坏的标准，是能不能搭出一个有用的系统；衡量评测好坏的标准，是这个系统有没有帮到真实的人。先做一个尽量简陋的模型，配上一套快速的评测，拿到真实世界里去试，然后再判断问题出在模型、数据，还是这本来就是个做不到的要求。

评测是 Frankle 个人最看重的事。Databricks 刚刚推出了一款智能体评测产品，等这期节目播出时，应该已经进入公开预览。他说，在有一把尺子之前，其他一切都是空想。第一条纪律，是承认任何评测都只是代理。尽可能贴近真实用户，哪怕只是公司里一位不参与这个项目的朋友。一个人类测试者，比任何合成基准都更接近现实。他仍然会召集自己的团队，对语言和图像生成的输出做两两的 A/B 测试，而且不说明样本来自他们自己的模型、Llama、自家改造的 Llama 变体，还是 OpenAI。这事并不好玩，中间还有蛋糕。剑就不在此列；剑是发给服务研究团队的人的。

起点要比大多数团队想的更简单。写五个样例。它们不需要对错标准。拿一个输入，写几种回答，然后分别打 5 分、3 分和 1 分。这就足以校准一个 LLM 评判器，让它能判断一个新输出更像 3 分还是 5 分，并说出原因。他不相信那种一按按钮就能生成合成评测的功能；那是过度承诺。目标是一个下午，让一个人创建出几十个自己真正信任的样例。他的团队自己也在用这款新产品，这是他在整个 Databricks 内部最看重的一种背书。

DBRX 的研发，也是对整个技术栈的一次巡礼。数据摄取走的是 Spark ETL；原来在自建的 128 核 CPU 流水线上要跑一周的任务，现在几分钟就完成了。他事后回想起来觉得尴尬——团队在收购之前，就已经抵制了 Spark 好几个月。Unity Catalog 里发现了大约二十份重复的数据集。实验跟踪用的是 MLflow，他称它“了不起”，而且免费。他们用的是 Mosaic 的训练和推理工具，每天提交功能需求，大约一周后就能看到落地。除了 Databricks，他能说出的三样忠诚对象，是 Chipotle、纽约，还有纽约的贝果。

面向企业和面向特定领域的模型依然有道理，只是不该成为默认选项。第一种情况是，现成的模型对你的任务并不擅长。日本和韩国的客户告诉他，现有模型并没有针对他们做过调优。有人把问题归咎于分词器；他认为根源在于这些语言的可用数据更少，而模型对数据的胃口极大。包括 DBRX 项目在内的开源团队，都是先从英语出发、先为英语整理数据，这就让印度、日本和韩国的重要用户只能自己动手。合作伙伴已经在这么做了：NTT 发布了一些他们公开讨论过的模型，Ola 也为印度发布了模型。

第二类情形是，你要解决的问题本身性质完全不同。专门处理蛋白质的模型，只能用在蛋白质上，指望 Llama 去接手这种活，是不现实的。第三类情形，是你需要的东西必须又快又专。Replit 和 Databricks 合作打造了 Frankle 口中的“兰博基尼”：从细节到整体，都围绕速度和单一任务来设计，因为他们想给每位用户提供代码补全，免费版用户也包括在内，于是模型必须既能写得好，又要跑得快。Databricks 内部同样受制于这一约束。第四类情形，纯粹是成本和质量之间的取舍。预训练的开销确实大，可一旦使用量攀升，你要么能以更低的推理成本保住同样的质量，要么能在同样的体积里装进更强的模型。只要流量到位，前期的投入很快就能回本。沿着阶梯每往上走一级（从提示词到微调，再到继续预训练，最后到完整预训练），本质上都是同一条曲线的平移，只是门槛越来越高。

一旦某个应用找到了产品与市场的契合，他就很少见到团队推倒重来。工作会变成优化质量和成本，这时才开始往阶梯上走。先证明投资回报。别因为预训练听起来很有分量，就一头扎进去。使用情况会告诉你，你是不是真的需要一个更好的权衡；没有使用量，就没有立项的理由。

被问到 AI 在哪些地方已经有了产品与市场的契合，Frankle 讲的是两种模式，没有去列行业清单。第一种是你不必非对不可的工作：头脑风暴、创意工作、营销，任何有很多种可接受答案的事。Glean 是温和版本的例子，它把内部信息调出来，让人稍微更高效一些，而且不必完美。第二种是模型的输出会被检查的工作，尤其是人提出答案的成本很高、验证答案的成本却很低的工作。他借用了 P 与 NP 的说法：他想要的是至少属于 NP、解起来难、但检查起来容易的问题。副驾驶式的工具就是教科书式的例子。看一眼系统建议的代码行，然后决定不按 Tab 补全，比自己从头写那一行容易得多。在这个框架下，GitHub Copilot 的契合毫无疑问。客服也类似：答案对不对，你往往一眼就能看出来。

反例是一份 100 页的法律意见书。律师可以检查模型的草稿，但魔鬼在细节里，而检查就等于把活重新干一遍。Jacob 补充了搜索领域的同样划分：公司内部搜索漏掉一个链接没关系，漏掉那份关键的先例就不行。Frankle 的原则是按使用场景划分，而不是按行业划分，而且客户对自己能容忍什么，比供应商更清楚。模糊性既是当前技术的超能力，也是它的阿喀琉斯之踵。你不再需要写正则表达式去解析一份文档，但你也没法像代码那样把意图精确地写进去，所以得到的结果未必总是你预期的那样。

他看好智能体，也看好让模型相互检查的链式组合，包括在客户支持里的应用。但他把这看作是沿着成本与质量的曲线往上走，而不是取消模糊性。单次的整体调用有质量上限；花更多的 token，用更有创意的方式去花，才能买到更多质量。随着 token 价格下降，过去不划算的方案，现在就会划算。他不看好这一代技术能做到五个九的可靠性。这对硬件股来说也算不上死刑判决。这只是软件工程走过的那段几十年的历程：结构、安全、百万行级的代码库，只是这一次的媒介，在很多方面更难理解。他认为，即便把技术冻结在 GPT-4 的水平上二十年，我们依然会看到今天难以想象的东西，就像 1950 年的人无法想象 TikTok 一样，只不过那些东西会来自人们学会怎样使用这个工具之后。

Jacob 提出了一个尖锐的问题：模型在某些方面已经比放射科医生更好了，那么到了某个时点，不使用它们是否就成了不道德的选择？Frankle 说，这样讲跳过了太多东西。对人类，我们对失败有直觉：新手司机、疲惫的司机、雨夜，这些直觉给了我们不确定性的范围，也让我们能为事故找到解释。对 AI，我们没有这些直觉。作为科学家，他仍然缺乏这些直觉，更不用说普通人了。自动驾驶的失败，有时发生在一个人也会陷入困境的情况下，有时发生在一个人本可以应付的情况下；他提到过一个例子，是把一辆公交车认错了。这些失败既难以解释，也难以预测。他认为，安心感需要时间慢慢积累。

转折在于：对 AI 的高标准，可能会抬高对人的标准。在执法人脸识别的政策工作中，自动化系统受到了严格审查，结果发现人类在这份工作上表现糟糕。关于“超级识别者”（super-recognizers）、关于训练，以及关于人在什么时候最容易出错，都有相关研究：我们对那些与自己成长环境中不一样的脸更容易认错，他认为这主要来自发育生物学层面，而不单纯是种族主义。一个无法解释的自动化系统，迫使他重新思考，我们究竟是如何判断两张照片是不是同一个人的。他认为驾驶也是同样的道理。驾照考试为什么是现在这个样子？为什么不对新手司机持续观察几个月？他拿到驾照之后，马里兰州把路考从封闭场地搬到了真实的街道上，他觉得这是正确的方向。在他看来，对机器的严格标准，顺带就把对人的标准也提高了。

Frankle 不会去讲与超大规模云厂商或 Snowflake 之间的战争。他代表的是 Databricks 的客户，这些客户想从零走到一，并进入生产环境。他说，没有人知道正确的产品是什么，包括如何帮人衡量一个产品，以及如何在提示词、RAG 和微调之间做选择。他目前的答案是衡量加上选项，并不靠 AutoML：先把所有路径都摆出来，再做选择。他对微调团队说，一两轮运行就可能产出大约 200 个不同的模型，因为他没法从原则上说清楚，某个行业应该用哪个学习率、哪条提示词或哪种采样器。先让人们以低成本获得大量选择，然后帮他们做选择，再帮他们把模型投入生产并稳定运行。这些对整个领域来说，仍然是没有解决的问题。

独立的评测公司、数据工具和推理服务商依然有自己的位置，就像软件的其他领域，既有平台，也有单点方案。Databricks 不是一个封闭的世界；合作伙伴名单里，就有他希望客户去用的创业公司。每次他问客户能否在用 Databricks 的同时，再用一款做标注、评测或探索的工具，答案都是“两者都行，还能一起用”。在图像生成方面，他们用过 Shutterstock。当某样东西足够出色时，收购是另一条路。团队在 DBRX 上用了 Lilac，非常喜欢，想把它留下来，并在那年春天达成了交易。现在那个团队负责做评测创建产品，而开源社区和合作伙伴本来就很喜欢这款产品。Mosaic 加入，是一年前的同一种模式。

在基础模型上，他要退出军备竞赛了。Llama 非常出色；他认为，以 Databricks 的位置，自己未必能超过它。Meta 的资源远远超过他们，他粗略估算过 Meta 的投入，那个数字区间对 Databricks 来说没必要去追，何况这些模型本身就是送给整个生态的礼物。艾伦人工智能研究所（Allen Institute for AI）是开放的典范：数据、过程、代码、中间检查点，全部公开。在他看来，开源模型这个位置已经被覆盖得非常充分。他真正在配人手的空白地带是：评测的创建；在不让人淹没在选项里的前提下，引导微调和 RAG 的选择；杂乱的真实客户数据（有输入没有输出，有文档没有标签）；以及把 Databricks 各个组件连接起来的复合 AI 系统。“令人惊叹的底层材料”已经有了。最后一公里，是把原材料变成人们能够运行的系统。

被问到自己改变过哪些看法时，Frankle 拒绝了惯常的预测环节。按他的职业定义，科学家不负责预测技术如何发展，而他猜错的次数比猜对的还多。在“彩票假说”（lottery ticket hypothesis）之前，他读博士时提出的几个假设都失败了；彩票假说成功了，并成就了他的职业生涯。GPT-3 发布时，他以为大家只是把 GPT-2 做大了，让它写出的平庸段落稍微好一点，结果漏看了更大的图景。规模化的效果比他预想的好。大多数被预测的趋势并没有出现。他现在怀疑，规模化是否还在很好地服务这个领域，也怀疑这一代技术能不能真正做到五个九的可靠性。他可能又会看走眼。从 text-davinci-003 到 ChatGPT，再到 GPT-4，确实让他信服了。他想要的姿态是少一些先入为主的看法，这样让人惊讶的事情就少一些；同时，他也珍惜这样一个领域：学生仍然可以有所作为，而不必去参与一篇署名上千人的对撞机式论文。

OpenAI 的 o1 令人兴奋，但要注意，“突破”这个词，要事后才能用。Transformer 只是众多架构中的一种；现在没人记得 XLNet 了。GAN 曾是最热门的东西，扩散模型起初只是个奇趣的小玩意儿，后来就不是了。现在真正的问题是：o1 能否规模化，它在成本上是否值得，以及在数学和代码这些可以自动生成并自动检查问题的领域里有效的推理，能否推广到他在企业中看到的那些开放式任务上。这些想法早就在流传；让他印象深刻的，是 OpenAI 下了赌注，并把它们规模化了，这既是工程成就，也是科学成就。Databricks 的产品里本来就有相关的组件。发布当天，团队请人帮忙弄到了访问权限，跑了内部的企业评测，坐下来询问它是怎么做到的，并开始把已经在大规模上验证过的想法放进生产环境。这也许是一个 GPT-3 式的时刻：在真正爆发之前，看起来都平平无奇。

Anthropic 的电脑操作（computer-use）工作是一个重要的应用方向，UiPath 和 Adept 也早就在这里了。但它的时机和 VR 一样不确定，业界每隔几年就要重来一遍。他喜欢的是 Anthropic 愿意发布尚不成熟的产品。这一代技术还没有出现属于它自己的谷歌或 Facebook 时刻，所以一片实验的花园正是合适的阶段。他列出的其他产品还有：Glean，它在这一代模型出现之前就有了这个想法；带着类似优步逻辑的人机混合应用，其核心假设是 AI 会随着时间推移承担越来越多的劳动；Twelve Labs，一家长期的 Mosaic 客户，它的视频搜索值得他专程去韩国当面见一见；还有 Osmo，它刚宣布了三款 AI 辅助调配的香型，并且已经为调香师办过一场“香氛沙龙”。他最喜欢的模式，是为已经具备领域专长的人提供新工具。与此同时，学术界应当反其道而行：别去和谷歌级别的算力硬拼，要去问公司不会公开去问的问题，建立基准，做测量，做人机交互研究。他在考虑给人机交互方向的人开出高薪。数据标注他不做预测，他只是个消费者。他点名的合作伙伴是 SuperAnnotate 和 Surge，而稀缺的资源，是对一条真正付钱给人的供应链的信任。

在政策上，他希望从业者以公民的身份参与进来，不要以游说者的身份，尽管个人利益显而易见。“很多人以为自己在吹捧方面做得很好，其实没有。”政策领域没有对错之分，只有信任；信任来之不易，又很容易失去。要决定哪些系统可以用，哪些不可以。人脸识别的误匹配，即便没有逮捕，也可能让一个家庭天翻地覆，让一个人丢掉工作。大部分 AI 属于绿地，应当保持轻度监管，好让人们去尝试。执法、医疗和自动驾驶是例外，因为一个错误可能夺去一条生命；在少数这类领域里，为了争取时间而在技术上稍微落后，是可以接受的。科学的坦诚，也就是“这是我们知道的，这是我们不知道的，超级智能不给日期”，是他认为建立信任的方式。如果让他空降去任何一家 AI 机构，他还是会回到 Databricks：OpenAI 对 AGI 的设想是，在大多数经济上有用的任务上胜过大多数人类；而他正在看着这些任务一批批地出现在 12000 家客户身上。