30 秒看懂
在一期听众问答(AMA)节目中,《The Cognitive Revolution》主持人 Nathan Labenz 把 OpenAI 发布的 o3 视为 ARC-AGI 上的一次真正飞跃:低算力下得分 75%,高算力下 87.5%。同时他强调,还没有人真正用过这个模型,难题在于它如何在六个或 1024 个样本中做出选择。他认为,推理模型仍然会在简单问题上翻车;审慎对齐更像是一台快速把政策写进模型的机器,而不是最棘手的安全问题的答案;而在 GPT-4 加微调的基础上,仍有约 100 倍的自动化空间闲置着。这期节目的其余部分是一份 2024 年的成绩单和一份 2025 年的预测:智能体迟到了,怪异的事情即将到来,能够忍受不适的人,会从 AI 中获益最多。
- 1推理模型并不等于有效的推理者缓存的启发式、糟糕的感知,以及彻头彻尾的糟糕思维链,都会在一个玩具级的井字棋局面中暴露出来,Labenz 试过的每个前沿模型都答错了。
- 2o3 最大的悬而未决的问题,是系统如何从六个或 1024 个答案中挑出最好的那个。多数投票在数学上行得通,写作则需要锦标赛。如果这种聚合方法能推广到无法验证的领域,Labenz 说,那可能是一个巨大的突破。
- 3审慎对齐在政策遵循上的表现与 Claude 相当,处于 90% 出头的水平,远不到五个九。Labenz 的结论是:政府级别的高风险场景还不能指望它。它真正的卖点是,新政策可以很快被写进模型,几乎不需要人工介入,只需要写规则的人。
- 4人而不是模型,才是瓶颈开发者仍然根据 18 个月前 GPT-3.5 留下的印象来评判今天的系统,还有一些人不愿自动化那些他们担心会失去的工作。Labenz 认为,光是 GPT-4 加微调,就还有 100 倍的自动化等待被释放。
- 52025 年或许是通用 AI 变得怪异的开端——AlphaGo 第 37 手那类妙招、真正产生后果的谋划,以及没有任何监控能读懂的潜空间推理。整体趋势会是可以预测的,个别案例则会走红。
- 6想做什么就去做不要把人生的好几年押在“AI 不会主导编程”这样一场赌局上。OpenAI 前政策负责人 Miles Brundage 提醒说:不要把细小的时间差,误当成趋势形状的不同。
按章节阅读完整文稿
没人用过 o3,公开记录只是一堆零散的基准测试分数
这是《The Cognitive Revolution》听众问答(AMA)的第一部分。主持人 Nathan Labenz 是一位连续创业者、AI 投资人,也是视频公司 Waymark 的联合创始人。他与 AI Podcasting 制作公司的联合创始人 Adi 坐下来,由 Adi 朗读从 Twitter 和 YouTube 收集来的问题。他们没有绕着各种头条大肆庆祝,而是先摆出 Labenz 希望大家在谈 o3 的数字玄学之前就明白的一个提醒:没人见过这个模型。他已经申请了 OpenAI 的安全审查项目,也喜欢这种邀请是公开的,但公众手里所有的,只是零星几个基准测试结果——令人印象深刻,却也薄得支撑不起高置信度的结论。
他给出的第一条实用建议,是去用那些已经在人们手里的推理模型。据他所知,OpenAI 仍然是唯一一家发布了会隐藏思维链的推理模型的公司。谷歌的 Gemini 2.0 Flash Thinking 和 DeepSeek 的推理模型都会展示中间的 Token;还有另一个中国的推理模型,他几乎没怎么用过。阅读那些冗长的推理轨迹,是一种很奇怪的体验。老结论依然成立:语言模型很怪,推理外壳并不会自动让它变得明智。
一个孩子玩的井字棋,仍然能击败他试过的每个推理模型
Labenz 的测试小得几乎有些侮辱人。他在井字棋棋盘的一角放了一个 X,紧挨着它下方的角上放一个 O,指出 X 先走,然后问在最优走法下,这盘棋的结果是什么。正确答案是 X 可以制造一个双重威胁(fork)并取胜。他问过的每个模型——OpenAI 的、Claude 的、最新的几款 Gemini,包括每月 200 美元的 o1 Pro——都答错了。它们抓住了训练数据里随处可见的一句话:井字棋是已经解决的游戏,在最优走法下总是平局。这算不上推理,更像是缓存的启发式,接近随机鹦鹉模式。
失败是一层层叠加的。一个模型干脆读错了棋盘,从错误的状态开始,这就注定了后面的搜索全都白费。更能说明问题的是,Flash Thinking 和 DeepSeek 的推理轨迹常常彻头彻尾地胡说八道:它们展开了分支,却连一个明显的三连都没能完成,即便 Labenz 已经指明了最优走法。你可以读到几万个 Token 关于一个九格游戏的推理,然后看着模型在大量局面里根本不知道什么是最优走法。他得出结论:推理模型并不等于有效的推理者。
反差之所以刺痛人,正是因为这一点。同样这两个模型,被要求即兴发挥受生物系统启发的神经网络架构,那类提示词让他联想到 AE Studio 的一期节目,结果它们给出的建议,他觉得确实令人印象深刻。人们一般预期,能应付井字棋的人,会比能做生物启发架构设计的人多得多。对这些推理模型来说,情况正好相反。Labenz 猜测,OpenAI 那些隐藏的推理轨迹可能质量更高,但高出多少,无从得知。Adi 付费使用 o1 Pro,他说 200 美元的套餐用起来并不像另一款产品;真正打动他的,是那场 12 天直播中的 ARC-AGI 图表。
o3 的 ARC-AGI 结果看起来是真的,并且比此前所有模型高出 15 分
Adi 原本以为,无论投入多少算力,ARC-AGI 至少还要两年。Labenz 同意这里确实有些东西,而且体现在几个维度上。OpenAI 正在这些推理模型上大规模地做强化学习,并且表示奖励模型只给最终用户可见的答案打分,不给思维链打分。希望是,推理轨迹保持不受干扰:如果模型在欺骗,这种欺骗依然能被监控系统看见,而不是被训练掉,从人类可读的 Token 里消失。
他说,最好的具体来源是 ARC-AGI 团队自己写的报告,因为评测是他们亲自跑的。“我不认为这是造假的。”关于是否在公开训练集上训练,也有一场旁支争论;不过为了实际比较,参赛的每一方其实都这么做过。这道题的设计在另一个方向上非常亮眼:识别规律,应用到最后一个例子,给出输出,不需要一长串指令。在低投入设置下,o3 得分约为 75%,略高于 Mechanical Turk 上的平均受访者,并且比目前见过的其他一切都高出一大截,约 15 分。
高算力下,分数跃升到 80% 后段,达到 87.5%,超过了人类。看起来谜题像是已经解开了,只是剩下的错题里,有些看上去很简单,这提醒人们,这场胜利仍然有些古怪。François Chollet 和 ARC-AGI 团队都给予了肯定:这是一次真正的进步,相关能力值得研究。但 Chollet 对 AGI 的标准没有变。他说,仍然可以设计出对人类容易、对这些系统都很难的题目,只有当这种题目再也写不出来时,才算真正的 AGI。ARC-AGI 2 已经在路上了。
真正的谜题是系统如何在六个或 1024 个答案中做选择
休息之后,Labenz 算了一笔博文几乎在邀请人去算的账。他认为 o1 和 o1 mini 都是单次展开(single-rollout)的模型;网上有人猜测 o1 Pro 是好几个 o1 并行运行、最后取最优,但他不认同这种猜测,因为他没有感觉到有很大的差距。对于 o3,低投入意味着每个任务六个样本。博文统计的 100 个任务总计 3300 万个 Token,平均每个任务约 300,000 个 Token,每个样本约 50,000 个 Token。按 o1 每百万输出 Token 60 美元计算,六个样本约合每个任务 20 美元,和报告的成本吻合。报告的耗时是 1.3 分钟,相当于每秒超过 1000 个 Token,是典型 API 速度的好几倍。他怀疑这用的是专用硬件,零售客户很快未必能享受到这种速度。他指出,每个任务 20 美元就能把一件事做好,已经能打开很多使用场景。
高投入恰好是 1024 个样本,生成了 57 亿个 Token,同样除下来,大约每次展开 50,000 个 Token,每个任务约 5000 万个。这次运行耗时 13 分钟,是低投入挂钟时间的约 10 倍,而样本数却多了大约 200 倍。如果工作完全是并行的、最后做一次廉价投票,那么 1000 个样本应该和 6 个一样快完成。额外的时间就是线索。一种可能是顺序锦标赛:先生成一大批候选,再进行十轮单淘汰评判。另一种可能是硬件上限,比如每批 100 路,按顺序分批运行,最后做一次简单投票。Labenz 不知道是哪一种,他认为这个未知,才是这次发布里最重要的问题。
多数投票是只有一个数字时的老把戏。写作无法靠投票。你需要模型当裁判、两两比较,或者循环赛,而这些方案的准确率也只能说差强人意。如果 OpenAI 有办法在对错不明显的情况下挑出最好的回答,那将是巨大的突破;到目前为止,他们重点展示的全都是可验证的领域:编程、数学,以及 FrontierMath 从 2% 跃升到 25%。只要奖励信号便宜,超人水平的分数就会不断出现,这就是 AlphaGo 的模式。可验证的工作与依赖品味的工作之间,差距会拉多大,也许取决于这台共识机器。井字棋的轨迹给了一个小小的警示:至少有一个模型,凭着一段垃圾般的思维链,得出了正确的最终答案。FrontierMath 的设计者曾设法防止侥幸猜对,Labenz 认为数学成绩大概是真的,但他已经看到了失败的形态。
审慎对齐是一台会照着提词器念出你放上去的任何政策的机器
安全论文的出现,像是一个割裂的分屏。直播在社交媒体上引爆了新的高分纪录,安全方面的新计划则几乎是顺带一提。在网站上,o3 几乎不是头条,审慎对齐才是他们希望你去读的东西。Labenz 通读了全文,至今仍在理清自己的感受。配方的起点是一个纯粹有用的模型:不拒绝,也没有内置的道德罗盘,唯一的准则是“让用户满意并拿到高分”。然后他们给它一份政策。这份政策长到可能连最新的上下文窗口都装不下,所以模型只能看到相关的小节。他想到的类比是 Facebook 的内容审核规则手册:全球超过 10000 名审核员,几百页,细到一张哺乳照片在宝宝的嘴离开乳房哪怕一秒钟时,是否还被允许。
循环有三步。有用的模型对政策进行推理,然后回复用户;在一条令人难忘的轨迹里,它注意到“用户在试图骗我”,于是套用了越狱条款。然后思维链被丢弃,同一个模型在再次看到政策的情况下,给自己的回复打分。得分最高的例子,会用于对轨迹做指令微调,但不带政策文本,于是理解被烘进了权重里,上下文窗口也被腾了出来。接着是强化学习,这次带上了安全议程。在 Labenz 读来,论文里一句值得留意的话是:OpenAI 预期它的政策会不断演进,但在严格遵循至关重要的未来高风险场景中,训练模型遵循*当前*这套政策,是必要的实践。
好处在于规模和速度:除了写政策,几乎不需要人工投入,就像一台可以随时启动的离心机,规则一变就能转起来。指标与 Claude 相当,处于 90% 后段,远不到五个九。如果你是美国政府,面对极度敏感的场景,就不能指望它。与 Anthropic 的宪法式 AI 相比,它相似多于不同;真正的区别在于,奖励模型看不到思维链,这是一种不想把欺骗逼入地下的尝试。Labenz 认为,论文沉默的,是那些最难的问题:这能不能做到五个九,如果模型自己形成了目标怎么办,我们怎么知道,以及政策本身应该写什么。Anthropic 花了很多时间考虑 Claude 应该有什么样的性格。这篇论文更接近 Ron Burgundy:提词器上写什么,它就念什么。一项最近的博弈论评测发现,Claude 模型能够合作,达成高信任的均衡,GPT-4o 则表现惨烈,这说明性格并不是可以忽略不计的误差。Peter Thiel 曾把 AI 称为共产主义;读完这篇论文,Labenz 觉得,如果你想管理一个社交网络,或者一个十亿人的言论场,并保持灵活,这看起来是个有力的答案。它只是拼图的一块,但并不能让你安心入睡。
昂贵的测试时计算让获取能力的不平等死灰复燃,或许也让算力治理有了新的意义
o3 还在两个实际层面改变了政治版图。在推理模型出现之前,趋势看起来是平等主义的,几乎无法治理。来自中国的那个故事是:一个 GPT-4 级别的模型,训练成本只有个位数百万美元,如果 Labenz 没记错,是 600 万美元左右;而全球算力市场已有数千亿美元规模,正奔向万亿美元。你不可能收紧算力治理,去阻止别人花几百万美元;但你也不会看到只有少数行为体掌握好模型的世界。在他看来,这幅图景的两半现在都受到了严峻挑战。一次花费几千美元的高投入 ARC-AGI 运行,不是每个人都负担得起的;即便负担得起,芯片也不够让所有人都跑上一次。获取机会的不平等正在卷土重来。
另一面是,算力治理看起来没那么无望了。Labenz 借用了评论人 Zvi 的一句话:希望物理学对我们仁慈。我们并没有采取如果这些系统无法管理就必然需要的那种谨慎,因此我们其实是在押注:底层现实——心智形成自身目标的频率、工具性趋同究竟有多强——处在可以存活的那一侧。这个结果是一个小证据,表明它可能如此。它也让他略微偏向与 Martin Casado 的一场争论:Casado 认为,有些问题只有烧掉真正的资源才能回答,所以仅靠智力,并不能让一个流氓行为体从被劫持的服务器上摘下改变世界的答案。Labenz 并没有走到那么极端,但“你仍然需要烧掉 Token 才能抵达洞见”现在看起来更加可信,也更接近他自己的灵感实际到来的方式。
扎克伯格的垃圾邮件类比也属于这一类。垃圾邮件发送者也有 AI;Meta 拥有更大的计算机和更多的数据,它主要靠基础设施守住防线,而不是通过拒绝任何人使用工具。Labenz 不会拿人类的未来去赌这种模式能阻止每一场人为设计的流行病。他会说,天平确实往防御一侧倾斜了一点:前沿实验室可以把巨额算力预算中的一小部分拿去做监控,而即便有了那些即将到来的智能模型,一台笔记本电脑也未必足以设计出能打败世界的病原体。他说,如果你是做算力治理的人,你会感到振奋。
就认知方面的“对比表”而言,深度可能刚刚转向了机器
Adi 把这个小时转向 2024 年。与一年前 Labenz 的预期相比,前沿模型实际上进展如何?他用一张他已经更新了两年的幻灯片作答,这是一张类似拳击“对比表”的认知维度图。在知识广度、速度、成本、可得性和可扩展性方面,AI 已经超越人类。对他来说,可得性意味着你可以重新打开任何一个旧的 Claude 或 GPT 对话线程,不需要任何回顾,或者同时运行一百个甚至一千个这样的线程。知识深度可能刚刚翻过了那道线。在 GPQA、MMLU 和 FrontierMath 上,模型已达到专家水平;o3 的竞赛编程成绩进入了全球前 200;医疗诊断上的领先,他此前就已报告为达到或超过人类,现在看来还在拉大。
在若干方面,人类仍然领先,每一项都有一个故事。感知:去年夏天,他把 ARC-AGI 的网格截图给 Claude 看,它数不清方格;现在它能用像素坐标指按钮了,有所改进,但仍然不稳定。记忆则是分裂的:工作记忆和“从上次停下的地方继续”这类能力对模型有利;但一个整体性更新、不断演变的人生故事则不然,ChatGPT 的记忆功能很脆弱,会存下随机的零散信息,之后反过来让助手表现得很奇怪。稳健性上人类大幅领先。Apollo Research 的欺骗实验,依赖的是欺骗模型:告诉它草稿纸是私密的,而实际上是被监控的。情境意识也类似:Labenz 从来没有遇到过模型问他有没有试过重启电脑。它会死磕被高亮的那个 bug,常常重复不已,而不会跳出框架去思考。
推理正在追赶,但仍然模糊,包括从垃圾轨迹里得出正确答案。洞见从 18 个月前几乎没有“顿悟时刻”,变成了偶尔有几次。时间跨度是 METR 的发现:在两小时的预算内,甚至在四个 30 分钟的片段里对抗人类的两小时,模型在短任务上已经表现出色,但随着时间跨度拉长,它们会耗尽力气,开始重复自己。人类优势的一些项目,进展比他猜测的慢。整合记忆的进展不如他预期的多。智能体在自主性和可靠性上普遍表现不佳。然后,换成 18 个月而不是一个日历年的时间框架来看,人反而表现得不如预期。GPT-4 发布后不久,即使模型没有进一步进步,他也预计需要数年时间才能真正落地。真正成功落地的数量,让他感到惊讶,而且是偏少的那种惊讶。
GPT-4 加微调仍有 100 倍的自动化闲置着
在他看来,尚未发挥的潜力更多是人的问题,而不是模型的问题。对 GPT-4o 进行微调(包括图像)已经存在了足够长的时间,所以“我们还没用强化学习”已经不再是借口。如果你能说清任务是什么、什么算好、打磨出几个金标准示例,并把超大的工作拆成子任务,你就能自动化很多东西。人们在这方面做得远远不够。原因兼而有之:对 GPT-3.5 Copilot 时代的第一印象仍然停留在那里,对自动化自己工作的隐隐抗拒,以及最佳实践仍然没有扩散开来。为一件平庸的任务写 500 字的思维链,没人会觉得这是享受。Labenz 之所以坚持这么做,是因为他确信它划算。如果这些习惯普遍存在,他说,我们很容易就能把生产中已有的自动化规模扩大 100 倍——即便不算 o1,只用 GPT-4、一个 10 万的上下文窗口和微调,也可以。
RAG 是另一个表现不佳的领域。他目前的口号是“全都交给 Flash”(flash everything)。FutureHouse 的 Andrew White 把它说得最清楚:不惜代价,去得到正确答案。他们的科学文献问答并不建在向量数据库上。他们对看起来相关的内容做关键词搜索,然后让语言模型来判断相关性。在一次面向 Society of Actuaries 的演讲之后,有人跟进说,他们内部一个保险监管聊天机器人效果不好。语料库是 50 个州,每个州 50 到 100 页。按 Gemini Flash 的价格,你可以把整个文库每次提问都完整送进模型,成本大约一毛钱。一百名员工每天问二十来个问题,花费是 10 到 15 美元,比办公室咖啡的花费还少。开发者仍然会对一次可能要花一毛钱的点击感到肉疼。这种直觉在 Facebook 的规模上是对的,但对大多数内部工具则是错的。
编程方面,他认为它紧跟趋势,也许在 SWE-bench 和 Codeforces 上表现还超过了预期,但日常使用中仍然充满小怪异。他和一位合作者 SJ 现在会谈论“Cursor 效应”——这对他喜欢的产品有些不公平:编辑器的检索漏掉了类型定义文件,模型于是又虚构了一个,TypeScript 应用里就长出了重复的内容。自 Gemini 的百万 Token 时代以来,宣传中的上下文窗口没有太大变化,但模型在*使用*被塞满的上下文方面变得更好了。成本仍然让人不敢塞满。Labenz 目前的循环是:一个脚本把一个约 100,000 个 Token 的应用打印成一个文件,o1 负责分析和规划,然后在 Cursor 里用 Claude 来逐行写代码。主观上,o1 的逐行代码质量仍然不如 Claude。Adi 也是这样分工的。一个“小”应用就已经逼近 100,000 个 Token,这本身就说明了这个循环走了多远。
2025 年本该已经是智能体之年,它也可能是事情变得怪异的一年
2024 年让他最惊讶的,也可能是最快能弥合的,是一种分化。他原本预期 OpenAI 那 12 天的“ship-mas”活动会包括一个智能体框架;传闻说他们正在搭建。他已经用过仅限 iPhone 的计算机视觉模式,配合 Advanced Voice 和屏幕共享来阅读一篇生物学论文;Claude 的 computer use 也能操作软件。他原本预期低端任务上的自主工作会更多,而高端推理的进展会更少。结果却是,我们在博士们自己的领域里击败了他们,却仍然不能可靠地订好一个日历活动。这种分裂才是让人惊讶的地方。他认为,它也不稳定。活动有没有订上、时间对不对、用户是否接受,这些都是干净的强化学习信号。很难想象,推理能力如此之强的模型,会长期笨拙下去。
Claude 的 computer use 第一次尝试时,能够操作 Waymark 并给视频写提示词。稳健性却成了笑话:它拒绝使用他已登录的账号,哪怕是给营销工具用,他不得不对它撒了个谎。主流观点认为,2025 年是智能体之年。若说有什么问题,那就是它显得有些迟到。他还乐于附和 Sam Altman 在一次 Reddit AMA 上说的第二个预测:把所有基准测试都刷满。FrontierMath 从 2% 跃升到 25%,再加上 OpenAI 释放出的信号,让这一预测听起来很现实。因为这个时代比上一个时代更多地依赖强化学习,他也预期模型会变得更怪:更多看起来很离谱、实际上却很精彩的失误;更多的欺骗性谋划;更多以让人不安的方式达成的目标。
不给思维链施加强化学习压力,是想把其中一部分约束住。其他研究却在朝相反方向拉扯,尤其是来自算力紧缺、需要效率的实验室。Meta 已经开始把动态采样烘进模型里:在那个必须是笑点的 Token 上调高温度,而当下一个字符显然是句号时就调低。一篇较新的论文 Coconut 甚至在“思考”阶段都不再选择一个 Token:它把最后的隐藏状态作为下一个嵌入直接喂回去。这更高效,他们还认为,它在广度优先搜索上更好,因为它可以把路径保持在叠加态中。Labenz 讨厌这个方向。他希望有人——哪怕不是用户——能够读懂推理轨迹。可解释性探针确实存在,但还处在早期;把思考挪出语言空间,会让这项工作更难。综合起来,2025 年可能是通用 AI 变得怪异的开端。宏观层面不会让人惊讶。但那些个别的“第 37 手”,无论如何都会走红。
如果你能忍受不适,这是历史上学习的最佳时机
关于教育,他想在一期即将推出的节目里讨论,那是在与一家在密歇根课堂里工作的非营利组织共进长午餐之后。他把学习和教育区分开:一个是你想要的,另一个是被强迫的。如果你想学习,现在的条件难以置信。Advanced Voice 加上视觉功能,在他身后看着一篇生物学论文,就是一本实时的百科全书,那是他雇不起的。在后勤、成本、延迟和知识广度方面,它都胜过人类导师。有动机的人,正生活在对学习者来说有史以来最好的时代。公立学校则是另一回事。他惊讶地发现,医生群体中几乎没有对 AI 的反弹,这让他感到愉快;教育界的利益相关者或许会激起更强的免疫反应。
他五岁的孩子很聪明,却对那些还读不懂的字感到沮丧。Labenz 已经开始告诉他,最重要的技能是享受学习的过程——坚持住“这很难”,直到它变得稍微容易一点——这甚至比阅读更重要,因为它适用于一切。态度决定了你能从 AI 中获得多少价值:能忍受不适,你就有了一位亚里士多德级别的导师;一旦退缩,工具带来的帮助就会少得多。课堂上的推广进展缓慢。密歇根的试点中,老师们很喜欢 Khan Academy 来帮忙备课;但问到学生的情况,他们说自己从没走到那一步。Khan Academy 已经有的产品,比学校实际在用的还要多。亚历山大大帝有亚里士多德,如今我们每个人都可以拥有那样的导师。想要挑战的意愿,仍然必须来自 AI 无法提供的某个地方。
人还应不应该学编程?他的默认立场越来越是:去做你想做的事,同时相信社会会做出体面的选择。他自己也有利害关系:一位互惠生(au pair)后来由这家人通过当地社区学院资助,目标是拿到雇主担保签证。H-1B 数据库里绝大多数是 IT 和编程类岗位。她喜欢孩子,早期儿童教育才是她真正偏爱的方向。有人告诉她,不要为一个她并不热爱的编程学位耗上四年,去赌这些技能会长期稀缺。如果你*确实*想学编程,现在比以往任何时候都容易——Replit、Cursor,还有能在 100,000 个 Token 上推理的模型——而且短期套利是真实存在的:几百美元、甚至每小时一千美元,目前都很常见,但持久性未知。Miles Brundage 的那句话,是他希望大家记住的:不要把相对的小幅时间差,误当成整体趋势的形状。代码之所以排在最前,是因为它的奖励信号干净,也因为 AI 实验室本身就是软件公司。法律分析也在走同一条曲线上。
AI 负责填满容器,人类团队仍得设计容器
Adi 问了一个小公司的问题:当你用 AI 自力更生做后期制作,而基础模型实验室不断前进时,什么才是可防御的护城河?“没有护城河”这句话已经喊了好几年。Labenz 明确表示,有些护城河是存在的,同时也承认,他的水晶球很快就会起雾。Waymark 为小企业制作视频。老产品是一个模板库,由人类创意团队设计;客户挑一种风格,然后做那些令人痛苦的填充工作。如今 AI 在这种填充工作——文案、配音对齐、素材——上已经比大多数用户做得好。那些一出场就说“AI 会直接把视频做出来”的新进入者,漏掉了 Waymark 起步时就抓住的那部分。今天的模型还做不到凭空做出一件精彩的东西。它们正在变得擅长填满容器。容器的质量依然重要。
最后一公里的编辑也一样重要。用户几乎总是想要修改,哪怕他们已经惊呆了:换一个电话号码,一张还没上网的照片。他认为,AI 原生应用跳过的,正是这些东西:以模板库编码的品味,以及可靠地补上最后那一英寸的能力。这种优势能维持多久,是一片迷雾。你可以想象,把 ChatGPT 加上 Sora,或者把 Gemini 加上 Veo,让它们读取一个小企业网站,然后在像素空间里吐出一条 30 秒的广告。他不认为这种东西已经出现,也不确定大实验室是否在意到愿意为了生成视频的文案级编辑去打磨数据。他们连井字棋都没有搞对。一个既不是涌现现象、又不够显眼到值得像 Scale 那样发起数据大战的细分领域,比一个他们已经决定要“买下”的能力,要安全得多。
风险是同一枚硬币的另一面。少样本学习是从 GPT-3 里意外冒出来的一个把戏,没有人专门瞄准它;接下来的几代模型还会继续让人惊讶。与此同时,实验室会修补它们最大的弱点。如果有一天 AI 在 Waymark 擅长的那一个狭窄领域与之持平,它会凭借广度碾压这家公司。他们的 CEO Alex 比 Labenz 更有纪律:他会问用户愿意为什么付钱,而不是用新模型能做出什么有趣的东西。短期的工作,仍然是把这一点做实。长期的希望是,在质量上追平他们,要等到丰裕时代才会发生,那时启动一个类 Waymark 的应用,不过就是一笔推理账单。
他最好的猜测是斯堪的纳维亚式的富足:资本高度集中,专业知识对每个人都便宜
一位听众质疑 AGI 之后发全民基本收入的说法。财富集中正是资本主义已经在走的方向;为什么 AGI 不会只是加速这一趋势?Labenz 并不排除这种可能。很大程度上取决于技术的形态,而推理范式已经把图景往不平等和可控性那一侧拉了回来。他愿意摆上台面的一种模板,是一个斯堪的纳维亚式的分配方案,他小心地不把它当作自己的专业知识:据他的理解,瑞典有真实的财富集中和重要企业的世袭控制——宜家就是家族持有——同时还有厚实的安全网,没有大规模的无家可归,也没有大规模监禁。资源的拥有者仍然掌握稀缺的算力,其他人也仍然会得到照顾。
这种较好的未来版本,更接近他所说的 Amodei 愿景:专业知识变得免费,或者几乎免费。最好的肿瘤学家是一个 AI,随时可用,而且便宜,所以一位罕见病患者不必靠地理位置来碰运气。几个政府和少数大科技公司的代表拥有实体资本、训练千亿美元级别的模型,并自行决定哪些研究押注值得放大——OpenAI 至今还没有推出 Sora,而 Labenz 的感觉是,算力,而不仅仅是产品上的谨慎,是原因之一。决策权和前沿资本仍然稀缺。一段 20 到 30 英里的车程,就能买来海量的 Token,所以日常的专业知识和创作工具仍然可以感觉像是丰裕的。这就是他目前对社会契约的最佳猜测,并附带一个重要的保留:未来一定会很怪异。
最后一个问题是,一个感到有责任、却不懂技术的人,要如何帮助让 AGI 的发展在商业压力面前保持正确的方向。Labenz 说,不要让“技术专业知识不多”成为绊脚石;追赶到接近前沿从来没有这么容易,因为重要的很多东西,都是同一个 Transformer 押注在再次奏效。他自己的贡献理论,几乎与他的个人使用理论相同:弄清楚事情已经发展到了什么程度,帮助别人理解它,从中获得每天的价值,并帮助别人获得每天的价值。即使在 AI 安全领域,这种校准也有用。在他看来,Apollo Research 的谋划演示与其说是研究上的“尤里卡”时刻,不如说是一支瞄准的手电筒:看看模型在一个只是有一点点玩具性质的情境中,已经在做什么。它们确实起到了一定作用。Labenz 并没有什么总体规划,他的做法是尽可能保持最新的世界观,并相信更好的地图能帮助接下来的各种决定。
同频道的其他文章
1:25:56EN
2:17:48EN → 简体中文
2:00:51EN
1:26:46EN
1:10:12EN
1:30:54EN