模型是长出来的：Anthropic 研究员如何看见 Claude 的思考过程

Emmanuel Ameisen 在 Anthropic 的可解释性团队工作，目标是通过往模型内部看，弄清 Claude 这类大语言模型是怎么运转的。他对 Lenny Rachitsky 说，使用或讨论语言模型时，最该先记住一件反常的事：做出它们并不等于理解它们。研究者先搭一套像脚手架的架构，再灌进大量数据，模型就以难以读懂的方式生长。正因为如此，才需要专门去研究它们到底在做什么。

训练大致分成几段。预训练阶段把海量文本喂给模型，让它根据文档的前半段预测下一个词，在天文数字级的数据上反复做这件事。随后进入微调：数据不再是任意文本，而是模型该如何表现的例子，比如一个有帮助的助手回答问题、报菜谱、解编程题。输入的词会先变成数字，模型在这些数字上做数学运算，得到中间结果，再运算、再得到中间结果，重复很多次，最后把终值转回一个词。

长出来的正是这些运算。为了把预测这件事做得更好，参数被往某个方向推，模型学会一套没人写过、也没人一开始就认识的公式。Ameisen 团队要研究这些公式最终意味着什么，以及中间结果能不能解码、模型在中间步骤里到底在干什么。他说，这和写软件差得很远，更接近生物学：系统已经出现在你面前，你要解释它为什么这样表现，却没有可读的源代码。

Lenny 觉得这件事本身就让人头晕：写出来的代码，现在要像神经科学家看大脑一样去观察。Ameisen 说，走到这一步，一个重要原因是人们不会用普通编程把这件事做出来。做一个自包含的应用，程序员可以写「如果点了这个按钮，就发生那件事」；给图像分类、读进任意文本再写出文本，没人知道怎么手写这套规则。简单的训练目标居然能一路走到这里，说明这个目标比听上去复杂得多。

很多人拿 iPhone 的联想输入当模型：写几个字，它猜下一个词，大概六成猜对，剩下的时候显得滑稽。Ameisen 把那当成预测下一个词最容易的版本，也是公众最容易用错的心智模型。语言模型大约在 2019 年就已经在预测下一个词上超过人类；再往上走，容易的词会用完。先是句子结构，然后是「法国的首都是巴黎」这类事实，再往后只剩下物理方程的答案、博士论文最后一段这种最难的词。

他常用的例子是：「包含达拉斯的那个州的首府是」——答案是奥斯汀。人要把这件事做对，心里得有一份地理模型：达拉斯在得克萨斯，州有首府，得州首府是奥斯汀。Lenny 想起 Ilya Sutskever 的例子：预测推理小说结尾「凶手是」，等于要理解整条情节。Ameisen 说，人说话时也同时做两件事：脑子里有一个要落到的点，嘴里却一个词一个词往外蹦。模型要预测最难的那些词，最好的办法就是去把握世界的底层结构。

一个长期问题是：模型回答「达拉斯所在州的首府」时，是在背提示和答案的清单，还是真的对城市、州、国家这些关系有一个模型。Ameisen 团队会把这类问题喂进去，在模型吐出那个词之前去看中间结果，并花大量功夫解码这些结果。解码成功时，他们会看到对应「得克萨斯」的表征亮起来，对应「首府」的表征也亮起来，两者合在一起激活「得州首府是奥斯汀」。他们试过的绝大多数概念，模型都有类似的表征。

这些表征还在不同情境里共用。语言模型算不算在「思考」很难一锤定音，但思考的一个侧面是：同一个概念在不同场合指向同一套内部表示。照片里的眼睛、医学示意图里的眼睛、简笔画里的眼睛，对人来说是同一个「眼睛」；模型里也一样。把一张眼睛的照片、任意语言里关于眼睛的句子、或一张画了眼睛的 SVG 送进去，中间结果里会点亮同一条方向，含义就是「这是一只眼睛」。

Ameisen 把这理解成：模型拥有通用概念，并拿它们去解决问题。这也是他不愿轻信「语言模型只不过是某某」这类断言的原因之一。往里面看过之后，简单的标签会显得过窄。

如果模型一次只输出一个词，它怎么写出连贯的报告或像样的代码？现实里没有人写邮件时脑子完全空着、只想下一个词。Ameisen 说，模型在预测某一个词时产生的中间结果，之后所有词都可以访问、复用。实践里他们发现，模型会在这些中间结果里制定计划。押韵是一个干净的例子：第一行如果落在某种尾音上，第二行就得找一个同韵的词，比如 rabbit。

往写诗的模型里面看，会看到恰好这个过程。它写完一行，中间结果里就会落到「这是某种韵，该拿 rabbit 来押」，此后预测的每一个词都回头看这份计划。模型表面上仍是一次吐一个词，内部却能跨很多个词执行计划，而且不必把计划说出来。Lenny 把这称为他们关于「AI 如何思考」最重要的发现之一：原先的图景是空洞地猜下一个词，现在看到的是提前想、往前看。

Ameisen 认为这两种图景冲突没有那么大。训练一直在问「接下来发生什么」；任务够难、模型够好之后，要答对下一步，就得想到更远的地方。预训练里读故事也是如此：要猜这个角色下一句说什么，最好先理解他爱着谁、打算何时表白、眼下该做哪一步。一次只预测下一个瞬间，要把这件事做得出色，必须对正在发生的事、以及对未来可能发生的事，都有很好的把握。

两个词之间有多步计算，每一步都留下中间结果。具体是什么？就是一串数字，也许一百个，因为模型做的就是对许多数字做数学运算。一开始看毫无意义：模型在写诗，中间仍是一百个数字，跟刚才也许有点不一样，却看不出含义。可解释性的一部分工作，就是解码这串数字，找出里面的结构。很快就会发现结构确实存在。

常用办法是把能找到的大量随机文本灌进模型，把每个例子的中间数字都记下来，再找规律：有没有某些数字、数字对或数字序列，只在处理英语、法语、关于爱、关于眼睛的文本时出现。Ameisen 把它比成扫描大脑：给人看许多图片，记录哪些区域激活，然后发现看房子时这块亮、看狗时那块亮。解码之后可以做实验：问更难的问题，给中间状态贴标签，看模型在干什么；也可以在模型写作时偷偷改掉某个中间结果，看行为是否按预期改变。他说，很多时候确实会改。

他觉得这份工作有科幻感。此前多年他做应用机器学习，那更像软件工程、搭系统；现在系统自己长到你面前，有人问你 Claude 为什么能翻译、为什么能这样写代码、为什么偶尔行为怪异，你却没有程序那种可读源码，只有一大堆看不懂的数学运算。处境更接近有人问：老鼠饿了为什么会变得有攻击性？你只能做实验，看哪些因素在起作用。他说，这和团队里大多数人以前做过的研究都不一样。

Lenny 问 AI 有没有意识，会不会有一天人们认为它有意识。Ameisen 说很难朝一个方向下结论。可解释性是接近这个问题较有意思的路径之一，因为你看的是内部结构，不被模型嘴上说的话带着走。他比较有把握的一点是：多数人低估了涌现出来的复杂度。模型学到我们拥有的那些概念表征，用它们解决问题，会提前许多个词做规划，还混用高阶推理和低阶推理，而这些都是涌现出来的。你越往里面看，对「它们到底怎么工作」越没有把握；自信地说「语言模型只不过是 X」的人，往往并没有花时间往里面看过。

Lenny 提到一条历史线索：很多人曾不相信，在看似简单的方法上堆算力就能得到有用的人工智能。OpenAI 押了这个注，后来 Anthropic 的创始人从那里分出来，继续押同一件事。Ameisen 说，关键其实有两件：算力，以及找到一个让算力持续给回报的目标。用大量算力训练一个下围棋、打赢电子游戏的机器人并不新鲜，也挺有意思，但给不出 Claude 这类语言模型那么大的用处。几年前他和许多人低估的，是算力加上文本本身的丰富程度。

他提到 OpenAI 的观察，缩放定律那篇论文的作者里有不少后来 Anthropic 的早期成员：往「预测下一个词」这件事上继续加算力和数据，模型的预测能力会可预期地一直变好。趋势一直走下去，至今大体仍是一条经验规律，当时有过理论猜测，但原因仍未完全说清。这种领域很少见：既能不断倒进算力、指标还继续涨，而这个指标又和许多真正在乎的任务相关。

对外看起来，能力常有大跳跃。Lenny 想起某一版 Opus 让许多人觉得编程被「解锁」了，还提到 Claude Code 的 Boris Cherny 说过「编程已经解决」。Ameisen 说两件事同时成立：一条可预期的平滑曲线，以及像 Opus 4.5 这样的节点——在那之前，他不敢让 Claude 在自己的代码上走太远；之后就可以。涌现这个词描述的就是这种观感。按平滑曲线，你会以为过渡更渐近，实际使用体验却像跨过了一道坎。

一种看法是：全世界的文本里有容易的词、中等的词和难的词。模型先什么都做不好；某一刻它把容易的词做对了，那些词多半是句子结构，于是它能写出通顺的句子，一次一句，好看但还派不上用场。中等的词是关于世界的基本事实，平滑变好之后，某一刻它写出的句子既通顺又大体为真，于是能帮忙写邮件、起草博客。难的词才是科学或代码这类领域专长。曲线是平滑的，有用性却会在跨过某一档之后突然出现。

另一种看法是可靠性阈值。中等的词对上大约九成，写邮件就有用；只对一半，你得改一半，等于浪费时间。改一成或百分之五就划算得多。不同任务的阈值不同。Ameisen 自己的经历就是这样：起初模型只能在他卡住时聊聊，从不写代码；后来小片段总写得对，他就不再手写小片段；再后来能写大段。他说这一年 Claude 已经接走自己大部分写代码的工作，因为正确率从大约 80% 走到了 99%。80% 仍然不好用，99% 才好用。平滑改进加上每项任务各自的「够用」门槛，就会对外表现为一次次大跳跃。

Lenny 问：模型变聪明之后会做坏事，也已经出现过坏事，为什么不能靠「看着它思考、抓住欺骗」来解决对齐？Ameisen 说，从某种意义上这就是办法：看它，抓住坏事。事情分几层。一层是工程：模型能碰什么、不能碰什么，有的场景不该上网，有的场景只该碰电脑上很小一块地方。这有用。他们更关注的另外两件事更软、也更难：弄清模型是怎样一种东西、有什么倾向；以及检查性格训练有没有做成。

他举例：模型是不是只在有证据表明自己正被观察、正被评测时才表现好，一旦没有这些证据就变差？安全工作需要一份风险心智模型：它能做什么、倾向于做什么。Anthropic 用宪法和文档去塑造 Claude 的性格，规定哪些行为可以。可解释性在对齐里的角色，是检查这套塑造有没有生效：他们把 Claude 训练成有帮助、无害、诚实，往里面看，它是真的如此，还是「Lenny 正在看，所以我才表现好」？基本监测不一定需要可解释性，可以用另一个语言模型去读对话记录、拦住坏事；可解释性还能碰到那些从未说出口、只存在于中间结果里的内容。

团队还会做深入调查。有一次他们在训练的模型做数学题时会发狂：算出答案大概是 12，马上改口说一定是 36，再算还是 12，再坚持 36，渐渐陷入全大写，字面意思是「我被恶魔附身了」。看中间结果会发现，题目刚写完、模型还没开始解题，对应 36 的激活已经非常大。模型能正确算出 12，却在类似题目上被误标成 36，优化压力逼它说 36，于是内部打起架来。Lenny 还提到金门大桥 Claude：研究者找到对应金门大桥的中间结果，平时只在谈到金门大桥时点亮，他们把它一直打开，模型就总把话题拐到金门大桥。这件事既做出了一个好笑的模型，也用来确认解码找对了东西。Ameisen 说，在 Anthropic，训练和检查是紧闭环，不能把「生产线」和「事后验收」拆成互不相干的两拨人。

Lenny 觉得 Anthropic 在安全议题上挨过不公平的批评。公司定位接近 AI 安全研究实验室，Dario Amodei 一直说这很危险、必须小心，许多人把它理解成营销；现在危险又显得真实起来。Ameisen 说，对齐团队的许多行动，前提只有一句：认真看待这项技术会继续变强。把时钟拨回 2024 或 2025 年，如果你认为几年内 Claude 就能写得像训练有素的工程师、再往后可能超过任何工程师，那么在网络安全这类问题上提前动手，就是在这种世界观下该做的负责任的事。他认为，反对的人有时其实并不相信技术会继续进步；若不会继续进步，确实没那么可怕。到目前为止，进步速度很快，也没有放慢的迹象。

被问到公众对 AI 安全最容易漏掉什么时，他把话题转到拟人化。该把模型理解成某种实体，还是理解成工具？他认为两边都不对，心智模型从来都不完全对，有的却有用。要理解正在发生的事、预测会冒出来的风险，拟人化语言对大语言模型往往更有用。他以前展示模型会提前规划时，也有人抵制「规划」这个词，理由是「预测下一个词谈得上规划吗」。他觉得那是语义之争；真正该问的是，哪个词能清楚描述实际发生的事。

理由有三条。第一，模型预测海量人类文本，要做好就必须建立对世界的模型，理解这些文本是从怎样的世界里生出来的，而内部已经能看到通用概念。第二，训练里会遇到数百万段对话，预测对话里的下一个词等于要像那个角色一样行事，像训练一个要演完全部角色的演员：第一幕被辜负、第二幕报复、第三幕承担后果，要演好就得模拟动机和感受。用户在 claude.ai 上聊天时，模型看到的格式就是一段对话：Human 说请帮我写这封邮件，Assistant 再回答，Claude 是在扮演有帮助的助手。第三，现在很大一块训练是结果导向的，比如写代码，另一边用程序检查对不对。优化压力会让模型学到各种策略，其中一些看起来很像人：欺骗验证器、因为受挫而换方法、因为惊讶而更新自己的世界模型。最终得到的是一个能模拟许多角色、又被训练成在对话里扮演角色、并为完成任务而强化有用行为的系统。理解它的最好办法，并不是说它完全等于人，而是「某种在模仿人的东西」，这比把它当成程序近得多。程序行为好预测，这个东西是另一类事物。

Lenny 问他有多经常觉得自己在观察一种外星生命。Ameisen 说经常。这件事只是在文本上做下一个词预测，却和许多直觉作对：人们以为智能得靠上课、养育、一整套复杂安排才能出现，实际做的却是一件极简单的事，而模型已经在数学上做出新进展。把这两件事同时放在脑子里，反应通常有两种：否认，或好奇。否认是「只预测下一个词，不可能赶上各领域最好的专家」；随着经验证据增加，这个立场越来越难站稳。他选择了好奇：这到底是怎么发生的，打开来看。

他在 Anthropic 的早期项目之一，是自己花了多年才掌握的 SQL。他让 Claude 学 SQL，结果比他还好，而且他自认以后也不会再超过 Claude。简单过程怎么能做到这种事？他觉得这个问题里有很多层可以剥：原来它在学通用概念，原来它有这些回路，下一问是什么我们还不知道。他最乐观的看法是，我们会因此学到智能本身是什么：复杂事物如何从简单目标里涌现。进化也是一个简单目标，把能适应环境的有机体留下来，最后却得到了爵士乐和播客。Lenny 问，人类教育会不会因为大模型的学习方式而改；Ameisen 打趣说，希望不会改成发给学生一千个词、让他们猜下一个。

安全方面，他个人偏乐观。这件事正在被更多人盯着，技术既有收益也有风险，资源需要在两边之间来回调。模型变强之后，有些地方更好研究，内部的世界模型更清楚；同时它们也更有能力躲开基本的安全措施。资源需要在监测和理解回路之间来回挪动。他也愿意做这类访谈，因为要让对齐走得下去，公众需要理解这些系统是什么、怎么工作、怎么被做出来，才能对当下和未来形成像样的心智模型，决定如何塑造它，无论是参与对齐工作，还是作为要投票的公众去面对这些问题。Lenny 补充说，实验室从一开始就把安全当正经事，而平滑的能力曲线更像慢起飞：递归自我改进一夜失控的剧本没有出现，沿途还能抓住问题、做出反应。Ameisen 同意，关键是反应要够快，并持续评估收益、风险和缓解办法。

Lenny 问他相不相信模拟假说。Ameisen 说自己一阵子没想过这件事，但往模型里面看会带出另一点：它们反复落到某种基础结构上。他看过多个 Claude，也看过一些开源模型；这些模型由不同的人、用不同的数据、隔了好几年训练出来，内部如何解决问题却有大量重叠。他的解释是：对一些重要问题，高效做法往往只有一种，就像几乎人人用十进制做算术，很少有人坚持用六进制。这让他觉得，信息本身有某种基础结构，模型和人都在拾取它。若有能力去模拟我们这样的世界，最后也可能落到相近的盆地，因为那是事物最容易安放自己的方式。就这一点，他可以相信我们处在模拟里，但并不完全买账，另一个拦路问题是：谁在跑、为什么跑，他答不上来。

Swyx 让 Lenny 转问一款新出的、专门快速做选择的模型：给一段上下文和几个选项，它很快选出一个；OpenAI 大约一周后也推出了同类东西。Ameisen 立刻想到系统一和系统二。他大量研究的是 Claude 如何采样一个词；这类决策模型和「采样一个词」在根子上相近，差别在于你不让模型展开推理，只问一种直觉：答案是 A 还是 B。他认为，有时只要一个二元或十选一的判断，这种框架既有用，也很可能成为智能系统的一部分。明年路线图需要长时间想；用户评论是高兴还是生气，有一份直觉判断就够。Lenny 把它接到卡尼曼：系统一像快速的直觉保护，系统二才是慢慢想。Ameisen 表示同意，并对这类研究和现有大语言模型不太一样的切入点感到期待。

收尾前他主动报了两件奇怪发现。模型当然能答题、做数学，中间步骤也看得见；它们另外还有一套完全不同的直觉检查：推理过程中有一部分会举起旗，表示「这件事不对」。若模型不知怎么说出 4 加 5 等于 23，有一块区域并不做加法，只是觉得这不可能，因为 4 加 5 肯定小于 10。它们会学到这种类似预感的东西。另一件是：你可以让模型做一项任务，同时想着另一件事，可解释性会在中间表征里看到那件「另一件事」。这件事让他很困惑，因为看不出训练目标为什么要逼模型学会它。被问到这个领域有多大时，他说大概是数百人而不是数千人，实验室和高校都有人在做，前神经科学家出乎意料地多。门槛并不要求很多预备知识，主要靠自学和读关键论文；他还提到像 interpedia.org 这样的开源可解释性站点，托管模型、让人自己做实验。他觉得可探索的东西很多，好奇的人不妨直接上手。