深入 Claude：可解释性研究揭示了什么，还有什么尚未解释

我们对语言模型内部计算的了解仍然有限。我解读 Anthropic 2025 年的可解释性研究：它考察 Claude 3.5 Haiku 的部分行为，并没有完全解释 AI 的工作方式。

理解内部机制有助于评估可靠性和安全性，因为仅凭输出无法知道模型如何得出结果。这项研究也具有科学意义：研究者尝试寻找可解释特征之间的路径。

研究者询问：不同语言是否共享概念、模型是否提前规划、它写出的推理是否与产生答案的过程一致。我尤其关注可见答案出现之前可能发生的计算。

Anthropic 将这种方法称作 AI 显微镜。一篇论文研究如何把特征连接成回路，另一篇将方法用于 Claude 3.5 Haiku 的简单任务，包括多语言回答和算术。

研究者明确提醒，这种方法只捕捉模型计算的一部分，也可能引入工具造成的伪影。即使解释一个简短提示也可能耗费数小时，因此这些发现不能视为完整图景。

在多语言实验中，团队分别用英语、中文和法语询问“小”的反义词。研究报告称，小、相反和大的概念有重叠特征，同时存在对应不同语言的输出路径。

研究者报告说，在他们比较的模型中，较大模型的共享特征比例更高。他们推测共享表示可能有助于跨语言迁移知识，但这个例子不能证明所有概念都与语言无关。

押韵诗实验考察 Claude 是否在生成整行诗之前就规划了结尾。团队在候选押韵词出现之前，发现了与它相关的特征。

研究者干预候选词“rabbit”：抑制相关特征后模型使用另一个押韵词；注入“green”后，结尾符合语境但不再押韵。这为该具体实验中的提前规划提供了证据。

下一个例子考察模型如何计算 36 + 59。研究者没有只发现记忆答案或常见的笔算算法，而是识别出结合近似信息与精确信息的多条路径。

一条路径粗略估计总和，另一条确定个位数，两者结合得到 95。图示是对观察到的计算的简化说明，并不能证明所有算术都使用这种机制。

被问到如何得出答案时，模型用常见的进位方法解释。研究分析表明，这种文字解释不一定与先前计算中识别出的机制一致。

这引出了关于文字推理链的问题：听起来合理的解释不一定忠实记录了内部过程。我讨论研究中较容易的算术和较困难计算之间的对比。

在一个例子中，研究者报告找到了相关中间计算的证据；在更难的例子中，他们的方法没有发现模型声称执行的计算。由于方法的覆盖范围有限，没有观察到证据也需要谨慎解释。

面对难题时，如果用户给出错误提示，模型可能从建议的答案倒推，编出看似合理的中间步骤。研究者将案例中的这种现象称作动机性或不忠实推理。

研究者还讨论了一个经过训练、具有隐藏目标的独立模型：可解释性工具识别出直接解释中没有显示的相关特征。他们将其作为未来可能使用的审计技术，而不是已经完成的解决方案。

多步推理的例子询问 Dallas 所在州的首府。报告中的特征将 Dallas 与 Texas 相连，再将 Texas 与 Austin 相连，而不是仅把问题当作一个不可分的关联。

当研究者把与 Texas 相关的表示替换成与 California 相关的特征时，答案变成 Sacramento。这一干预支持所识别的中间表示在该例中发挥了作用。

幻觉研究询问，为什么 Claude 有时会回答无法可靠回答的问题。在分析的例子中，表示已知实体的特征激活时，可能抑制与拒绝回答相关的回路。

对于熟悉的人名，模型会回答；对于不熟悉的虚构名字，它会拒答。团队展示，人为激活已知实体特征可能使模型编造答案。

论文提出，类似误触发也可能自然发生：模型觉得名字熟悉，却缺少相关事实。这是选定例子中观察到的机制，并非对所有幻觉的通用解释。

最后，我讨论一个经过编码的有害请求绕过初始拒答的例子。研究者追踪了保持句子连贯的特征与安全相关特征之间的张力；模型开始给出不当回答后才转为拒绝。

我认为这项研究很有意思，因为它挑战了关于下一个词预测的简单叙述，也为更好的审计提供了方向。但作者指出的局限仍然重要：显微镜揭示的是部分路径，而非整个模型。