走进 AI 模型：Neel Nanda 谈可解释性与安全

Hannah Fry 与 Google DeepMind 的 Neel Nanda 讨论可解释性：研究 AI 系统如何处理信息的方法，以及这些方法如何可能支持安全。有关思维和神经科学的类比用于解释研究工具，并不能证明模型具有人类体验。

Nanda 说科学好奇心和安全是他的研究动机。他认为未来一二十年可能出现人类水平的 AI，这是预测，并非已经证实的时间表。

机制可解释性试图把模型内部计算与外部行为联系起来。研究人员对复杂系统能被理解到什么程度存在分歧；Nanda 把全面理解视为雄心勃勃的目标。

Nanda 将推理记录比作草稿纸：它可以提供线索，也可能暴露错误或不良行为，但不能保证忠实反映全部内部计算。未来的模型也可能学会隐藏信息。

讨论区分了检查输入、输出和推理记录，与检查内部激活值。Nanda 介绍了探针（寻找选定概念）和稀疏自编码器（尝试从激活数据中分离有用特征）。

几何类比有助于解释激活空间中的方向如何与概念相关。检测到某个方向是分析信号，并不自动构成对模型行为的完整或因果解释。

稀疏自编码器识别出可能比原始数字更容易检查的模式。Nanda 指出其局限：发现哪些特征取决于训练数据，重要概念可能被遗漏。

在安全审计中，研究人员希望发现滥用、隐藏目标或针对测试的作弊。Nanda 描述了一个稀疏自编码器和黑箱方法均有助于发现可疑行为的例子；特定案例成功并不证明能够普遍检测。

展望未来，Nanda 希望出现成本更低的监测工具和更强的模型审计，同时呼吁对全面理解保持现实预期。可解释性是不断发展的安全方法中的一层，并非保证。