语言模型能察觉注入的概念吗?

原标题Can a Language Model Detect an Injected Concept?

Matthew Berman 介绍 Anthropic 的一项实验:模型有时能报告其内部激活受到的人为改变。

MBMatthew Berman讲者 · Forward Future
频道
Matthew Berman
发布
2025年11月10日
视频
1:56
阅读
1 分钟
幻灯片
1
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

Matthew Berman 介绍 Anthropic 对模型内省能力的研究,并讲解一项向模型注入与某个概念相关的激活模式的实验。在特定条件下,模型有时会在首次提及注入概念之前报告这一变化。这是一项范围有限的实验发现,不能证明模型有生命或意识。

  1. 1研究主题Berman 介绍 Anthropic 关于内省意识的论文。
  2. 2注入激活模式研究人员通过对比提示词提取激活模式,将其注入模型的激活状态,再要求模型报告感受。
  3. 3有限的成功率论文报告称,在特定条件下,这种行为出现的概率约为 20%;这并不是通用的意识测试。

要点建议

  1. 研究人员注入与概念相关的激活模式,然后询问模型是否察觉到意料之外的概念。
  2. Anthropic 报告称,在特定条件下,其测试中表现最好的模型约有 20% 的时候表现出这种行为。
  3. 尽管短片开头提到了四类实验,实际只讲解了其中一项。
  4. 这些发现不能证明模型具有意识、主观体验或生命。
全文

按章节阅读整理后的全文

只看原始文稿
01

测试模型的内省报告

Berman 解释概念注入实验及其报告结果。短片在讲到其他类型的实验之前就结束了。

Anthropic 发表了一项研究,探讨语言模型能否报告自身内部激活状态的信息。我介绍了四类实验,但这段短片只讲第一类。在测试中表现得像人,并不能证明 AI 系统有生命或意识。

在概念注入实验中,研究人员比较不同提示词对应的激活状态,其中包括一个全大写的例子,然后向模型注入相应的激活模式。他们询问模型是否察觉到意料之外的概念。在一个例子中,模型在首次提到注入的概念之前,报告了与音量或喊叫有关的内容。

Anthropic 的概念注入示例
幻灯片 1 / 1Anthropic 的概念注入示例研究摘录对比了对照组的回答与激活干预后的回答。

Anthropic 报告称,当研究人员在合适的层级、以适当强度注入概念时,Opus 4 和 4.1 约有 20% 的时候表现出这种行为;在部分测试中,其他模型出现这种行为的比例更低。这些结果取决于具体的干预和评估方法,并不能证明模型有主观体验,也不能证明智能与意识之间存在普遍关系。

同频道的其他文章

5 张幻灯片14:45EN → 简体中文
Matthew Berman· 2026年10月29日Matthew Berman 解读 Google 的 Gemini 4 Carbon 公告Matthew Berman · Forward FutureMatthew Berman 回顾 Google 公布的 Gemini 4 Carbon 基准结果、分阶段开放计划与定价,同时指出自己尚未使用该模型。Foundation ModelsBenchmarksAI cost & performance+2
12 张幻灯片34:21EN → 简体中文
Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构,并质疑 AI 快速发展与安全之间的张力。AnthropicAI Safety企业 AI+2
0:26EN → 简体中文
Matthew Berman· 2026年10月25日Sam Altman 谈 AI 世界中的人类价值与问题解决Sam Altman · OpenAI在一段简短的访谈摘录中,Altman 思考解决难题的乐趣,以及人在解读结果时的作用。Human-AI CollaborationFuture of WorkAI Strategy
2 张幻灯片0:36EN → 简体中文
Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原,并对 Kimi K3.1 的测试给予积极评价。评估编程智能体Open-weight models
2 张幻灯片0:21EN → 简体中文
Matthew Berman· 2026年10月24日AI 生成的 Kimi 基准图表使用了虚构分数Matthew Berman · Forward FutureMatthew Berman 要求生成一张 Kimi K3.1 Pro 基准图表,随后发现图中的数字只是示意性占位值。Benchmarks评估Generative media
6 张幻灯片25:50EN → 简体中文
Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。Open-weight modelsBenchmarksAI cost & performance+1