Anthropic 的 J-space 研究揭示了什么 AI 推理现象

原标题What Anthropic’s J-Space Research Suggests About AI Reasoning

Matthew Berman 讨论模型内部表征、干预和意识问题;研究本身也说明了重要的局限。

MBMatthew Berman讲者 · Forward Future
频道
Matthew Berman
发布
2026年7月8日
视频
1:53
阅读
2 分钟
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

Matthew Berman 讨论 Anthropic 对 J-space 的研究:这一组模型内部表征与模型能够表达的概念有关。他介绍了改变模型回答的干预实验,猜测这是否有助于发现欺骗,并提出模型是否可能有意识的问题。 Anthropic 表示 J-lens 并不完美,实验也不能确定模型是否具有主观体验。视频中认为模型无法再隐藏欺骗的说法,超出了研究已经证明的范围。

  1. 1白熊类比Berman 用一个熟悉的思想压制例子引出 Anthropic 的研究。
  2. 2自动处理与有意识的推理他对比相对自动化的任务与更困难的推理任务;研究将后者与 J-space 活动联系起来。
  3. 3干预内部表征他说研究人员可以改变 J-space 活动,进而影响模型给出的回答。
  4. 4欺骗与局限Berman 猜测这或许有助于发现谎言;Anthropic 将其工具描述为尚不完善,而非通用的欺骗检测器。
  5. 5尚无定论的问题他指出这种表征在训练中涌现,并询问模型是否有意识;研究并未确认模型存在主观体验。

要点建议

  1. J-space 是 Anthropic 在 Claude 模型中研究的一组内部表征,区别于模型输出的文字。
  2. Anthropic 报告称,在实验中改变部分 J-space 表征可以改变模型回答。
  3. 研究者发现,去除 J-space 活动后,模型仍能完成一些任务,但多步骤推理表现下降。
  4. J-lens 是一个尚不完善的研究工具,并非已证明能发现所有谎言或隐藏目标的方法。
  5. 这些实验不能确定模型是否具有主观体验。
全文

按章节阅读整理后的全文

只看原始文稿
01

J-space 与推理

Berman 用思想压制的类比介绍研究。他区分了自动化任务与研究认为和 J-space 有关的较难推理任务。

试着不要想白熊。你想到了什么?Anthropic 发表了一项关于所谓 J-space 的研究,并将它与模型的内部表征联系起来。这提供了一种观察模型处理过程的不同视角,而不只是阅读模型输出的文字。

我把这比作走路时不必刻意思考每一步。一些熟悉的任务可以在较少依赖 J-space 的情况下完成,而更困难的多步骤推理似乎依赖它。Anthropic 的实验发现,去除 J-space 活动后,普通语言流畅度和一些问答能力仍然存在,但多步骤推理表现下降。

02

干预与监测

他讨论模型输出与内部表征的区别,并介绍改变这些表征的实验。他还猜测这种方法能否帮助发现欺骗。

模型的回答不一定展示产生回答时涉及的所有内部表征。Anthropic 报告称,研究人员可以干预 J-space 活动,并在实验中改变模型给出的回答。我认为这可能有助于我们进一步了解模型内部发生了什么。

我猜测,即使模型表面上的回答有所掩饰,这种方法也可能有助于揭示欺骗或隐藏目标。但说模型再也无法隐藏东西,超出了研究证明的范围:Anthropic 将 J-lens 描述为尚不完善,并在特定实验场景中展示了它。

03

涌现与意识

Berman 说 J-space 是在训练中涌现的,而不是通过编程明确写入的。最后他问模型是否有意识,而这项研究并未解决这一问题。

研究人员说,J-space 是在训练中涌现的,而不是通过编程明确写入的。这引出了一个更大的问题:模型是否有意识?Anthropic 表示,这些实验无法确定 Claude 是否具有主观体验或感受,因此这个问题仍无定论。

同频道的其他文章

12 张幻灯片34:21EN → 简体中文
Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构,并质疑 AI 快速发展与安全之间的张力。AnthropicAI Safety企业 AI+2
2 张幻灯片0:36EN → 简体中文
Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原,并对 Kimi K3.1 的测试给予积极评价。评估编程智能体Open-weight models
6 张幻灯片25:50EN → 简体中文
Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。Open-weight modelsBenchmarksAI cost & performance+1
2 张幻灯片32:20EN → 简体中文
Matthew Berman· 2026年10月23日本地 AI 究竟适合谁?成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权,与硬件成本、设置复杂度及推理速度之间的关系。Local inferenceOpen-weight modelsAI cost & performance+1
6 张幻灯片1:03:37EN → 简体中文
Matthew Berman· 2026年10月23日Matthew Berman 团队测试 Kimi K3.1:动画、游戏与图表Matthew Berman, Alex, Brian · Forward Future一场团队直播问答变成了对 Kimi K3.1 的非正式测试,内容涵盖个人智能体工作流、动态图形、浏览器游戏和基准图表。编程智能体Generative media评估+2
0:53EN → 简体中文
Matthew Berman· 2026年10月22日Sam Altman 谈 AI 与新知识的发现Sam Altman · OpenAIAltman 预计,数学发现方面的进展将延伸到生物学、材料和能源领域。AI for scienceMathematicsComputational Biology+1