Theo 谈 Fable 的防护措施、数据保留与透明度

Fable 是一个令人印象深刻的模型，但我担心 Anthropic 的限制：谁可以访问它、请求何时会转给其他模型，以及这些干预如何影响评估。出色的基准测试结果可能包含 Opus 4.8 备用模型；一项 ProgramBench 测试报道还称模型拒绝了全部 200 个任务。

后加的一段说明提供了背景：录制时传来消息，美国政府要求 Anthropic 限制这些模型。主体讨论录制于暂停访问之前，分析的是 Anthropic 当时已经引入的防护措施。

Anthropic 将 Fable 5 和 Mythos 5 描述为同一个底层模型，只是受信任的 Mythos 用户在某些领域不受部分防护措施限制。我把它们比作通往同一地点的两扇门，其中一扇有额外检查。我认为额外强化学习使早期 Mythos 预览版演变为后续模型，这只是推测。

Anthropic 表示，由于网络安全等领域的风险，部分请求会转给 Opus 4.8。公司称防护措施调得比较保守，可能误拦无害请求，平均触发率低于 5% 的会话。根据我的经历，普通工作确实有时也会被转交。

例如，我请模型帮忙解一道密码谜题，结果看到请求转交后回答中止。这让我很沮丧：一个无害请求可能先被转交，然后又因备用模型的限制而失败。Anthropic 承认可能发生误判，并表示打算改进分类器。

公司介绍了用于检测潜在滥用的独立分类器，涵盖网络安全、生物、化学和模型蒸馏等领域。对于可见的转交类别，公司称会通知用户，并按照实际处理请求的模型计费。我希望意外转交导致不同收费前能由用户明确选择。

限制也会改变基准测试的含义：安全评估中的低分可能反映防护或拒答，而非底层模型的原始能力。有些领域确实存在严重的双重用途风险，因此安全目的和测量局限都值得关注。

另一个问题是数据保留。Anthropic 表示，无论在第一方还是第三方平台，Mythos 级模型的企业流量都要求保留 30 天，即使客户原本可能期待零数据保留。公司称这些数据不会用于训练新 Claude 模型或非安全目的，通常会在 30 天后删除。

公司还描述了安全调查或法律义务方面的例外。我担心被标记材料可能适用的更长保留期限，以及这对处理敏感数据的客户意味着什么。我对不同政策如何相互作用的理解，包括是否存在训练方面的例外，并不确定，不能当作法律结论。

我发现自己下载的系统卡与线上版本不同。最初我指责公司修改文档却没有说明；后来在视频中找到更新日志后，我纠正了自己。实质性变化仍然是我批评的重点，但我最初说没有更新日志是错的。

早期系统卡描述了针对前沿语言模型开发请求的不可见防护措施。文档列举了提示修改、引导向量和参数高效微调等限制有效性的方法，并估计约 0.03% 的流量会受到影响。这些是文档描述的干预方式和估计。

我认为这会带来严重的信任问题：用户付费获得回答，却可能不知道回答受到了干预。我举的提示被改写成故意让代码变差的例子是假设；我展示的文字并不能证明这种具体改写发生过。

研究人员也提出相关的评估问题：如果干预不可见，评估者可能不知道失败反映的是模型能力还是防护措施。我认同这一担忧，尤其是合法研究与受限类别相似时。但这种不确定性不等于证明某个回答遭到了有意破坏。

我讨论了 Redis 创建者 Salvatore Sanfilippo 等研究人员的批评：他们反对限制有用的研究，并担心对开放性的影响。这些是他们和我的观点；对于如何平衡竞争、安全和透明度，不同人可以有不同判断。

随后我找到了 Anthropic 的更新，并纠正了之前关于缺少更新日志的说法。公司表示正在将前沿模型开发防护改为可见：被标记的请求会转给 Opus 4.8，API 用户会收到拒绝原因，服务端转交功能随后推出。

Anthropic 表示，最初选择不可见防护，是因为它们可以在公司改进防护强度时更精确地针对目标；但公司承认这是错误的透明度权衡。它警告可见防护可能带来更多误判，并称正在调整网络安全和生物分类器。

我欢迎这一调整，但仍然不满之前的隐藏干预，并认为受影响的客户应得到补偿。Anthropic 也介绍了用户认为请求被误判时的反馈和申诉途径。这里记录的是当时公布的推出情况，不代表产品当前的行为。

Anthropic 为什么选择这种方式？我根据其关于模型协助 AI 研究者的研究提出了一个猜测。这只是推测，并非 Anthropic 已确认的解释。公司在更新中给出的理由是安全与透明度之间的权衡。

研究图表考察了 129 次内部会话中研究者下一步有改进空间的时刻。Mythos Preview 的替代建议在这些选定案例中有 64% 被判定更好。这并不意味着模型平均而言比研究人员更强；这些案例是因为人的方向本来就有改进空间才被选入。

我猜测专有研究信息可能进入了模型，并影响了公司的决定。我没有提供证据证明这种情况发生过、相关信息可以被提取，或它导致了这些防护措施。这些是猜想，并非该图表的研究结论。

John Ready 的文章把不可见的能力下降视为供应链问题：随着越来越多普通软件工作涉及 AI 模型，开发者可能不知道回答差的原因。我认同未披露的干预会让评估和信任更困难。我很高兴这种具体做法有所改变，但仍担心它开创的先例。