Perplexity 的 R1 1776：回答与基准测试比较

摘要

30 秒看懂

2025 年 2 月，Matthew Berman 评述 Perplexity 的 R1 1776。这是一个经过后训练的 DeepSeek-R1 版本，旨在减少对中国政治敏感话题的拒答与回避。他讨论了一个例子和公司报告的评估结果。这些结果仅适用于所测试的提示词、评判方式和基准，不能证明任何模型在所有情况下都没有审查、偏见或错误。

1经过后训练的 R1 变体Perplexity 发布 R1 1776，以改变模型在政治敏感话题上的行为；Berman 将其描述为没有审查。
2一个例子Perplexity 比较了对一个关于台湾和 NVIDIA 的假设问题的回答。仅凭这个例子无法证明回答准确或没有偏见。
3公司报告的评估图表显示，在 Perplexity 的特定测试中，DeepSeek-R1 的比例超过 80%，R1 1776 接近零；这不代表所有可能的问题。
4选定基准测试结果展示的几个测试分数接近，但这不能说明所有能力都没有变化。

要点建议

R1 1776 是 Perplexity 于 2025 年发布的经过后训练的 DeepSeek-R1 变体。
Perplexity 在自己的敏感话题评估中报告，该模型产生被归类为回避或过度过滤的回答的比例低得多。
单个地缘政治和股市例子不能证明中立性，也无法预测实际股价走势。
展示的数学和推理成绩在选定测试中相近，但不能证明所有任务的表现都相同。

主题Foundation Models 评估与可观测性 AI Alignment

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

R1 1776 与一个例子

Berman 介绍 Perplexity 经过后训练的 R1 模型，并展示公司对回答的比较。单个例子不能证明中立性。

Perplexity 发布了 R1 1776，这是一个经过后训练的 DeepSeek-R1 版本，旨在减少对中国政治敏感话题的回避。我将其描述为去除审查，但这一改变针对的是 Perplexity 设定并评估的行为，不能证明所有拒答、限制或偏见都已经消失。

公司展示了一个假设问题：台湾地位的变化可能如何影响 NVIDIA 股价。在展示的例子中，原版 R1 的回答偏离了金融问题，而 R1 1776 讨论了可能的经济和供应链影响。我称后者没有偏见、考虑周全，但一个例子不能证明中立或事实准确，也无法预测未来股价。

如何理解评估结果

Perplexity 报告说，模型在选定测试中的回避回答更少，若干基准成绩相近。这些结论具有特定的测试范围。

幻灯片 1 / 2Perplexity 的敏感话题评估图表比较公司在特定测试集中归类为回避或过度过滤的回答，而非衡量所有情形下的审查。

Perplexity 的图表显示，在该公司测试中，被归类为受审查的回答比例，DeepSeek-R1 超过 80%，R1 1776 接近零。按照公司的[说明](https://www.linkedin.com/posts/perplexity-ai_today-were-open-sourcing-r1-1776a-version-activity-7297684543937859584-nVZY)，它收集了 1000 多个多语言敏感话题示例，并使用人工标注员和语言模型评审识别回避或过度过滤的回答。图表反映的是该次评估及其标准，而非普遍适用的零审查率。

幻灯片 2 / 2Perplexity 的选定基准测试比较报告中的数学和推理成绩在列出的评估中相近，各项分数仍有差异。

Perplexity 还报告，展示的内部测试以及 MMLU、DROP、MATH-500 和 AIME 2024 测试结果相近。例如，表格显示 R1 1776 与 DeepSeek-R1 在 MATH-500 上分别得到 97.2 和 97.3。这些选定结果表明它们在上述测量中的表现相近，但不能证明所有能力或各种偏见都没有变化。