Nathan Lambert：语言模型评估如何演变

语言模型的评估方式随着模型发展不断变化：从 ChatGPT 出现之前引导基础模型回答问题，到如今在昂贵的环境中运行复杂智能体。模型行为改变时，衡量进步的方式也必须改变。评估帮助研究者理解哪些问题仍然困难，并以用户可以信任的方式传达进展。

前沿模型评估越来越微妙。实验室可能选择对自己有利的测试，而基准分数可能无法反映稳健性、信任和产品中的实际行为。即使是任务完成时间跨度这样的指标，也需要随着模型进步不断补充数据。建立可靠的目标可能比针对目标优化模型更难。

基准通常反映各个时代的训练目标。早期测试衡量知识和聊天风格；后来侧重数学、代码、事实性和安全性。推理模型带来了更难的问题和工具使用。现在的智能体评估越来越多地尝试端到端知识工作，而这更难评分。

指令微调出现之前，基础模型主要表现得像自动补全。少样本提示提供示例，展示期望的答案格式。评分器可以比较候选 token 的概率，也可以采样一个回答，再核对答案。采样更接近实际使用，但会引入随机性和更多评估选择。

Pass@k 估计 k 次采样中至少一次解决问题的概率。恰好生成 k 个输出并检查是否有成功，可能产生很大的方差。最初的 Codex 评估方法会采样多于 k 个回答，根据成功数量使用估计量，再对所有题目求平均。

早期评估流程看似简单：提示词、模型、生成的答案和评分器。但提示词格式可能显著改变结果。研究者花了大量时间为每个基准编写专门指令，包括如何从生成文本中提取答案。

在 ChatGPT 出现之前，思维链提示就已经在示例中加入中间推理步骤。后来，要求模型逐步思考等更短的指令也能引导推理。指令微调让模型更擅长在没有示例的情况下回答新问题，从而支持零样本评估和更广泛的应用。

随着回答更加开放，使用语言模型作为评判者的做法流行起来；MT-Bench 和 AlpacaEval 是聊天式评估的例子。选择题测试并没有消失。Tülu 3 在 2024 年的评估套件将少样本知识任务与数学、代码等零样本推理提示结合起来。

O1 等推理模型加速了让模型有时间思考的转变。对于较早的指令模型，针对基准定制提示词可能显著影响分数：Lambert 回忆，在 MMLU 上不同格式可能相差约八分。采样温度等设置也变得重要，影响能否复现模型卡中的结果。

答案格式可能导致分数看起来急剧下降。评估器可能期待答案出现在特定短语之后，而训练示例却使用方框格式。语言模型评判者有时能更灵活地提取答案，但这些实际细节需要投入大量工程工作。

GPQA、Humanity's Last Exam、FrontierMath 和编程评估等更难的基准需要专家出题。这些工作非常费力，标签或题目也可能出错。Lambert 提到一个自己尚未独立核实的可能例子，并提醒听众，不完美的标签使人们更难判断基准是否达到饱和。

新评估越来越接近软件、金融和法律等领域的真实专业工作。模型也会在编程助手等产品中接受测试。随着旧基准趋于饱和，领域必须不断创建更有挑战性的任务，尽管开放式工作更难衡量。

智能体评估衡量的是一个系统，而不只是模型。Harness 管理提示词、上下文和工具；沙箱提供文件、计算资源和智能体行动的环境。推理引擎或 API、硬件、超时时间和评分器都可能影响结果。

模型可能针对供应商自己的 harness 训练，而开放模型可能需要在许多 harness 中运行。Lambert 引用一个公开报告的 ARC-AGI-3 例子：使用定制 harness 后，模型分数发生巨大变化。专门的 harness 可以创造价值，却也使公平比较和建立共同标准更加困难。

实现错误也会影响结果。vLLM 对 Kimi K2 的一次事后分析发现，工具调用格式错误导致模型无法正常使用工具。即便不同服务商提供同一个模型，行为也可能不同。Lambert 重视公开的事后分析，因为这些失败通常难以被外界发现。

硬件和推理配置也可能引入波动：GPU 代际、内核、批次大小和并行方式都可能影响结果。长任务还有另一个问题：超时时间可能截断那些最终本来会成功的慢速轨迹。因此，复现分数既是基础设施问题，也是模型问题。

在 OLMo 3 工作中，团队对 14 个模型分别使用三个随机种子运行评估，衡量不同测试的波动。在他们的研究中，GPQA 比明确的知识和数学测试波动更大。智能体评估的任务更少、成本更高，因此噪声可能更大。

团队使用 average@k，增加试验次数并求平均，以更高的计算成本降低噪声。Lambert 回忆说，他们需要统一张量并行设置和批次大小，因为改变设置会导致分数变化。仅凭一分的差异，很难断定一个模型更好。

不同实验室报告之间很难比较，因为外界不知道哪些评估集在开发中被使用，哪些被保留作验证。实验室可能有意或无意地针对许多测试优化。在同一实验室的模型系列内进行比较可能更有意义，尤其是有用户体验和明显性能变化作为佐证时。

对于实际应用，应关注能力与价格之间的取舍。成本取决于推理、消耗的 token 数量和模型大小；能力最强的模型未必最适合。服务商努力改善能力与成本的前沿，而大规模提供服务意味着价格是评估不可分割的一部分。

前沿实验室可能维护数十到数百个内部评估，同时关注少量广为人知的公开测试。一个核心目的是获得统计效力：花费算力完成两次训练后，团队需要足够的信号判断哪组权重确实更好。噪声会削弱这一反馈循环。

污染是指评估测试材料有意或无意地进入训练数据。去污染可以使用精确匹配、子串匹配或模糊 n-gram 匹配来寻找并删除重叠内容。基准题目在网上传播后可能再次被采集，因此公开数据集尤其容易受到影响。

Lambert 介绍了针对训练数据过于接近数学测试时异常行为的审计研究。应对方法包括改变数字或措辞，以及保留私有评估集。这些防御措施有用，但污染是持续存在的问题，并非清理一次就能解决。

智能体在评估中也可能寻找捷径。代码仓库的历史记录可能包含答案，智能体也可能到外部网站搜索答案。评估者必须隔离沙箱、限制工具并检查日志，才能区分真正的任务能力和意外访问。这些监控会增加成本。

Lambert 提到 EleutherAI 的语言模型评估 harness 等成熟工具，以及 Prime Intellect 的 Verifiers 等较新的工作。后者把训练环境和评估环境联系起来，让模型学习在将要接受测试的环境中行动。

主要结论是：基准反映其时代的目标，而分数属于整个系统。研究者应分别改变各个组成部分，理解它们的影响。一定程度的噪声和优化公开基准的激励始终存在；与此同时，推理、沙箱、监控和评分使前沿评估越来越昂贵。