按照实际工作评估大语言模型

原标题Evaluate LLMs by the Work You Need Them to Do

人工评分、模型评审和基准测试各有盲区;Stanford 讲师介绍如何结合并检验这些方法。

AAAfshine Amidi讲者 · Stanford UniversitySAShervine Amidi讲者 · Stanford University
频道
Stanford Online
发布
2026年11月21日
视频
1:44:59
阅读
12 分钟
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

基准分数高,并不保证 AI 系统能做好你的工作。Stanford 讲师 Afshine 和 Shervine Amidi 建议先定义具体任务的成功标准,尽可能使用确定性测试,并用人工评分校准模型评审。对于智能体,应分别检查工具选择、执行和输出。公开基准可能遭到过度拟合,因此私有测试以及质量、成本和延迟的比较能帮助团队作出更有用的选择。

  1. 1评审者的一致可能只是巧合Cohen’s kappa 将观察到的一致率与随机一致的基线比较;对于主观标准,清晰的标注规则尤其重要。
  2. 2Pass@k 衡量多次尝试中是否有一次成功当测试能识别可用方案时,这一指标很有用;如果系统无法检查答案,其直接作用就较小。
  3. 3模型评审本身也需要评估人工标注样本和错误分析可以帮助改进评审提示词;精确率与召回率分别衡量不同错误。
  4. 4评审模型的偏好可能随答案顺序改变课程介绍了位置、冗长和自我偏好等偏差,以及测试或缓解这些偏差的方法。
  5. 5智能体的失败可能源于工具接口决定如何修复糟糕的最终回答之前,应追踪选择的工具、参数、执行过程和返回数据。
  6. 6微小的基准变化可能改变模型排名讲师介绍的一项研究发现,轻微改变要求会降低分数;他们认为过度拟合基准是可能原因之一。
  7. 7同时比较模型的质量与成本帕累托前沿找出特定成本下质量最好的方案;延迟也可能成为约束。

要点建议

  1. 选择模型之前,先明确重要的质量标准和实际任务。
  2. 答案可验证时使用可执行检查;无法验证时,用人工标签校准模型评审。
  3. 测试模型评审是否存在位置、冗长和自我偏好。
  4. 通过智能体的工具选择、执行和回答生成轨迹定位失败。
  5. 将公开基准排名视为证据,不能以此替代私有测试和质量与成本的比较。
全文

按章节阅读整理后的全文

只看原始文稿
01

为什么质量不止一个维度

答案正确也可能措辞不当,许多提示还允许多个有效答案。多步骤智能体增加了更多可能出错的环节。

评估大语言模型首先要确定“好”是什么意思。质量可以指正确性、相关性和安全性;可靠性包括一致性和从故障中恢复的能力;产品团队还可能关心用户是否采用应用并从中受益。本讲重点讨论质量。

任务种类繁多,使质量难以衡量:大语言模型可以写代码、总结内容、解数学题或创作故事。即使是一条回答,也有不同维度。对于波斯诗人的问题,“Hafez”可以是正确答案,但居高临下的语气会降低回答的价值。

有些提示允许多种有效回答。例如,关于泰迪熊的睡前故事无法只通过匹配唯一参考句来评估。智能体系统又增加了一层难度:观察、规划和行动等多个步骤都可能出错。

02

人工一致性需要基线

评审者需要清楚的规则,尤其是在评估主观标准时。Cohen’s kappa 比较实际一致率与随机情况下的预期一致率。

人工评审可以考虑这些细节,但需要清晰的规则。一个人可能觉得泰迪熊是很好的礼物建议,另一个人则不认同;对于实用性等主观标准,尤其需要明确评审者应当看什么。

简单计算评审者的一致比例可能产生误导,因为一致也可能只是巧合。如果两位评审者各自随机选择通过或不通过,且概率相等,即使没有共同的质量标准,他们也会有一半时间给出相同判断。

Cohen’s kappa 把实际一致率与根据各评审者通过、不通过比例算出的随机一致率进行比较。讲师说,对于主观标准,约 0.8 的值意味着一致性较高,也可以据此判断规则是否需要改进。

人工评分有价值,但规模扩大后既慢又贵。另一种办法是让人先编写参考答案,再用自动方法比较模型输出与参考答案。

03

测试代码并衡量多次尝试

可执行测试和已知答案支持基于规则的检查。Pass@k 估算多个采样方案至少有一个成功的概率。

对代码来说,测试可以验证生成的解决方案是否按预期运行;对数学题,可以比较模型答案和已知答案。这两类任务比开放式文字更容易找到可验证的目标。

Pass@k 衡量的是生成 k 个答案后,至少有一次成功的概率。当系统可以生成多个方案,并能通过测试等方式辨认出可用方案时,这个指标很有用。

估算 Pass@k 时,先生成 n 次结果,数出其中成功的 c 次。与其直接计算所有成功组合,不如先计算抽取的 k 次全部失败的概率,再用 1 减去这个概率。

第一次抽到失败结果的概率是 n 个结果中 n−c 个失败结果的比例。因为不会重复抽取同一个结果,第二次抽取时,失败结果和总数都各减少一个。

最终估计式为 1 − C(n−c, k) / C(n, k),其中 C 表示组合数。当 k=1 时,它就等于生成结果的成功比例。

温度会影响多次尝试的收益。如果确定性设置每次都返回相同答案,增加尝试次数不会带来多样性。提高温度可以探索不同解法,但过高也可能让单次答案偏离合理范围。

当系统在推理时可以识别成功方案,Pass@k 最有用。如果答案无法轻易验证,另一种方法是 consensus@k:采样多个回答,选择出现次数最多的答案。

04

为什么词语重叠无法涵盖所有好答案

BLEU、METEOR 等指标将文本与参考答案比较。有效的改写说明,单靠重叠度衡量并不完美。

对于自然语言,较早的翻译指标会比较输出与人工参考中连续词组,也就是 n-gram 的重叠。BLEU 注重精确率,并使用长度惩罚,避免过短的回答只靠匹配少数词组就获得高分。

METEOR 结合精确率与召回率,并根据匹配内容的顺序和碎片化程度进行惩罚。ROUGE 是另一组重叠指标。这些指标与人工判断有一定相关性,但仍需要参考答案。

词语重叠也会漏掉有效改写。一个句子说毛绒泰迪熊安慰孩子,另一个说柔软的玩具熊让孩子感到安全,两者用词不同,意思却相近。有些指标允许词干或同义词匹配,但问题不止于单个词。

05

用人工标签校准模型评审

模型可以按标准判断答案并说明理由。讲师建议用标注样本衡量错误,再反复改进提示词。

可以让一个大语言模型充当评审,按相关性等标准判断输出。评审模型接收原始问题、回答和评判标准,然后给出通过或不通过的结果,也可以解释原因。

模型评审能够考虑语言表达的变化,而且如果模型足以胜任任务,就不一定总需要参考答案。调整评审规则后,它可以用于翻译或问答;给出理由也有助于排查判断过程。

设计评审提示词时,可以先从人工观察开始。检查并标注少量问题和答案,找出真正需要关注的模式,再用这些例子写出清晰的评审指令。

在标注样本上建立基线,并设定可衡量的目标。对于二元评审,精确率和召回率能反映不同错误;例如,团队可以要求发现失败案例的召回率超过 90%。

检查评审模型判断错误的案例,修改提示词以解决反复出现的问题,再重新评估。当目标可以衡量时,智能体也可以帮助运行这一迭代循环,但团队仍需确定真正关心的目标。

评审结果需要采用应用能够解析的格式,包括分数和理由。仅仅要求模型遵守格式不能保证它做到;约束解码会限制可选词元,让回答符合 JSON 等指定结构。

06

模型评审可能偏好位置、长度和自己的风格

交换答案顺序,并明确考虑冗长和自我偏好。结构化输出与二元标准有助于使用和测试判断结果。

模型评审可能存在位置偏差:比较 A 和 B 时,选择可能部分取决于谁排在前面。交换顺序并比较两次判断,可以发现某些位置敏感问题。

评审模型也可能偏好较长的回答,即使更短的答案更正确。可以明确告诉它长度不代表质量,并给出例子,区分有用的细节和冗长。

自我偏好是指评审模型倾向于选择与自身同一模型生成的回答。看似可信的引用等表面线索也可能影响评分。讲师建议测试这些偏差,而不是假定模型裁决天然中立。

讲师建议,在人工评审者自己都难以区分相邻分数时,用通过或不通过代替过细的评分尺度。先要求理由再给分、与人工标签比较,以及多次判断或降低温度,都可能提高可靠性。

评审方法仍在变化。课程提到,新出现的决策模型旨在为多个选项输出经过校准的概率,而不是普通文本,这可能给评估带来新的方法。

07

逐步排查智能体

工具缺失、描述不佳、执行失败或结果含有大量干扰信息,都可能导致最终回答出错。检查执行轨迹,找出需要修复的阶段。

Shervine Amidi 接着讨论智能体。智能体会反复选择工具、执行行动,再利用观察结果继续行动或回答。排查问题时,既要看最终结果,也要检查中间步骤。

智能体接到寻找泰迪熊的要求时,可能不调用任何工具就直接回答。原因之一是工具路由器没有把相关函数放进可用上下文;可以调整路由器的选择方式或提示词。

如果正确工具可用但仍遭忽略,工具说明可能没有讲清楚何时使用。讲师说,开发者通常先改进提示词和工具描述;模型自身的能力也可能构成限制。

智能体可能编造一个不存在的函数。上下文过于拥挤、模型能力不足,或工具名称与用户用语不匹配,都可能导致这一问题。更强的模型可能有帮助,但修改工具名称或描述也可能解决真正的错配。

选择了错误的现有工具,同样可能源于路由不当或工具描述之间的区别不清。如果模型选对工具却填错参数,它可能缺少用户位置等信息,或缺少获取这些信息所需的辅助工具。

即使工具调用正确,工具本身也可能执行失败,模型随后可能告诉用户系统内部出错。应修复实现,并返回有用、可解释的结果,而不是让智能体不知道发生了什么。

执行行动后不返回反馈的工具,可能促使智能体编造结果。例如,灯光开关工具没有返回任何信息时,声称灯已经打开就没有依据。工具应告诉模型实际发生了什么。

即使工具返回了数据,最终回答仍可能出错。输出内容过多会迫使模型在无关信息中寻找答案;字段名称含糊也会增加理解难度。应精简响应,使用清晰、自解释的结构。

这些失败模式提示了一种排查顺序:先检查工具选择和参数,再检查后端执行,最后看生成最终回答时收到了什么信息。改进工具设计或输出,可能一次解决一类问题,而不是只修复单个答案。

08

结合具体任务比较基准

智能体任务时长和综合指数概括了不同能力。知识工作、编码和科学需要不同的评分方法。

长任务能力指标会先看人类专家完成任务需要多久,再寻找智能体至少有一半概率能成功完成的任务时长。讲师把它作为一种近似指标,用来观察智能体处理较长行动序列和从错误中恢复的能力。

模型比较网站会汇总多种评估,但总体智能分数取决于选择了哪些任务以及如何分配权重。课程中的示例指数把一般知识、知识工作、编码和科学四个领域等权处理。

事实知识基准可以涵盖商业、医疗、法律和软件工程等领域,同时不给模型互联网访问权限。评审者将回答与预期答案比较,也可能对错误回答扣分。

知识工作更难评分,因为它通常产生一组成果,而不是一个定义明确的答案。基准可能提供消息、报告和邮件,再要求智能体在限定轮次内生成文件。

评分时,一种办法是将文件中可衡量的属性与参考答案比较。演示质量则更难写成独立规则,因此讲师介绍了成对比较:给评审模型看两份成果,询问哪一份更好。

Terminal-Bench 等编码基准会给智能体提供环境、工具和完成任务的时间,再用隐藏测试确定性地检查产物。当结果可以验证时,这能减少对模型评审的依赖。

科学智能体任务在普通编码之外的领域采用类似方法。课程给出的天文学例子中,可以计算生成文件与参考文件的差异,检查它是否低于指定阈值。

09

公开分数可能偏离真实表现

使用公开基准训练模型,以及任务指令的细微变化,都可能削弱排名的意义。私有测试和针对具体任务的评估是可选方法。

基准排名高不一定符合用户的实际体验。“Benchmaxxing”指过度追求分数,而不是用户真正需要的广泛能力。公开基准任务也可能进入训练数据,使人难以判断分数是否反映泛化能力。

课程介绍了一项研究:研究者对任务要求做细微修改,例如改变日期格式或字母大小写,观察到分数下降、排名变化。作者认为过度拟合基准可能是原因之一;讲师将其作为假设提出。

讲师把这比作自己过去遇到的一位学生:学生在作业中回答了已经删除的问题。类似地,研究中的模型有时仍试图满足题目不再要求的限制。

一种应对方法是保留私有评估任务,并代表模型提供方运行测试。讲师说,私有评估方可以协商零数据留存安排。企业也会建立代表自身工作的内部测试;为了保持测试有效,有些企业不会公开题目。

其他机构则采取相反做法:公开某个评估不足领域的任务,帮助模型开发者在该领域改进。选择取决于目标是获得持久的私有衡量,还是推动某类工作的广泛进步。

汇总基准自身也会变化。当排名似乎不再符合用户体验时,设计者可能调整组成测试及其权重。讲师认为,模型提供方优化分数,汇总方则改进衡量方式,两者相互影响。

10

权衡质量与成本,保护评估过程

根据质量和成本前沿比较模型,验证基准,并防范走捷径。偏好竞技场提供了另一种有用但主观的信号。

选择模型时不能只看质量。在成本与质量的图中,帕累托前沿上的方案无法在不作取舍的情况下进一步提高质量或降低成本。响应延迟也可以纳入类似比较。

基准本身的质量同样值得检查:任务能否解决、输入是否定义正确、预期答案是否合理。评估工具可以检查基准定义和运行日志,寻找问题。

智能体可能走捷径,使测试失去意义:代码仓库可能包含已经解决问题的提交,互联网访问也可能让模型找到答案。需要什么防护取决于环境和所测量的能力。

如果智能体可以执行超出预期任务范围的行动,评估环境本身也可能存在安全漏洞。讲师以之前的一起事件为例,说明需要限制评估系统允许的操作。

古德哈特定律概括了其中的风险:一旦衡量指标变成目标,优化这个代理指标可能不再改善原来的目标。代码行数也许曾粗略代表生产力,但将行数本身定为目标,只会鼓励人写更多代码,而不是写得更好。

用户偏好竞技场提供另一种信号:向用户展示两个模型的回答,询问他们更喜欢哪一个。这种方法昂贵而缓慢,因为稳定排名需要大量比较;当用户无法判断答案对错时,偏好也可能偏离事实正确性。

11

先建立评估,再优化智能体

区分必要要求和次要要求,围绕选定的指标迭代。尽可能使用确定性检查,必要时校准模型评审。

评估驱动的工作流程先定义预期结果,再根据衡量指标改进提示词和工具。讲师建议把必须满足的要求与次要要求分开,因为一个系统无法同时优化所有目标。

当确定性检查可以验证正确性时,优先使用它,而不是使用本身还需校准的模型评审。对于更难明确规定的质量,模型评审仍然有用,但其复杂性不能取代对预期结果的清晰定义。

同频道的其他文章

1:00:02EN → 简体中文
Stanford Online· 2026年11月20日Philip Guo:让 Python Tutor 长久存续的细节Philip Guo · UC San Diego一款免费代码可视化工具凭借即开即用、专注目标和多年细致维护,吸引了近 3000 万人。EducationProgramming Languages产品与体验+2
48:59EN → 简体中文
Stanford Online· 2026年11月19日Cynthia Bailey:按任务选择 AI 模型,保护好 API 密钥Cynthia Bailey · Stanford UniversityStanford 讲师 Cynthia Bailey 展示了 token 开销、智能体反复调用和凭据泄露如何增加 AI 的实际成本。AI cost & performanceAI agentsAI Safety+1
49:17EN → 简体中文
Stanford Online· 2026年11月19日Stanford 研究生学习:先修一门课,再决定是否攻读学位Pax Heymeyer, Jonathan Nottman · Stanford Engineering Center for Global and Online EducationStanford 在线教育团队说明逐课审核、学分、学习负担、考试与 2026—27 学年学费。Education
6 张幻灯片1:13:23EN → 简体中文
Stanford Online· 2026年11月18日Terminal-Bench:如何测试 AI 智能体能否完成真实工作Alex Shaw, Ryan Marten · Laude Institute基准创建者解释智能体测试为何需要真实任务、可靠评分器和防止钻空子的措施。评估Benchmarks智能体工程+2
6 张幻灯片58:52EN → 简体中文
Stanford Online· 2026年11月17日Cynthia Bailey:明确 AI 智能体能做什么、何时必须停止Cynthia Bailey · Stanford University连接器让模型通过其他应用采取行动;明确权限、人工检查和停止条件决定了行动的安全程度。AI agentsMCP智能体工程+2
4 张幻灯片1:20:34EN → 简体中文
Stanford Online· 2026年11月17日何时优化 AI 智能体的提示词,何时训练权重Michael Ryan · Stanford UniversityMichael Ryan 比较提示词搜索、强化学习与蒸馏,并从衡量改进所需的评估讲起。Prompt optimization智能体工程Reinforcement Learning+2