摘要
30 秒看懂
Linear 工程师 Jacob 介绍如何在实际使用中逐步扩充 AI 智能体评估数据集，并结合确定性检查与语言模型对主观输出质量的评判。
- 1扩充测试集实际使用中意料之外的情况会逐渐成为新的评估数据。
- 2检查客观行为用户要求将状态设为进行中时，智能体应设置对应状态。
- 3评判主观输出团队使用语言模型评判标题和描述是否包含正确的信息。
要点建议
- 随着产品使用，将意料之外的用户交互加入评估数据集。
- 直接检查确定性要求，例如设置用户指定的状态。
- 对于提取合适标题等较主观的标准，可以使用模型评判。
全文
按章节阅读整理后的全文
01
从使用和反馈中开展评估
Jacob 解释 Linear 如何结合测试案例和模型评判。
Linear 工程师 Jacob 表示，团队通过实际使用逐步扩充 AI 智能体评估数据集。当用户的使用方式出乎意料时，团队会将该案例加入后续测试。有些检查是客观的：如果用户要求把问题设为进行中，智能体就应设置对应状态。另一些问题则更主观，例如描述是否组织得当、标题是否提取了正确的信息。对于后者，他介绍了如何用语言模型对照预期信息进行评判。
同频道的其他文章
46:40EN → 简体中文
Peter Yang· 2026年11月8日播客 · 2 人对谈Ashley Alexander：我如何用 AI 照顾患癌的父母嘉宾 Ashley Alexander · 主持 Peter Yang一位照护者用 AI 准备就诊、整理病历和提出更好的问题，治疗仍由医生主导。
17:50EN → 简体中文Peter Yang· 2026年11月4日播客Peter Yang 用 AI 帮助照顾母亲的五个步骤Yang 用共享照护摘要和整理好的病历协调就诊，同时为家人留出时间。
15:03EN → 简体中文Peter Yang· 2026年11月3日播客Peter Yang 如何用 AI 电话助手协商网费AI 打电话谈到了更低价格和更快网速，但 Yang 仍需亲自批准套餐变更。
33:09EN → 简体中文Peter Yang· 2026年11月1日播客 · 2 人对谈Jaclyn Konzelmann：AI 能做的更多，更要选择值得做的事嘉宾 Jaclyn Konzelmann · 主持 Peter YangGoogle Labs 将简短的策略文档与原型、用户共创及结束实验后的经验结合起来。
13:05EN → 简体中文Peter Yang· 2026年10月28日播客Peter Yang 测试 Genie 4：场景逼真，游戏性仍不成熟五个现场演示展示了响应提示词和声音的场景，也暴露出动作不稳定、游戏机制有限的问题。
1:06EN → 简体中文Peter Yang· 2026年10月26日播客Peter Yang 谈为个人企业设置工资发放在一次付费合作中，Yang 介绍了自己遇到的手续，以及与企业账户整合的工资发放产品。