如何构建更好的 AI 评估：Shreya Shankar 和 Hamel Husain 谈真实错误的发现

AI 评估从查看实际输出开始。在这期访谈中，评估教育者 Shreya Shankar 和 Hamel Husain 向 Peter Yang 展示 AI 智能体如何协助整理审阅过程，而判断仍由人提供。本期由 Wispr Flow 赞助；视频简介还包含嘉宾课程的推广分成链接。

Yang 展示了一个将播客转录转为要点和文章草稿的技能。他目前的检查既包括字数等可衡量要求，也包括要点能否独立让人理解等主观问题。他仍需多轮向模型反馈并编辑结果。

Shankar 区分了两类标准：自上而下的标准根据对任务的理解推导；自下而上的标准则通过查看大量实际输出发现。她认为模型可以帮助提出前者，但后者依赖人表达自己在数据中发现的判断。

Yang 担心每做完一期访谈就增加新规则，会让评估过拟合单集内容。Shankar 建议分开两类标准，使用专注的智能体检查不同规则组，并把通过或失败的结果列成表格。随后由人判断哪些问题对当前文章真正重要。

发现重复错误的一种方法，是比较多份转录生成的要点与最终人工编辑版本。Husain 补充，写作尤其主观：标准可能相互冲突，对一篇文章有帮助的规则在另一篇中可能并不必要。

Shankar 用合成的 AI 文章演示她的错误发现技能。它有五步：理解数据内容；设计适当的视觉呈现；构建审阅界面；聚类并选择多样化样本；运行互动循环，将人工标注转化为主题并推荐更多样本。

界面取决于审阅对象。文章可以显示为易读的正文；智能体轨迹或客服对话则需要不同的视图。智能体从不同聚类选择样本，让审阅者接触多样输出，而不是只看相似的案例。

演示中，Shankar 阅读样本并标记不喜欢的段落，包括公式化的对比句和重复的列表。她可以给出开放式反馈，而不必先想出精确的类别名称。智能体监听标注，将其归纳为可能的错误模式，并扫描其他记录寻找相似例子。

扫描结果本身也可能产生噪声。演示一度出现数百条建议，其中许多短句来自一条过于宽泛的规则。审阅者应检查建议并完善标准，而不是将每条自动标记都视作真实错误。

发现的错误模式可以变成单独的评分标准、模型评判器或监测检查。标注样本也构成数据集，可用于检查评判器与人工决定的一致程度。Shankar 建议审阅足够多的例子来建立信心，而不是只看几个就下结论。

Husain 指出，评估流程也能启发产品界面设计：写作工具可以显示具体建议，让作者接受或拒绝，而不是悄悄改写草稿。合适的界面取决于任务及其使用者。

Husain 介绍了团队的一项比较：用房地产销售助手的人工标注轨迹，对照自动评估工具和编程智能体。他表示，工具发现了许多明显错误，却常漏掉需要产品知识才能判断的细节，比如没有向潜在客户提供替代方案，或在短信中使用 Markdown。

两位嘉宾认为这些工具适合作为起点，但结果需要审阅。Shankar 表示，在他们的比较中，表现最好的系统精确率约为 80%–90%，因此被标记的问题中也有误报。这个数字来自他们的具体比较，并非通用准确率；漏掉的错误和错误标记都值得关注。

如果将流程用于自己的播客，Yang 可以收集转录、生成要点和已认可的人工编辑版本，审阅多样案例，再把反复出现的问题转为检查。嘉宾总结，AI 能加速发现问题并大规模应用标准，而人仍要负责查看数据和定义质量。