30 秒看懂
AI 工具即使通过大量测试,也可能在人们知道它正在使用后出现问题。Stanford 讲师 Cynthia Bailey 介绍了一个用多年作业测试的评分助手:它未来可能遇到历史记录中没有的提示注入。她建议为 AI 编写的代码准备详细规格、使用新的审查者,并在发布后持续监控。她举出的解雇案例说明,当决策移除了本可揭示错误的人时,已观察到的结果可能掩盖问题。她也解释了如何识别和管理风险,以及质疑便利数据集是否代表真实基准。
- 1全新的审查者可以对照规格检查 AI 编写的代码Bailey 建议把工作范围和生成结果交给独立的编程智能体,要求它进行审慎审查,并从最初的计划中就纳入测试。
- 2历史评分数据可能遗漏提示注入AI 评分助手在旧作业上表现良好,但知道工具存在的学生可能加入历史记录中没有出现过的指令。
- 3解雇所有被标记的员工会掩盖模型错误公司只能看到留下员工的结果。Bailey 描述了随机保留部分被标记者,以了解缺失的反事实。
- 4风险管理既需要测量,也需要行动NIST 框架将风险映射与测量同风险管理联系起来,并把组织治理放在中心。
- 5准确展示记录仍可能歪曲现实警方记录反映的是被报告和发现的事件,而不是所有犯罪。Bailey 用这个例子说明,方便取得的数据集不一定就是真实基准。
- 6用户可以测试已部署算法的行为Twitter 图片裁剪的例子促使人们交换图像位置、尝试其他组合,发现值得进一步评估的行为。
要点建议
- 让全新的编程智能体对照规格审查结果,并从一开始就把测试纳入计划。
- 当用户、环境或模型行为变化时,重新检查已部署系统;历史准确率不是保证。
- 当 AI 决策改变哪些人仍可被观察时,留意缺失的反事实结果。
- 把可用数据视为有局限的测量,而不是自动视为真实基准。
- 为产品全生命周期的数据处理做计划,包括产品退役阶段。
按章节阅读整理后的全文
用 AI 构建更简单的工具
Bailey 介绍 vibe coding,并解释可重复使用的软件工具何时能代替反复调用模型。
本周的实践课使用 Claude Code 和 Codex 等编程智能体。我会介绍一种用它们创建软件的流程,然后讨论如何通过风险管理和评估来保持对 AI 的控制。
Vibe coding 指用自然语言指导软件开发。早期实验往往令人兴奋,却产生了不少漏洞,代码还达不到生产环境的要求。如今更审慎的做法正在形成;有人把专业版本称为智能体工程。
我们讨论过的“大象与金鱼”流程,是一种有影响力的专业工作方法。我使用 vibe coding 这个词时,既包括轻松的实验,也包括更严肃的软件工程。
一种有用的思路是让 AI 为自己反复执行的任务“写掉自己的工作”。例如,不必每次都问大模型一位国会议员提出了哪些法案,可以让 AI 帮忙创建一个获取这些信息的仪表盘。
此后普通软件就可以反复获取信息,而不必每次调用大模型。这既能完成任务,也能减少计算和 token 成本。如果计算器或搜索功能已经能满足需求,可能根本不需要大语言模型。
如果不存在更简单的工具,借助 AI 编程就可以针对具体需求创建一个。创建之后,“是否已经有更简单的工具”这个问题的答案就可能从没有变为有。
用不同智能体准备、实现和审查
详细规格、实现智能体和独立审查者让人保持参与。
如果软件准确性影响重要结果,例如研究结论的可靠性,严格流程是合适的。但在本周实践课中,我也鼓励大家尝试用尽可能简单的描述来创建一个小网站。
这个流程分为准备、生成和审查三步。准备阶段使用“大象与金鱼”流程制定详细工作范围,说明工具应该做什么,以及如何评估其质量。
把这份规格交给一个全新的编程智能体。这个“金鱼”没有参与之前的讨论,但具备软件实现能力。规格越详细,它需要提出的问题就可能越少。
当智能体让你选择数据库或其他不熟悉的组件时,不必觉得必须接受它的建议。可以让它解释背景和备选方案,帮助你作出有意义的决定。
即使自己不会读代码,也仍然可以参与审查。启动另一个全新的编程智能体,把规格和生成的代码交给它,要求它以审慎的态度进行专业审查。
为了避免审查者只顾称赞结果,可以把代码描述成别人写的、可能没有遵循规格的工作。目标是在让人保持参与的同时获得彻底的审查。
一位学生问到测试。单元测试和其他检查从一开始就应该纳入计划:实现智能体可以在工作过程中运行它们,审查者也可以最后再运行一遍。
另一位学生问,新的智能体如何理解更大代码库施加的约束。应当把这些约束写进规格,并引用相关文档或代码文件,包括新工作必须使用的接口。
为什么上线后仍须测试
条件、用户行为和模型更新的变化可能产生旧测试没有发现的错误。
构建和检查工具并不是其生命周期的终点。工具部署并开始供人使用后,即使设计谨慎、测试充分,仍可能出现新问题。
一个原因是分布偏移:现实条件可能相对于测试数据发生变化。固定模型因此可能产生新错误,而这些错误在部署前并不明显。
用户知道自己在与 AI 交互后,也可能改变行为。他们可能出于善意而做出不同反应,也可能故意加入试图操纵系统的指令。
我教的另一门课报名人数出乎意料地多,工作人员因此开发了一个 AI 工具,帮助批改编程作业。我们将它对多年历史作业给出的分数与人工评分比较,结果很好。
但过去的学生没有理由给 AI 评分器写留言,例如要求它打满分的指令。一旦学生知道这个工具存在,即便在历史作业上做过充分测试,也可能出现此类提示注入。
已部署系统也可能因上下文变化而改变;对于设计成发布后继续学习的系统,模型权重也可能更新。这些变化可能产生部署前测试没有观察到的行为。
我提到,一些军事 AI 专家建议不要部署在战场上继续学习的武器系统。他们担心,行为变化可能在预期范围之外造成危害。
AI 解雇决定中缺失的结果
一个假设的雇佣例子说明幸存者偏差,以及获得反事实数据的必要性。
假设一家公司雇用员工 12 个月,希望在入职 90 天后预测谁今后表现不佳。公司用部分历史员工数据训练 AI,再用保留的另一部分数据测试预测。
假设测试结果看起来完美。公司部署系统,在三个月后解雇所有被标记的人,并在一年后看到留下的员工表现良好。这能证明工具对每个人的判断都正确吗?
不能:公司没有被解雇员工的后续表现数据。这就是幸存者偏差。留下的人表现良好,并不说明所有被解雇的人都会表现不佳。
缺失的信息是反事实:如果被标记的员工留下来,他们会怎样?一种实验设计是随机保留其中 25%,观察他们的后续表现,而不是把所有人都解雇。
这样的比较可以为更大的被标记群体提供证据,尽管决定本身会对人产生影响。只要 AI 辅助决策改变了未来哪些结果可以被观察到,就可能出现类似的测量问题。
映射、测量、管理和治理 AI 风险
NIST 框架为组织和产品的整个生命周期提供依情境使用的指导。
美国国家标准与技术研究院(NIST)于 2023 年发布了 AI 风险管理框架。Bailey 说,它不像精确的物理标准,更像是供组织建立负责任实践的一组指导和问题。
“映射”是尽早识别预期用途、数据来源、部署环境、算法选择和可能的危害。询问“最糟糕的情况是什么”是开始梳理风险的一种方法。
“测量”要求组织制定办法,在实际使用环境中评估风险和表现。AI 风险没有唯一精确的计量单位,因此测量往往需要新的工作和判断。
“管理”意味着利用风险映射和测量的结果采取行动。只列出最坏情况还不够,还需要决定如何降低风险。
治理处于框架的中心。如果顾问写出的政策无人阅读或遵守,它就没有多少帮助。Bailey 强调,需要长期努力,让安全成为组织文化的一部分。
该框架要求团队关注产品的整个生命周期。在规划和设计阶段就应考虑数据来源和潜在后果,而不是等到上线后的第二天才第一次思考。
部署后的阶段很重要,产品退役也一样。停止使用的产品可能在数据库或硬盘中留下敏感数据,因此团队需要计划产品结束后如何处理这些数据。
我曾让一家小型初创公司搬进一家倒闭企业腾出的办公室。前租户留下了含有客户敏感财务信息的文件,我们把它们粉碎了。这就是没有为服务结束做好规划的例子。
运用数据规则与同理心
Stanford 的数据分类和关于他人信息的指南有助于负责任地使用工具。
学生担任助教、研究人员或社团负责人时,可能处理他人的信息,因此 Stanford 自身的 AI 政策与他们有关。负责任地使用工具,也包括遵守机构对相关数据的规定。
Stanford 按风险对数据分类,并维护各类数据获准使用的 AI 工具和连接器信息。一些协议为提交的数据提供合同保护;某个工具获批,不代表其所有连接器都自动获批。
Stanford 指南中的一条原则是,不要把自己不愿意别人输入的个人信息输入生成式 AI。它没有把每种情况都写死,而是要求人们停下来,设身处地思考,而不只是照着清单操作。
我把这个问题延伸到大学政策之外:你愿意让摄像头跟踪家人、在家旁边建数据中心,或者让自己的创作在没有署名或补偿的情况下用于训练吗?这些问题可以帮助我们讨论替他人做出的选择。
其他例子包括个性化定价、依据私人财务信息决定薪酬,以及修改他人的形象用于宣传。Bailey 请学生考虑这些做法对数据或图像所涉人员的影响。
不仅评估产品增长,还要评估模型
Bailey 比较模型评估和商业指标,并介绍模型辅助评判。
模型评估不同于产品指标。产品指标关心用户是否增长或参与;模型评估则提出回应是否存在偏见、是否产生幻觉、是否正确使用工具等问题。
模型可以在部署前评估,也应在部署后继续检查。商业指标依赖产品拥有用户,因此要在实际使用中才能获得。
要估计模型产生幻觉的频率,就需要有办法判断大量回应中的每一条。语气、偏见等特征往往很细微,难以简化成关键词或一个是非规则。
大规模进行此类判断的一种方法,是让第二个模型评判第一个模型。让新智能体审查另一个智能体生成的代码,就是这种模式的例子;但评估本身仍需要精心设计。
许多评估必须针对具体工具设计,但公开基准和排行榜可以帮助比较模型。Bailey 指出,一些政策制定者希望现有评估生态最终能够支持更正式的审计。
便利数据不一定是真实基准
警方记录地图和 Twitter 图片裁剪测试说明抽样与评估的挑战。
评估还需要对正确答案,也就是真实基准,有所界定。这比听起来更难:方便取得的数据集可能存在抽样偏差,或者遗漏重要结果,被解雇员工的例子就是如此。
Bailey 引用社会学家 Ruha Benjamin 对基于警方记录绘制地图的讨论。地图可以准确展示记录,却仍无法反映所有犯罪,因为许多犯罪从未进入记录。
例如,如果警方更常在某个街区设置酒驾检查点,记录的事件可能既反映实际行为,也反映警力部署。数据集并不等同于地图看似要衡量的现实。
一张讽刺性的白领犯罪地图展示了另一个选择:被排除在数据集之外的类别,即使造成危害,也可能从图景中消失。决定纳入哪些类别仍是设计者的责任。
“便利数据集”之所以可用,是因为它原本为其他目的收集,或是其他过程产生的副产品。重复使用可能比收集理想数据更便宜,但其遗漏也可能进入新的应用。
在一个 2020 年的例子中,Twitter 使用算法从长图中选择预览裁剪区域。有人用同时包含 Mitch McConnell 和 Barack Obama 的图片测试,发现即使交换两人的位置,预览仍选择了 McConnell。
随后其他用户测试了更多图片组合,包括表演者和卡通人物。Bailey 把社区实验视为公众评估的例子,并认为上线前进行更多测试会有帮助。
你希望了解所使用模型的哪些问题?留意让你沮丧或担忧的行为,再考虑如何把它变成一个更系统的实验。
同频道的其他文章
58:52EN → 简体中文
1:18:55EN → 简体中文
1:18:54EN → 简体中文
1:16:51EN → 简体中文
1:17:14EN → 简体中文
1:40:43EN → 简体中文