Manish Kapur 与 Addy Osmani:如何验证 AI 软件工厂

原标题Manish Kapur and Addy Osmani on Verifying AI Software Factories

Sonar 的 Manish Kapur 与 Anthropic 的 Addy Osmani 讨论编码智能体加快软件变更后,如何进行代码审查、收集证据并实施分层检查。

AOAddy Osmani嘉宾 · Anthropic
频道
AI Engineer
发布
2026年10月28日
视频
18:52
阅读
6 分钟
幻灯片
6
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

Sonar 的 Manish Kapur 与 Anthropic 的 Addy Osmani 讨论快速生成代码和上线前验证之间的差距。Osmani 介绍 Anthropic 让智能体进行第一轮审查,并重视浏览器检查等验证证据;Kapur 建议在开发流程中实施分层验证。 两人区分了有人监督和更自主的软件工厂,讨论智能体权限与沙箱,并认为即使代码由智能体编写,人仍需对结果负责。

  1. 1吞吐量与合并失败Kapur 引述 CircleCI 对 2,800 万个工作流的分析:吞吐量提高 59%,约十分之三的生产合并尝试失败。
  2. 2亮灯与黑灯工厂Osmani 描述了一个连续谱:一端是全过程有人判断的智能体工作流,另一端是只在例外情况下升级给人的更自主流程。
  3. 3Anthropic 的审查流程Osmani 介绍 Claude 的第一轮审查、实际检查及检查编辑内容的钩子;人再审查生成的证据。
  4. 4让验证具体可操作Osmani 强调端到端、属性和视觉测试,而不是把验证当成一个未定义的步骤。
  5. 5多层验证Kapur 建议在开发循环的不同位置结合确定性检查、智能体审查和供应链分析。
  6. 6自动化之后仍有人负责两位演讲者支持标识智能体编写的工作;Osmani 表示,变更仍须由人承担责任。

要点建议

  1. 验证和审查必须跟上智能体生成代码的数量。
  2. 智能体可以生成测试和证据,但人仍需负责评估证据和结果。
  3. 端到端、属性和视觉检查可以针对不同变更建立信心。
  4. 分层检查可以结合确定性分析、智能体审查和供应链安全。
  5. 随着智能体部署规模扩大,身份、权限、遥测和沙箱控制都很重要。
全文

按章节阅读整理后的全文

只看原始文稿
01

验证的缺口

Kapur 介绍 Osmani,并询问团队如何在编码智能体提高吞吐量时审查变更。他们引用行业数据并定义软件工厂。

Manish Kapur 开场询问,有多少与会者让编码智能体创建过拉取请求,又有多少人在合并前审查了每一行。他提出未经人工审查就合并与经过审查后合并之间的差距,并欢迎最近加入 Anthropic、此前在 Google 工作约 14 年的 Addy Osmani。

Osmani 表示,他负责使用 Claude Code 构建产品的开发者体验。团队会把发现的改进机会反馈到产品中,并每天发布多次更新。

CI 吞吐量与生产合并尝试
幻灯片 1 / 6CI 吞吐量与生产合并尝试幻灯片将数据归因于 CircleCI 对 2,800 万个工作流的分析。

Kapur 引述 CircleCI 对 2,800 万个 CI 工作流的分析:吞吐量提高约 59%,但约十分之三的生产合并尝试失败。他说自己也在客户中看到类似趋势,并请 Osmani 解释将软件工厂视为大规模循环的想法。

Osmani 区分了两种工厂:亮灯工厂中,智能体反复规划、构建、检查和交付,人始终运用判断;黑灯工厂则更加自主,只在例外情况下引入人工。他认为团队分布在这一连续谱上,都在尝试以可信的方式提高自动化程度。

Kapur 引述 Sonar 的调查数据:85% 的组织使用编码智能体,76% 的开发者生成 AI 代码的速度超过了自己验证代码的速度。他询问,在审查成为瓶颈时,工程领导者最迫切需要解决什么。

02

大规模建立信心

Osmani 讨论测试、规范和 Anthropic 的第一轮审查流程。人工审查者检查智能体生成的证据。

Osmani 表示,团队希望更快交付,同时对结果有信心。测试、基准和规范让智能体能够检查工作,如今智能体也能以更低成本帮助生成这些检查。他认为,让正确性和完整性变得可验证,可以显著改善结果。

Kapur 询问 Anthropic 据报道如何从 5 月每天约 2,500 项变更增长到每天约 3 万项。Osmani 还提到一次 Claude.ai 更新:工程师、产品设计师等多种职能在短时间内贡献了约 3,000 个拉取请求。

关于代码生成和审查的开发者调查
幻灯片 2 / 6关于代码生成和审查的开发者调查Sonar 的调查预览展示了智能体采用和验证方面的数据。

Osmani 介绍说,Claude 会先进行一轮审查。智能体需要能够像用户一样实际体验产品:执行端到端任务、打开浏览器、使用工具、运行 lint 和其他必要检查。编辑发生时,钩子会检查差异,帮助团队迅速修正缺口。

Anthropic 也使用代码审查产品来进一步自动化审查。Osmani 鼓励团队把自己的标准和判断写入共享的 CLAUDE.md 或 AGENTS.md 等文件,让智能体审查时能够参考这些规则。

人仍需负责检查智能体提供的证据。对于浏览器界面,Osmani 希望看到实际浏览器测试的证明,可能包括交互视频,或移动端和桌面端截图。目标是为人的判断提供尽可能充分的验证证据。

03

从更快编写到可信交付

两位演讲者讨论调查数据、有用的验证测试,以及软件工厂中人工参与程度的连续谱。

更快编写与安全交付
幻灯片 3 / 6更快编写与安全交付幻灯片展示了 Sonar 和 Faros AI 关于交付速度、拉取请求规模和未审查代码的数据。

Kapur 引述 Sonar 对 1,000 多名开发者的调查预览:84% 表示 AI 让功能和修复更快进入生产。幻灯片还将拉取请求变大及未经审查就进入生产的代码增加 31% 等数据归因于 Faros AI。他认为,后者对受监管和关键任务应用尤其令人担忧。

Osmani 预计,进一步提升将来自更好的模型,尤其是更好的验证实践。仅仅告诉团队“验证工作”太笼统,团队必须确定哪些测试能提供证据。他提到端到端测试、属性测试和视觉验证测试可为自动合并建立信心。

Kapur 引述调查估计,当前有 5% 的公司使用软件工厂,更多公司预计将采用。Osmani 重申,工厂是大规模循环,人工参与程度有不同层次。更可靠的验证可以让团队走向更高自主性,但许多团队尚未到达那一步。

Kapur 将这一过程比作流水线:定义意图和规范、编写代码,并执行其他开发步骤。亮灯工厂在多个步骤中保留人工参与;黑灯工厂则以全天候独立运行为目标。

04

分层验证与控制

Kapur 概述 Sonar 的分层方法。Osmani 强调智能体规模扩大时的身份、遥测、权限和沙箱。

确定性与智能体验证
幻灯片 4 / 6确定性与智能体验证幻灯片将结构检查和依赖分析与针对意图、业务逻辑及异常的推理进行对照。

Kapur 介绍 Sonar 的观点:验证应当分层,并发生在智能体、CI 和维护等每一个循环中。第一层使用确定性检查捕获缺陷和安全问题;智能体审查层可以调查逻辑与意图。

另一层供应链检查负责已知漏洞、恶意软件和恶意包。Kapur 认为,每一层都应针对自己擅长发现的问题进行优化,而不是依赖单一验证形式。

Kapur 引述调查称,一些组织批准了智能体,却缺少共享控制。Osmani 表示,企业发现自己拥有大量智能体,它们接触系统和数据,有时还向生产环境部署,但企业并不清楚它们在做什么。

智能体采用与共享控制
幻灯片 5 / 6智能体采用与共享控制调查预览区分了共享控制较少的已批准智能体与自主软件工厂。

Osmani 认为,除了智能体身份和遥测,控制、权限与沙箱也是主要关注点。Kapur 把这些边界称为“引导栏”:目标是引导智能体沿预期路径运行,并留在允许的沙箱内。

05

责任与自主化之路

在快问快答中,他们讨论标识智能体代码、人工责任和验证技能。Kapur 以独立检查的重要性作结。

被问及到 2027 年底多数团队会使用亮灯还是黑灯工厂时,Osmani 预计会出现带有少数自主“黑暗角落”的亮灯工厂,而不是所有地方都完全采用黑灯工厂。

Osmani 个人支持在拉取请求中标识由智能体编写的代码。他说 Anthropic 更关注最终结果的质量,标识智能体工作也能帮助团队决定需要哪些约束和额外检查。

Kapur 也赞成短期内保留标识,包括为了金融服务领域的可审计性。Osmani 强调,变更仍需要人负责:即使他启动了一次 Claude 运行,出了问题也应由他负责修复。

对于领导者,Osmani 建议帮助团队明确验证的含义,并找出当前测试与放心让智能体主导合并之间的差距。初级开发者可以积累端到端测试、属性测试等不同测试方法的经验。

关于交付的三个要点
幻灯片 6 / 6关于交付的三个要点结尾幻灯片呼吁加强审查、衡量进入生产的内容并实施独立自动验证。

被问到智能体的拉取请求何时可以安全合并时,Osmani 回答说,团队需要有信心确认风险已尽可能得到缓解。Kapur 以三点作结:审查维持交付速度、衡量实际合并进入生产的内容,以及通过每个循环中的独立自动验证逐步赢得自主权。

同频道的其他文章

4 张幻灯片21:47EN → 简体中文
AI Engineer· 2026年10月28日Patrick Smyth:AI 时代的开源供应链安全Patrick Smyth · ChainguardChainguard 的 Patrick Smyth 讨论漏洞利用加速、依赖中的恶意软件、零日漏洞,以及开发者工作流不断扩大的攻击面。CybersecurityOpen-source ecosystemsAI security+2
5 张幻灯片14:09EN → 简体中文
AI Engineer· 2026年10月28日Taylor Luttrell-Williams:用 SonarQube Hunter Agent 发现逻辑漏洞Taylor Luttrell-Williams · SonarSonar 的 Taylor Luttrell-Williams 介绍安全智能体如何梳理代码库、调查逻辑漏洞,并将验证过的发现与常规扫描结果一起呈现。CybersecurityAI securityCode review & verification+2
5 张幻灯片16:29EN → 简体中文
AI Engineer· 2026年10月28日Chris Vela:用 Runpod BenchPod 对 vLLM 配置做基准测试Chris Vela · RunpodRunpod 的 Chris Vela 演示如何通过仪表盘比较大语言模型服务配置,依据具体工作负载的数据选择性能设置。InferenceBenchmarksAI cost & performance+2
5 张幻灯片18:35EN → 简体中文
AI Engineer· 2026年10月28日Kamil Potrec:智能体认证、委托与网关控制Kamil Potrec · KeycardKeycard 的 Kamil Potrec 解释智能体为何需要独立身份、限定范围的凭证与可审计授权,以及网关能在哪些方面提供帮助。智能体身份认证AI securityCybersecurity+2
7 张幻灯片18:56EN → 简体中文
AI Engineer· 2026年10月27日John Feminella:9 亿美元的银行失误与 AI 智能体的五项控制John Feminella · Two Sigma一次付款失误说明,善意和审批提示并不足够。Feminella 介绍如何为智能体提供有用的自主权,同时设置实际控制。安全与治理智能体工程金融 AI+2
5 张幻灯片18:12EN → 简体中文
AI Engineer· 2026年10月27日Tim Tyler:把 AI 智能体视为数字劳动力的问责框架Tim Tyler · GraviteeGravitee 演讲者借鉴组织管理人类工作的方式,为智能体建立身份、负责人、权限和监督机制。安全与治理智能体工程智能体身份认证+1