30 秒看懂
CodeRabbit 创始人 Harjot Gill 说,编码智能体让他一个月合并了 5000 多项改动,其中大多是维护和基础设施工作。为支撑这一速度,他的团队让智能体通过测试、模拟和生产环境反馈验证工作,由工程师决定哪些发布值得承担风险。反复引入故障的开发者可能失去无需他人审查即可发布的资格。Gill 说自己每月使用 AI 的费用为 25 万至 27.5 万美元;主持人 Gergely Orosz 质疑这样的开支和 Gill 中断睡眠的习惯是否适合其他公司。
- 1Gill 的 5000 项改动大多用于维护软件工厂这位 CodeRabbit 创始人说,许多改动解决了测试、缓存和部署的瓶颈,而非增加面向客户的功能。
- 2智能体需要有办法检验自己的工作Gill 把形式化模型、故障模拟、真实开发环境和分阶段生产发布描述为一系列反馈循环。
- 3开发者可能失去独立发布的“执照”CodeRabbit 将故障追溯到具体改动,多次出现问题后可重新要求人工审查,再通过一段考察期恢复资格。
- 4生成更多代码会推高测试成本Gill 说,按照预计用量,一家持续集成供应商报价每年约 1300 万美元,公司因此自行搭建系统。
- 5Gill 个人每月使用 AI 花费 25 万至 27.5 万美元他说,公司每月在 token 上花费数百万美元,测试和沙箱的费用还不包括在内。
- 6Orosz 质疑关于睡眠和开支的假设主持人认为竞争激烈的开发者工具市场可能有理由这样投资,但不建议半夜起床让智能体继续工作,也不认为每家创业公司都需要同样的开支。
要点建议
- 让智能体能在本地、模拟环境和分阶段发布后验证改动。
- 把有限的人工审查用在发布的价值与风险上,并明确由谁负责回滚。
- 工程师反复引入故障后,CodeRabbit 可以取消其免审查发布的资格。
- 增加改动量时,除了模型 token,还要为测试基础设施和算力做预算。
- Gill 将快速投入视为风投支持的创业公司的竞争赌注;Orosz 质疑这一判断有多普遍。
按章节阅读整理后的全文
创始人用智能体交付数千项改动
Gill 讲述自己借助 AI 完成的大量改动。其中许多工作消除测试和部署代码的系统中的瓶颈。
Harjot Gill 说,他让编码智能体持续工作,一个月合并了 5000 多个拉取请求(pull request)。其中大多不是新产品功能,而是修复不稳定的测试、缓存和用于检查代码的持续集成系统,或消除其他拖慢团队的瓶颈。
Gill 将速度的提升归因于近期编码模型的进步。他的团队使用多种工具,而他主要使用 Codex,并说自己已不再使用那个几十年来一直是工作核心的代码编辑器。他预计智能体能完成的改动数量还会继续上升。
这种节奏也占用了他的睡眠时间。Gill 觉得必须让智能体持续工作,因为当他知道要做什么时,能看到它们可能创造的价值。他说,通勤时汽车使用自动驾驶功能,他则在笔记本电脑上发出指令。
工程速度加快后,营销成了瓶颈。CodeRabbit 在代码仓库里建立了一套内容工作室,用 HTML 和 CSS 制作演示文稿。智能体还根据效果数据提出广告修改建议;合并拉取请求后,这些修改就会部署到 Google Ads。
从可观测性到 AI 代码审查瓶颈
Gill 从此前的创业经历和使用 GitHub Copilot 的经验,讲起 CodeRabbit 的构想。他把编程看作检验想法和创造价值的手段。
Gill 的职业生涯始于电信行业,负责高可用分布式系统。他带着创业的目标来到宾夕法尼亚大学。第一家创业公司 Netsil 监听网络流量,帮助了解应用拆分成微服务后的性能。New Relic 收购了 Netsil,Gill 留下协助整合其技术。
他的第二家公司 FluxNinja 通过控制负载来防止级联故障。在那里,GitHub Copilot 让他较早意识到 AI 会编写更多代码。当时团队的开发速度已经快到让审查成为瓶颈,即使他们开发了管理层叠拉取请求的工具,也没有消除这个问题。
Gill 说,Copilot 似乎能预判他的需求,把注释变成大量代码。他和团队围绕预计会出现的审查瓶颈创办了 CodeRabbit,但他说他们低估了最终市场的规模:除了公司,个人也想使用 AI 辅助审查。
Orosz 问,对于注重编程技艺的人来说,放弃熟悉的编辑器是否困难。Gill 说,代码只是达成目标的手段:他喜欢写代码,但更喜欢把想法变成可用产品,再检验它能否创造价值。
让智能体能检查自己的工作
Gill 介绍形式化模型、模拟和分阶段发布如何帮助智能体改进输出。他说,快速交付的小团队也需要过去只有大公司才配备的基础设施。
Gill 举例说,一个智能体受到 Cursor 文章启发,花了六周构建基于 Rust 的系统,用于将 Git 数据存到对象存储中。他说该系统现已投入生产,而他没有读过它的代码。他将这一过程描述为借助检验方法反复改进。
这种反馈可以在写代码之前开始。CodeRabbit 用 TLA+ 对 Slack 机器人的分布式行为建模;TLA+ 是一种规定和检查系统状态的工具。团队还投入了模拟测试。Gill 说,团队也开始将证明工具 Lean 用于计费等领域。
接下来依次在模拟服务、真实开发环境和生产环境中检查。Gill 说,CodeRabbit 每天发布多次:先向一小部分用户开放功能,让智能体观察性能和日志,再逐步扩大范围。
Orosz 指出,大公司曾投入巨资构建复杂的发布系统。Gill 认为,如今以智能体速度交付的小团队也需要类似的测试、部署和风险控制。在他看来,机会在于让远比最初建造这些工具的公司更小的团队也能使用它们。
如何运营软件工厂
Gill 区分了交互式打造产品和智能体追求长期目标两种工作方式。本地算力、可见性和交接限制了团队能同时运行的循环数量。
对 Gill 来说,软件工厂不同于与助手一对一聊天。他把交互式界面开发比作在陶轮上塑形:人要不断决定最终效果。他说,自己众多会话中只有几个是这种方式,其他智能体则在较少监督下追求目标。
智能体持续寻找不稳定的测试、改进部署流程,并监控计费和知识库等组件的运行状况。如果观察不到足够的信息,它们可以增加监测指标,也可以尝试修复。每次测试或发布都提供一次判断改动是否有效的机会。
如何管理这些循环,目前还没有定论。Gill 希望智能体在云端沙箱中运行,由不同时区的同事交接,这样他睡觉时也有人能回答智能体的问题。眼下,本地机器限制了工程师能够同时运行的会话数量。
Orosz 指出,云端运行也有环境配置、安全和持续费用。Gill 认为,共享环境能让开支更容易审计:公司可以看到智能体在做什么,而不只是知道开发者在本地用了多少 token。
人工审查转向发布风险
Gill 说,工程师仍要决定是否发布以及由谁负责。如果开发者反复引入故障,CodeRabbit 会限制其免审查发布的自由。
被问到代码审查是否已经消亡时,Gill 作了区分:他认为人工逐行审查已死,但人工把关仍有必要。AI 让客服人员、设计师和后台智能体更容易提出改动,不必等到传统规划流程给这些工作排优先级。
拉取请求于是成为一个决策点:这项改动究竟该发布,还是应该关闭?如果值得做,就需要有人判断风险。普通改动可以快速推进,而数据库迁移或结构性变更可能需要工程师关注。
Gill 说,在 CodeRabbit,工程师根据风险指标审查发布,决定改动能否上线或是否需要回滚。决策者必须了解潜在影响,并在出问题时承担责任;工程师和站点可靠性人员在发布后仍会持续参与。
Gill 说,人的判断力是稀缺资源,因此应当用于判断可能的影响范围,以及提供自动化系统可能缺乏的经验。例如,熟悉某张大型数据库表的工程师可能知道,一次迁移会在生产环境中失败。
CodeRabbit 还向部分开发者发放“驾驶执照”,允许他们无需另一人审查就发布。资格取决于经验和过往表现。团队会把修复追溯到引入故障的改动,并查看问题影响用户的时间。
出现足够多次问题后,开发者需要重新接受人工审查,经过一段考察期才能恢复这一自由。Gill 区分了两类人:一类会质疑并检查智能体的工作;另一类给出含糊目标、不跟进,或任由它做出不必要的架构改动。
Orosz 将工程责任比作雇请水管工:如果出了错,对方会回来修好。Gill 同意人必须为自己如何指挥智能体负责,同时提醒说,复杂软件可能以难以预料的方式发生故障。
如果智能体发布更多改动,运维就必须跟上。Gill 说,目标不可能是防止每一次宕机,而是缩短错误改动留在生产环境中的时间。智能体需要检查日志和调用链,而不只看告警;告警只能覆盖人们事先想到的故障场景。
他承认,CodeRabbit 的监控还没有全面扩展。某些错误改动在生产环境中停留更久,是因为没有智能体关注系统的那个部分。他说,在已有监控循环的地方,团队也能更快诊断并解决问题。
管理代码质量与算力成本
维护智能体清理快速变化的代码库,测试和基础设施则消耗大量算力。Gill 解释了选择模型和衡量质量时的取舍。
Orosz 提出另一个质量问题:生成的代码可能重复,留下技术债务。Gill 说,让智能体交付会带来一定混乱,所以他也运行维护智能体,清理不稳定的测试、不佳的抽象和重复工作。团队逐渐了解代码需要什么结构后,再进行重构。
随着改动量增加,运行检查的成本也急剧上升。Gill 说,按照公司的预计用量,一家持续集成供应商报价每年约 1300 万美元。团队自行搭建了系统,并让智能体删除冗余测试,同时保留更有用的集成测试和端到端检查。
Gill 希望检查在三分钟左右完成,他说目前约需四分钟。并行运行测试可以减少等待时间,却会增加算力开支。他还说,公司曾难以在一个云区域获得足够的 CPU 算力,不得不迁移工作负载。
为了提高效率,Gill 说他曾给一个智能体设定目标,在一个周末将服务从 TypeScript 此前使用的运行时迁移到 Bun。他认为,约束明确、测试可重复的基础设施工作比产品界面更容易交给智能体,后者更受人的审美和判断影响。
智能体可以根据可衡量的结果,反复测试优化后的容器配置或缓存。Gill 说,随着代码库更适合智能体工作,加上良好的测试和验证,CodeRabbit 的宕机次数正在减少。他称这只是仍需测量的观察,并非通用基准。
CodeRabbit 还必须为自己的产品评估快速变化的 AI 模型。公司组合使用多个模型,选择每个子任务由哪个模型完成,在质量、成本和速度之间做取舍。Gill 说,测试这种组合已经占用了团队大量精力,以至于很难再接入一家供应商。
便宜的模型可以探索代码、准备上下文;昂贵的推理模型则留给更深入的工作。Gill 说,开放模型有助于压低价格,但团队评估其他选择的时间有限。早期的微调成果在更好的基础模型出现后,很快就失去了优势。
因此,CodeRabbit 投资于提供合适上下文并协调审查的外围系统。Gill 说,代码分析和代码图谱帮助团队挑选相关信息,避免浪费 token。对公开开源项目的审查也为公司提供反馈,用来改进系统。
形式化检查与 AI 支出带来什么
Gill 举例说明如何发现 Slack 机器人中的并发问题,并估算个人和公司的 AI 开支。他与 Orosz 讨论风投支持的创业公司的经济账。
Orosz 问形式化方法究竟在哪些地方有所帮助。Gill 再次提到 Slack 机器人:其队列、消息和沙箱状态会产生许多可能的交互。用 TLA+ 建模这些状态,再通过模拟测试不同的执行顺序,帮助团队发现了此前忽略的竞态条件。
Gill 估计自己每月的 AI 使用费用为 25 万至 27.5 万美元,公司每月在 token 上花费数百万美元,同时也在检查和沙箱上投入大量资金。他说,把检查基础设施转到内部运行后,这部分费用可能降低了约一半,但迁移才刚完成。
Gill 在合适的地方使用便宜模型,但当速度很重要时,他愿意为更快、能力更强的模型付费。他认为,token 账单只是软件工厂成本的一部分:生成更多改动还会消耗测试基础设施、CPU 算力和能源。
Orosz 质疑 Gill 公开提出的观点,即一笔规模可观的种子轮融资也可能不够。Gill 将论点限定在竞争激烈的市场中、获得风投支持并追求高速增长的公司。如今一个小团队可以在智能体及配套基础设施上投入远超过去自身编码劳动的开支。
Orosz 指出 Gill 的开支并不寻常,问它如何创造商业价值。Gill 说,CodeRabbit 可以用内部系统替代一些供应商工具,也能提前了解客户接下来会遇到什么瓶颈。为自己建立这些能力,还能为未来可能出售的产品提供参考。
他预计竞争对手会在几天或几周内复制浅层产品创意,缩短创业公司站稳脚跟的时间。Orosz 将这一论点重新表述为针对追求风投规模快速增长公司的赌注:花钱更快学习、触达客户,初期则使用更少的工程师。
Gill 将软件可能的未来比作大量生产的玩具和手表:工厂能迅速满足大市场,而手工产品可能继续占据高价利基市场。Orosz 质疑如今昂贵的工厂未来是否会变成更便宜、随时可用的服务,并说自己想反对这一类比的某些部分。
Orosz 说,竞争还来自意想不到的地方:成熟科技公司正把内部开发者工具变成产品。Gill 认为,随着智能体承担更多实现工作,公司必须重新考虑人员配置和预算;Orosz 则区分了新成立的风投支持企业与经济条件不同的成熟企业。
招聘、协作与工作节奏的边界
Gill 寻找主动性和系统思维,并组织跨职能团队共同塑造产品。他和 Orosz 讨论睡眠中断、职业倦怠以及员工在创业公司的体验。
CodeRabbit 的招聘并非全面放缓。Gill 说,公司正在扩充外勤销售,因为客户仍需要交流和系统配置方面的帮助。在工程领域,随着工具变化,他正在重新思考哪些能力重要。
Gill 的招聘帖要求应聘者满足两个条件之一:30 天内经过认真考虑并交付 1000 个拉取请求,或玩过 500 小时策略游戏。他把指挥智能体比作在 Civilization 中管理工人:每次发布都是一个回合,人必须选择有用的目标,同时协调多项活动。
他说,自己既考虑愿意改变旧习惯的资深工程师,也考虑主动性强、学习快的应届毕业生。他的观点是,知道哪些问题重要,才能列出值得委派的工作;他并不把单纯的编码速度当作唯一标准。
团队还采用面对面的“作战室”:产品经理、设计师和工程师先商定计划,再共同塑造产品,由一人负责推动实现。Orosz 回忆起 AI 出现前 Uber 也有类似做法;Gill 说,如今更快的反馈让这种协作更加频繁。
Orosz 询问这种节奏付出的代价。Gill 说,智能体会卡住并提出问题,他有时会在凌晨三点醒来帮它们继续工作。他称这种习惯不可持续,也说团队尚未找到合适的方式,让人们共同承担全天候运行智能体的责任。
Orosz 说,自己为了眼前表现和可能的长期健康而优先保证睡眠,并问智能体能否等到早上。Gill 把自己目前的模式描述为分段睡眠,原因是智能体运行在他的本地机器上。他希望共享云端会话和轮班最终能消除这种依赖。
谈到职业倦怠,Gill 说,在上一家创业公司,持续努力却没有取得期望结果时,他感到精疲力竭。他说在 CodeRabbit,增长和客户反馈让辛苦工作的感受不同。他把这作为自己的经历,并表示不要求员工遵循他的作息。
Orosz 问,即便员工持有的经济利益比创始人少,看到自己的工作与业务成果如何相连,是否也能让他们受益。Gill 说,自主权和看得见的进展能激励人们;他也尽量亲自参与工程工作和事故处理,而非只是远程管理。
两人讨论了创业公司工作的吸引力与风险。Orosz 指出,即便公司失败,人们也可能获得经济回报的机会和持久的职业关系。Gill 说,冒险可以带来宝贵经验,包括了解哪些做法行不通。
值得培养的能力与主持人的疑问
Gill 看重广泛经验和主动性。Orosz 在结尾质疑,这种睡眠安排和开支水平是否适用于 Gill 以外的情况。
被问到哪些技能会重要时,Gill 将主动性放在第一位:他喜欢做个人项目、能找到值得解决的问题的候选人。他也看重广度和系统思维,因为智能体能帮助经验广泛的人涉足更多领域。
Gill 推荐《黑天鹅》(The Black Swan),并将当下描述为一个能力和后果都难以预测的时期。他说,五年前自己不会想到 AI 能完成如今看到的这么多工作。
采访结束后,Orosz 说,他仍然怀疑半夜起床给智能体发指令是否值得,也不认同把 Gill 的开支假设套用到每家创业公司。他认为,在竞争异常激烈的 AI 开发者工具市场,快速投入更有可能讲得通;他特别提到“驾驶执照”制度,认为它能让工程师更重视可靠性。
同频道的其他文章
1:03:39EN → 简体中文
1:25:20EN → 简体中文
1:19:29EN → 简体中文
1:41:17EN → 简体中文
1:56:28EN → 简体中文
1:34:17EN → 简体中文