让智能体重构三周后，Keiji Kanazawa 读了代码

我让编程智能体重构了三周代码，然后读了结果。有人主张让智能体消耗更多 token 完成工作，也有人主张慢下来读代码；我强烈倾向前者。

我是微软的产品经理，过去做过开发和 AI 研究。工作忙，没时间听播客，于是我制作了下载、转写和总结播客的技能。项目逐渐扩展到抓取 X 和网页、接收邮件链接、定时运行，最终变成一套大语言模型驱动的知识库。

最初的步骤是确定性的，例如下载并转写视频。后来我增加了更像智能体的任务，包括深度研究和每天反思自己如何使用 Claude Code，并为带有定时任务和智能体注册表的运行时写了规格。

我让 Codex 和 Claude 轮流实现功能、互相审查代码。后来，一份摘要把一句话放错了部分。我问 Claude Code 智能体的运行轨迹在哪里，想分析错误并建立评估；它回答说，系统实际上并不是一个真正的智能体。

读了实现后，我发现自己不喜欢这个显然曾获我批准的设计。我看过计划，也接受了智能体和技能这样的熟悉名称，但实现并不符合其含义。所谓技能没有技能文件和脚本，智能体也没有运行在智能体 SDK 上。

随后，一家服务商在月初提醒我已超出通常预算：大约 100 美元，相当于我平时一周花费的五倍。Codex 把单元测试接到了生产推理服务，一天大约 30 轮测试消耗了付费 token。

我还发现每天的反思任务虽然照常运行，却生成了空报告。重构过程中，原本用于生成报告的提示词已经不再执行。

让智能体重构三周后，我不相信任何一个工具能修好原有系统。我决定重新实现，编写新的规格和结果评分标准。我仍然使用编程智能体：作为产品经理，我没有打算亲自写完整系统。

新的运行时有智能体注册表，使用智能体 SDK。我向编程智能体说明要构建什么，让生成的智能体在画布上输出结果。为了选择工具，我让四种框架分别构建同类体验。

个人项目中，我最终选择交替使用 Claude Code 和 Codex；工作中则主要用 Copilot CLI。Pi 很快做出了好看的体验，但它向我提出数据库和 API 架构方面的问题，而这些并不是我作为产品经理想决定的事情。

我重新加入了转写、摘要和邮件功能。此前 YouTube 工作流只总结字幕文本；后来我看到 Reiner Pope 关于大语言模型推理数学的黑板讲座，这与我的工作直接相关，因此我也想理解视频画面。

我搭建了一个视频深度分析智能体，从这段讲座中提取约 440 个关键帧，再用评估标准选择有用画面并提取公式。生成的画布展示章节、黑板内容和解释，我可以跳转到视频，也可以让智能体解释某个公式。

以前我给智能体一份规格，然后批准或拒绝它的计划。现在我还会设定描述期望结果的评分标准。对于视频画布，这包括解释清楚、保持简洁，以及链接到正确的视频时间点。

我先深入处理一段讲座，随后发现这一方法也适用于幻灯片、编程演示和终端录屏。评分标准由智能体在我的指导下编写；我不断调整标准，让智能体根据标准反复改进输出。

最初，所有公式都堆在开头，后面跟着一大段文字。我希望每个公式都和解释放在一起，于是让智能体修改评分标准。我检查结果、调整标准，再让智能体继续改进。

我发现智能体写的一项评分标准为了在那一段讲座上得高分而过度适配，在另外五段视频上表现不佳。我让智能体不要只针对单个例子优化，修改后的标准泛化得更好，整组视频的分数也提高了。

这里有多层循环：智能体帮助编写评分标准，根据标准优化输出，我再根据看到的结果修改标准。我还让 Claude 和 Codex 进行多轮对抗式代码审查，互相找问题并提出修复。

我仍然倾向于委托实现。我掌握目标，告诉智能体想要的结果和工作方式，但仍不会阅读大多数代码。对我而言，这种使用 token 的方式让产品经理也能构建自己想了多年的体验。