Jared Zoneraich 谈构建能验证自身工作的编程智能体

Cognition 驻场构建者 Jared Zoneraich 与 Peter Yang 讨论智能体设计、评估和云端编程工作流。他演示了雇主开发的产品 Devin。本期由 Riverside 赞助。

Zoneraich 区分了面向客户的智能体和帮助团队工作的内部智能体。他认为团队应考虑模型能力进步，不要假设今天复杂的提示词变通方法会一直是主要优势。他将其作为经验法则，并表示具体选择因情况而异。

谈到差异化，他提及产品质量、执行力和客户支持，包括工程师与客户直接合作。他认为，展示智能体解决客户的真实问题，可能比单独解释技术更有说服力。

嘉宾讨论了如何在不无限追求完美架构的情况下推出初版智能体。Zoneraich 表示初版可以简单，但也承认达到可靠的最终结果需要更长时间。他的建议并不意味着在生产环境中省略适当评估。

对于个人助手项目，他让 Devin 为数据回忆、工具使用和回复长度创建基本检查。智能体比较新旧输出并进行迭代。这个例子展示了反馈循环，其价值取决于测试是否代表期望的行为。

Zoneraich 描述 Cognition 对软件工程和验证的关注，并比较同步工作与异步云端任务。关于 Devin 的优势和客户使用情况，他是以公司成员身份陈述，而不是提供独立比较。

他认为智能体支出应根据有价值的工程成果判断，而不只是看 token 数量。他指出迁移、测试覆盖率和现有代码库工作是重要客户用例；Yang 则强调生成结果仍需具备质量。

演示中，他展示一个小型 Markdown 预览项目并启动应用测试。智能体在有浏览器的云端环境中运行，尝试检查页面。演示展示了操作和界面，但不能证明找出了所有缺陷。

随后，他要求一个协调 Devin 启动十个独立会话，重新设计落地页。每个会话在自己的虚拟机和分支中运行。协调者可以发送后续指令，例如让每个会话返回截图，再比较结果。

Zoneraich 提出，大规模迁移是这种并行模式更重要的用途：将大型任务拆成目标明确、可以分别运行和测试的部分。他还表示模型路由和成本权衡仍是产品开发中的工作；并行任务也会增加协调和算力成本。

他提到共享知识、技能、保存的环境配置和代码仓库文档，可以让后续工作更容易。这些是他在访谈时描述的产品能力。

对话以编程智能体、短期软件和语音界面的预测收尾。Zoneraich 设想一张简单得多的办公桌，但也承认人们如何查看和评估结果仍是未解决的问题。这些是对可能未来的看法，并不是对现有工具替代方案的演示。