Andrew Ng 的四种智能体工作流模式：Matthew Berman 解读

Matthew Berman 介绍 Andrew Ng 在 2024 年关于智能体工作流的演讲。Berman 对智能体很有热情，播放过程中多次暂停，解释例子并补充自己的观点。他在视频简介中披露自己是 CrewAI 的投资人。

Berman 介绍 Ng 是计算机科学家、Google Brain 联合创始人、前 Baidu 首席科学家及 Coursera 联合创始人。接着他播放 Ng 在 Sequoia 的演讲，主题是迭代工作流如何改变语言模型能够完成的任务。

Ng 以写文章为例，对比单次提示和智能体工作流。后者不必从头到尾一口气写完，而是可以先列提纲、研究、起草、审查，再修改。关键区别是跨步骤迭代。

Berman 补充了一个假设：作者、审稿人、拼写检查员和事实核查员相互传递文章。他认为不同角色和工具可以帮助分工，但这个例子是他对 Ng 总体观点的扩展，并不证明每项任务都需要这些角色。

Ng 展示了一项 HumanEval 编程基准比较。幻灯片称零样本 GPT-3.5 的成绩为 48%，零样本 GPT-4 为 67%；在这项比较中，几种使用 GPT-3.5 的智能体方法超过了零样本 GPT-4 的结果。

Berman 强调图表显示的差距，指出其中涉及反思、工具使用、规划和多智能体系统。这些数字比较的是特定基准设置，并不能证明 GPT-3.5 在所有任务中总能达到或超过 GPT-4；不同工作流所需的时间和计算量也可能不同。

Ng 将智能体模式分为反思、工具使用、规划和多智能体协作。按他当时的经验，反思和工具使用相对稳健；规划与多智能体协作有时令人惊叹，但可靠性还不够稳定。

Berman 把反思描述为要求模型检查自己的输出并提出改进。谈到工具使用，他举了网页检索、金融数据查询和数学库等例子：模型可以选择并调用外部函数，不必只依赖最初的回答。

对于规划，Berman 将其描述为执行前把任务拆成步骤。在多智能体协作中，不同提示角色或不同底层模型可以相互审查并完善输出。他对此持乐观态度，但承认要让智能体按预期行动可能需要测试和迭代。

Ng 用代码演示反思：先让模型编写函数，再把代码交回给它，要求检查正确性、风格和效率，最后利用反馈生成第二版。结果不保证一定更好，但按他的经验，成功的频率足以让人尝试。

Berman 将这与自己的做法相比：运行模型生成的代码，找到错误，再把错误交回模型修复。Ng 补充说，智能体可以运行单元测试、检查失败原因并再次修改，让反馈推动下一轮工作。

另一种做法是把编码者和审查者分成不同角色。两者可以使用相同的底层模型，只用不同提示词：一个写代码，另一个审查。Ng 将其描述为用途广泛的模式，而不是必须使用多个不同模型的要求。

Ng 的工具使用例子包括网页搜索、代码执行、效率工具和图像相关函数。早期无法直接理解图片的语言模型，仍可以调用外部工具完成目标检测或图像生成等任务。

Berman 强调，现有库和 API 可以成为模型的工具。它们的输出并不一定总是正确或在所有情况下都具有确定性，但调用专用工具可以让工作流获得文本生成之外的能力。

Ng 介绍能够选择一系列工具、有时还能从失败步骤中恢复的规划系统。他从 HuggingGPT 借用的例子结合姿态提取、图像生成、图像转文本和语音合成，完成一个多步骤请求。

Ng 提醒说，按他的经验，这些系统仍然比较难以驾驭，并非总能可靠工作。Berman 认同失败恢复和反复尝试有价值，并期待模型、工具和框架的改善减少部分摩擦。

Ng 说，自己有时会在不想手动搜索时使用研究智能体收集信息。它有时成功、有时失败，但已成为他个人工作流的一部分。随后他转向多个智能体之间的协作。

他以开源项目 ChatDev 为例，介绍通过提示词设定软件工程师、设计师和测试员等角色，让它们对话、编写代码并迭代程序。他说结果有时复杂得令人惊讶，但也指出并非每次尝试都会成功。

Ng 还提到多智能体辩论：让不同智能体就答案进行讨论。Berman 补充说，不同模型或针对不同角色专门优化的模型可能提供多样化视角。两人都没有声称角色分离能保证每项任务的结果变得更好。

Ng 总结了四种模式，并预测智能体工作流会拓展 AI 能够完成的任务。他指出，习惯聊天立即得到回答的用户，可能需要等待数分钟或更久，让智能体进行研究、执行和修改。

Berman 认为快速推理可以缩短此类工作流中的迭代时间。他引用当时 Groq 的 token 生成速度作为例子，并推测网页搜索或外部 API 可能反而成为瓶颈。这些是说明性的估计，并非对所有智能体的时间测量。

Ng 同样提出，速度较快、能力稍弱的模型有时可能比速度较慢、能力更强的模型完成更多轮迭代。他将这一想法与基准例子联系起来，认为智能体推理可能让一些应用在下一代模型出现前就得到改善。

Ng 将通往 AGI 的进展描述为一段旅程，认为智能体工作流可能是渐进的一步。Berman 重申自己对智能体工作流和推理速度的兴趣。现有自动字幕跳过了他结尾评论中的一部分，因此这里没有重建缺失内容。

Berman 最后提到 token 成本问题，并预计随着模型更广泛可用，定价也会发生变化。他感谢观众并结束讨论。