30 秒看懂
在这场 2024 年 12 月的访谈中,Matthew Berman 与 Chi Wang、Qingyun Wu 讨论了 AutoGen 如何从 FLAML 中诞生、多智能体对话,以及他们决定在 AG2 继续开发的原因。他们还分享了从简单方案入手、分配专业智能体和设计人工参与的实用建议。 他们的计划与预测反映访谈当时的情况;对智能体能力的描述并不保证系统能够可靠地自主运行。
- 1从 FLAML 到 AutoGen他们的 AutoML 工作促使他们把模型推理、工具和人工参与视为一个更广阔的设计空间。
- 2从简单工作流入手Wang 建议先使用助手和用户代理,必要时再拆解复杂工作。
- 3CaptainAgent 与 SwarmWang 将自动创建团队和明确的任务交接描述为互补方法,同时承认生成过程可能失败。
- 4人的角色Wang 认为,提出意图、澄清需求、提供反馈和覆盖智能体决定是人工参与的核心形式。
- 5为什么选择 AG2Wu 提到决策速度,以及为跨组织贡献提供中立环境的需要。
- 6自主性的局限Wang 强调质量不确定、成本、意外行为和责任归属等问题;他对未来五到十年的看法是一项预测。
要点建议
- AutoGen 源自优化模型使用方式的研究,以及协调模型、工具和人的需求。
- 先做一个能运行的小例子,当单个智能体无法可靠完成任务时再增加专业智能体。
- 多智能体通信模式需要在灵活性、控制和隔离之间权衡;模型选择则影响质量、成本和延迟。
- 人工参与包括设定和澄清意图、审核结果、提供反馈,以及覆盖智能体的决定。
- Wu 表示,AG2 希望让社区主导的决策更快,并为贡献者提供更中立的环境。
- 持续自主运行的智能体带来授权、质量、成本和责任等尚未解决的问题。
按章节阅读整理后的全文
FLAML 与 AutoGen 的起源
Wu 和 Wang 介绍他们的合作,以及模型应用为什么需要更广泛的框架。数学解题促成了助手和用户代理模式。
Matthew Berman 采访了 AutoGen 的创建者 Chi Wang 和 Qingyun Wu。访谈时,Wang 是 Google DeepMind 的高级资深研究员,Wu 是 Penn State 的助理教授。他们追溯框架的起源,讨论开源和智能体设计实践,并解释为什么在 AG2 继续工作。
Wu 表示,他们的合作始于 FLAML,这是一个用于自动机器学习和超参数调优的开源库。2019 年,她在 Microsoft Research 实习时开始与 Wang 合作。他们对高效调优的研究发展成一个软件库,供企业使用,其中包括处理表格数据的银行。
看到生成模型的潜力后,他们开始思考如何帮助人们有效使用这些模型。Wang 回忆说,他们将 AutoML 应用于 GPT-3 的推理参数:参数选择会显著影响数学、编程和文本生成任务的表现与成本。
Wang 说,有用的应用往往不止调用一次模型:工具、多次推理和人的输入共同构成一个庞大的设计空间。他们希望建立一个通用框架,帮助开发者探索并最终优化这个空间,就像成熟的机器学习框架提供通用接口一样。
Berman 问他们何时首次意识到智能体协作的潜力。Wu 回忆说,他们选择富有挑战性的数学问题,是因为这些问题重要、相对容易评估,也与她对辅导教学的兴趣有关。解题经常需要编写、执行和调试代码,也需要一种让人类导师参与的方式。
这催生了与助手并行的用户代理智能体。Wu 解释说,当时用户可能要复制 ChatGPT 生成的代码、运行代码,再把结果返回;代理可以承担这个角色,也可以接收人的反馈。看到两个智能体自主迭代和调试,让她在早期感到兴奋。
对话与首次发布
Wang 讨论用对话作为智能体协作的模型。两位创建者回顾了项目时间线及其出乎意料的快速普及。
Wang 将自己的灵感与 ChatGPT 的对话界面联系起来:人们可以通过它提供反馈并反复迭代。这让他想起大学研讨课上的一个观点,即对话可以创造知识:有能力的语言模型也许能彼此对话,并在适当的时候让人参与。
他设想为推理、规划、编程、测试和审查分配不同角色,形成比单次模型调用更大的工作流。例如,模拟不同用户的智能体可能帮助生成训练数据。他看到一个更广泛的机会:把复杂流程建模为对话。
他们最初的数学案例将模型驱动的助手与能够执行代码或获取人工反馈的代理配对。Wang 说,早期用户随后希望拥有更多角色和通信模式,于是系统从两个智能体发展为规模更大的多智能体对话。
谈到时间线,Wang 说他们在 2022 年末开始思考。2023 年 GPT-4 发布前后,他们开始以智能体为抽象构建框架,与用户一起迭代,并在当年 8 月撰写研究论文。Wu 补充说,首批代码从一开始就在 FLAML 中公开,只是更广泛的受众最初没有注意到。
Wu 说,她对项目的受欢迎程度感到惊讶,也因此更有动力改进项目。Wang 根据 FLAML 的渐进增长,将一年目标设为 1,000 个 GitHub star;但他说 AutoGen 在几天内就超出了预期。Berman 指出,访谈时该项目已有超过 35,000 个 star。
从开源中学习
两位嘉宾介绍各自走向代码开放的经历,以及他们看到的反馈、透明度和社区收益。
Berman 问他们是如何走向开源的。Wang 说,他此前在 Microsoft Research 的工作主要产出论文,偶尔与产品团队交流。FLAML 也起步于研究;当人们希望使用代码时,团队最初只有一个原型,提供的是私有许可证,而非开源版本。
当另一位读者要求开源代码时,Wang 决定发布,尽管他们对采用情况仍不确定。解决用户关切改善了易用性,也推动了后续研究。据他介绍,采用者从较小的公司扩展到大型组织,包括 Microsoft 的产品。
这段经历改变了他们开发 AutoGen 的方式:从一开始就开放代码,以便快速获取反馈和迭代。Wang 认为,这加快而非阻碍了企业采用,也让团队了解到许多企业使用场景。
Wu 描述了她与开源关系的三个阶段。读博时,分享代码是默认做法,目的是让研究可复现、易于获取。在 FLAML 阶段,看到人们大规模应用她的研究给她带来了个人满足;AutoGen 则让她进一步思考生态系统对贡献者和用户的价值。
Wu 认为,开放代码让贡献者能够在彼此的工作基础上继续构建,也为企业带来透明度。广泛使用的生态系统还能简化入职流程,因为员工可能已经熟悉相关基础设施。Berman 则看重自己能够检查、修改代码并贡献改进。
智能体设计实践
他们建议先做原型、从简单方案开始,并在需要时分配专业角色。Wang 介绍通信模式以及当时的 CaptainAgent 和 Swarm 功能。
谈到实践建议,Berman 问及模型选择、智能体数量和提示词。Wu 建议先为一个任务做出能运行的原型。一个小规模成功案例既有成就感,也让开发者在扩大设计之前比较不同方法。
Wang 说,AutoGen 最初的建议是从简单方案开始:把指令放进助手智能体,再给用户代理提供适当能力,例如在需要时执行代码。简单任务可能只需两个智能体。随着任务变复杂,单个模型可能忘记指令,或无法高质量完成某些步骤。
这时,Wang 建议把工作拆成更小的部分,让专业智能体承担范围更窄的职责。开发者还必须决定它们如何通信:参与者达到三个或更多时,会出现许多可能的顺序,因此对话拓扑也成为一项设计选择。
他把顺序对话、嵌套对话和群聊描述为基础构件,它们在灵活性、控制程度和隔离智能体内部工作方面各有取舍。不同智能体也可以使用不同模型、配置和工具,让开发者权衡质量、成本与延迟。
Wang 接着介绍访谈时 AG2 较新的两项功能:CaptainAgent 和 Swarm。CaptainAgent 可以分析给定任务、将其拆解并组建智能体团队,既可以使用现有智能体和工具,也可以生成新的。用户可以查看创建了什么。
Wang 提醒说,面对困难任务或缺少工具时,自动创建可能无法生成全部所需内容。开发者可以把有用的部分作为起点,再补充缺失的工具或专业角色。Swarm 提供接口来协调智能体,并指定任务交接、共享上下文和结构化输出;他建议结合使用这两种方法。
Wu 提出一个通用启发:看看人类组织如何分工解决问题。例如,人力资源部门有不同的职能角色。她把这视为组织模型智能体的起点和类比,并不保证照搬人类组织架构就能得到最佳系统。
人在回路中
嘉宾讨论了意图、澄清、反馈、干预、教学和验证。Wu 特别指出困难任务以及涉及伦理和安全的工作。
Berman 问,什么时候应该让人参与回路。Wang 从两个层面思考:即使智能体强大得多,哪些人工参与仍然有价值;以及在技术尚不完善时,还需要人做哪些额外工作。
首先,Wang 认为人应该提出原始意图,并决定是否接受建议。简短的请求可能含糊不清,因此人们可能需要经过几轮互动来澄清意图。智能体返回结果后,人也可能需要验证结果并提供反馈。
第四个角色是在必要时覆盖智能体的决定或接管任务。Wang 表示,随着能力提升,各个角色的参与程度可能改变。他还谈到向智能体传授缺失的知识和技能;反过来,人也可能出于好奇、验证结果或提升自身能力的目的,从智能体的工作中学习。
Wu 建议,在决定何处引入人工参与时,寻找模型与人之间的差距。特别困难的工作可能需要人类专业知识和验证,而敏感应用需要考虑伦理和安全。她认为这些地方都值得认真考虑让人参与。
转向 AG2
Wu 解释了对更快决策和更中立平台的需求。她介绍了社区驱动的开发方式,以及把实时语音作为近期计划。
Berman 问,为什么创建者把原始 AutoGen 代码分叉成 AG2。Wu 说,AutoGen 起初是 Microsoft 与外部贡献者的合作项目,他们最初同意以 MIT 许可证在 Microsoft 旗下发布。一年多来,来自多个机构的贡献者在那里共同工作。
Wu 表示,随着项目发展,组织内部的优先事项和管理使进展变慢。她希望能够与社区一起迅速做决定、推进项目,同时强调这些限制是大公司的现实情况,而非单纯抱怨。
Wu 给出了第二个原因:中立的平台可以方便那些不愿在另一家大型公司旗下项目中工作的贡献者参与。她说,当时 AG2 的贡献者来自 Google、Meta、Microsoft、IBM,以及小型公司和大学。
被问及计划时,Wu 说开发应继续由社区和使用场景驱动,让用户反馈决定优先事项。她提到近期在 CaptainAgent、Swarm、GraphRAG 和结构化输出上的工作,并把更好地支持实时语音智能体等场景列为 2024 年的近期目标。
主动智能体与责任
嘉宾思考自主系统的授权、成本和可靠性。Wang 对未来五到十年提出展望,同时强调人的选择权。
Berman 问智能体何时能全天主动为人工作。Wu 认为技术在某些方面已接近这一目标,但强调交互设计和授权的重要性。例如,智能体可以起草一封重要邮件,让用户在发送前审核。
Wang 同意,在特定领域,长时间运行的任务可能不存在根本性技术障碍。甚至可以由另一个智能体发起请求。但这假设计算资源充足,并带来成本顾虑;更重要的是,质量无法保证,智能体最终可能采取用户不希望的行动。
Wang 将责任划分的困难与自动驾驶提出的问题相比。除了技术可行性和监管,他还问人们是否真的希望把一切都委托出去。他预测,五到十年内,智能体可能在极少监督下从人的想法出发完成大多数任务,但他强调这是一种展望,而非已经具备的能力。
在 Wang 看来,人们应该保留选择权:可以委托、自己动手或接管任务。如果能力强的智能体普及,决定哪些事情亲自做本身可能成为一个重要问题。Berman 在结尾表示,他很看重能为自己准备工作的智能体,例如先起草邮件,再由他审核。
同频道的其他文章
34:21EN → 简体中文
0:36EN → 简体中文
25:50EN → 简体中文
32:20EN → 简体中文
1:03:37EN → 简体中文
0:53EN → 简体中文