AutoGen 进阶教程：配置、记忆、检索与工具

在这期 2023 年 10 月的 AutoGen 进阶教程中，我介绍智能体模型配置、缓存、增强推理、检索、可教学智能体、Docker、函数调用和可复用工具。示例反映的是当时展示的 AutoGen；API 和默认设置已经变化，请查阅所安装版本的文档。

智能体的 `llm_config` 包含模型相关设置，其中包括 `config_list`。在演示的实现中，列表可以包含多个模型配置，前面的请求失败时会依次尝试后面的配置。助手智能体和用户代理智能体都可以使用这一思路。

提示词模板可以使用上下文字典提供的值。无需反复改写指令，只需提供问题描述之类的变量，并复用固定的提示词框架。当多个智能体共享指令结构但需要不同输入时，这很有用。

教程展示的配置选项包括启用或禁用缓存、模型配置列表和函数定义。所示文档还介绍了如何处理速率限制和超时，包括在所有配置都尝试完毕后返回失败标记的选项。具体行为取决于版本和设置。

重试设置可以指定总重试时长和等待间隔。我提到递增退避可能很有用，但展示的示例使用固定间隔。温度、token 上限和采样选项等其他模型参数也可以在支持的情况下传入。

在当时的示例中，缓存种子选择已保存回答的命名空间。使用同一种子重复完全相同的缓存请求，可以避免再次调用推理；更换种子或清除相关缓存则会触发新的结果。这是一种缓存机制，并不保证独立的模型运行普遍具有确定性。

配置列表可以直接写在代码中，也可以从 JSON 文件加载，并按选定模型过滤。我的示例先尝试 GPT-4 配置，再尝试 Azure 托管配置，前面的选项失败后再尝试 GPT-3.5。每一项都指定适合相应提供商的模型和连接信息。

兼容 OpenAI 的端点也可以指向本地托管或远程开放权重模型。我的示例让 Code Llama 和 Mistral 运行在不同的本地端点上，并将编程模型分配给 coder 智能体，另一个模型分配给 product-manager 智能体。服务器和硬件必须实际支持所选模型。

不同智能体可以使用不同的模型设置，一个团队也可以组合托管模型和本地模型。这种灵活性有助于按角色选择模型，但性能、兼容性、延迟和可用硬件决定了具体组合是否实用。

缓存示例将保存的回答放在按种子区分的目录中。重复测试时，缓存命中可通过返回已存结果节省时间，并可能节省 API 费用；删除缓存目录或更换种子后，应用就可以请求新的回答。如果应用配置不当，缓存结果也可能掩盖模型或提示词的变化。

AutoGen 当时的增强推理接口与其多智能体对话框架是不同部分。它提供了对补全调用的封装，支持缓存、配置回退、错误处理、模板和调优等功能。称其为可直接替换接口的描述适用于 2023 年展示的 API，并不自动适用于新版 SDK。

性能调优会在推理预算内搜索表现良好的设置。示例分别指定验证数据、评估函数、指标、搜索空间和预算。对于数学任务，用户自定义的评估器可以将答案与已知解进行比较，并报告是否成功。

教程中的调优示例探索模型、提示词和 token 设置等参数，目标是最大化各测试案例的综合成功指标。示例分别设置了推理预算和优化预算。结果是否有意义，取决于所提供的验证数据、评估器和搜索空间。

在当时的接口中，API 统一使多个托管或本地模型端点可以通过共同的配置方式使用。前一个配置失败时，回退机制会尝试另一个；它并不保证每个提供商都支持相同参数或产生等价结果。

模板避免了每次都手动添加相同指令。我用“逐步解释你的推理”作为可复用后缀的例子，通过上下文插入任务。这条指令在我的部分测试中有所帮助，但并不保证普遍改善回答。

演示的日志接口记录调用历史以便调试，当时的文档将其标记为实验功能。接下来我介绍检索增强生成：智能体可以使用外部文档提供相关上下文，补充模型最初已有的知识。

检索示例将 `RetrieveAssistantAgent` 与 `RetrieveUserProxyAgent` 结合使用。检索配置指定问答任务和文档路径。示例将文档分块、对文本生成嵌入并检索相关内容，让智能体回答关于 AutoGen 的问题。

不使用检索文档时，对照示例返回了关于“autogen”另一种含义的泛泛回答。检索可以提供更相关的上下文，但最终答案的质量仍取决于来源、检索过程和模型行为。

示例中的嵌入函数和文本切分方式都可以自定义。我展示了使用 OpenAI 或 Hugging Face 嵌入以及 LangChain 文本分割器的替代方案。嵌入将文本转换为可比较相关性的向量，但它只是检索系统的一个组成部分。

展示的默认方案使用 Chroma；另一个示例通过自定义客户端和检索逻辑，使用 Qdrant 进行检索。在群组聊天中，启用检索的用户代理可以提供信息，另一个代理负责代码执行，其他助手则承担编程角色。

教程随后介绍可教学智能体：它将选定信息保存为持久备忘录，并在以后的对话中检索。这是外部记忆，并不保证底层模型权重经过重新训练，也不保证每条记忆都会被正确召回。

当时的 `teach_config` 示例包含日志详细程度、是否重置数据库、数据库目录、召回阈值和最大检索次数。较高的距离阈值可能召回更多记忆，但相关性可能下降。在该示例中，重置数据库会丢弃之前保存的备忘录。

演示中，用户教给智能体有关 Vicuna 和 Orca 的事实，清除聊天记录后，再让它利用存储的记忆进行比较。这个例子展示的是持久性，而不是独立事实核查：Vicuna 由 LMSYS 基于 LLaMA 微调开发，并不像口述示例暗示的那样仅仅是 Meta 发布的模型。

同一机制也可以保存用户偏好，例如用三个要点概括摘要。反馈会转换成备忘录，供以后任务可能检索使用，用户不必在每次对话中重复该偏好。

对于生成的代码，我建议使用 Docker 隔离，并展示了指定 Python 容器和工作目录的代码执行配置。仅安装 Python 的 Docker 包，并不等于安装并运行 Docker 本身。视频中关于自动回退到宿主机执行的说法取决于具体版本；必须核对当前行为，不能直接假定。

函数调用允许智能体提出对应用定义函数的结构化调用。在示例中，配置描述了 Python 和 shell 函数，包括名称和参数，而普通应用代码负责实现它们。

用户代理注册一个映射，将声明的名称对应到实际函数。模型可以建议一次调用，由应用执行已注册的实现并返回结果。这个分工很重要：模型不能仅凭说出工具名称就获得工具，代码执行也需要适当限制。

另一个示例为一道数学不等式注册了 Wolfram 查询函数。助手建议使用该函数并提供所需查询，应用随后执行函数并返回结果。工具输出仍需结合具体任务进行解释和检查。

最后，我展示智能体完成一个研究流程：搜索关于信任校准的 arXiv 论文，分析应用领域并生成柱状图。代码失败时，用户代理反馈错误，智能体再进行修改。

后续请求让助手回顾成功的步骤，并生成可复用方案和通用函数。该方案可以用于以后的任务，也可以存入可教学智能体以便检索。目标是复用经过测试的工作流，同时仍要审查生成的代码和结果。