Matthew Berman 将 Mixture of Agents 适配到 Groq 推理服务

Mixture of Agents 结合多个语言模型的回答来生成答案。我对一项评测中开放模型集成方案优于 GPT-4o 的报告结果感到兴奋，但反复调用模型可能让这个方法变慢。在这篇 2024 年 7 月的教程中，我修改原始代码以使用 Groq 的快速推理服务；Groq 是本视频的合作方。

图示架构将提示词交给多层模型，并把中间回答逐层传递，最后由聚合器生成答案。图中有三个中间层，每层包含三个智能体，最后还有一个聚合器。结果取决于模型、提示词和评测方式；演示不能证明它在所有任务上都优于 GPT-4o。

我从 Together AI 的开源 MoA 仓库开始，修改代码以使用 Groq。这是务实的适配，而不是完全重新设计；我预计模型选择和服务商支持会不断变化。展示的代码、模型标识和服务接口反映的是 2024 年教程的情况。

在 VS Code 中打开终端并克隆代码仓库。我创建一个使用 Python 3.11 的独立 conda 环境，激活它，进入 MoA 目录，然后用 pip 安装仓库所需的依赖。接着打开项目文件夹，并确认环境处于激活状态。

我创建一个 .env 文件存放凭据。原教程讨论了 OpenAI 密钥，因为仓库还包含 OpenAI 基准脚本，并使用 OpenAI Python 库进行兼容的 API 调用。视频简介后来澄清，本教程不需要有效的 OpenAI API 密钥；使用这个库和拥有实际的 OpenAI 凭据是两回事。

我从 Groq 控制台获取 API 密钥，并放入环境文件。我在视频中说，录制时展示的密钥会在发布前撤销。主要修改涉及 bot.py 和 utils.py 两个文件；我的改法有些取巧，但足以完成这次演示。

在 bot.py 中，我将默认参考模型替换为当时 Groq 支持的选项：Llama 3 8B、Llama 3 70B、Mixtral 8x7B 和 Gemma 7B。我选择 Llama 3 70B 作为默认聚合模型，并更新相应的模型引用。随着服务支持变化，也可以测试其他组合。

我还将最大 token 默认值改为 2,048，同时保留现有温度设置。在 utils.py 中，我使用 python-dotenv 加载 .env 文件，并安装这一依赖。这样脚本就能读取配置的环境变量，而无需手动导出。

接下来，我将 Together 的 API 端点和密钥引用替换为 Groq 兼容 OpenAI 的端点和 Groq API 密钥。端点路径包含 /openai/v1。我在普通调用和流式调用中都进行修改，然后保存文件并测试交互式机器人。

运行 python bot.py 后，程序提示输入聚合模型、温度和最大 token 数。显示的提示仍写着 512，尽管实际默认值是 2,048；我后来修正了这个标签。第一次请求笑话时，模型收到了请求，但一个流式输出为 None，在与字符串拼接时出现错误。

我在 bot.py 中添加检查，在拼接前跳过 None 值，并更新过时的最大 token 提示。重新启动程序并接受默认值后，我请求一个笑话，得到了那个熟悉的自行车笑话的结尾。这确认演示中的请求在修复后完成，并不代表所有故障情况都已处理。

接着，我要求生成十个以“Apple”结尾的句子。程序查询参考模型并聚合它们的回答；我说这些句子满足约束。这两个例子展示了可运行的交互工作流，但并不是与 GPT-4o 在延迟、成本或答案质量方面的受控比较。