30 秒看懂
Matthew Berman 展示了 2023 年的一套配置：在 RunPod 上托管 Dolphin 2.1 Mistral 7B，开放 Text Generation WebUI API，再将 AutoGen 指向该接口。编程智能体生成 Python 代码，用户代理执行代码并输出 1 到 100。 该示例使用的是历史界面和单个模型，不能证明它兼容所有模型。他指出，由于终止条件配置不完整，对话会继续进行。
- 1部署 GPU 实例在 2023 年的演示中，他选择 RunPod 模板和 GPU，并为模型 API 开放 50001 端口。
- 2下载模型Berman 下载 Dolphin 2.1 Mistral 7B，并使用 Transformers 加载未量化的权重。
- 3启用 API他启用 WebUI 的 OpenAI 扩展并重启会话。
- 4将 AutoGen 指向服务示例将 API 基地址改为 RunPod 的 50001 端口接口，并加上 /v1 后缀。
- 5测试与终止用户代理运行生成的代码并输出数字；Berman 说由于终止条件配置不正确，对话仍在继续。
要点建议
- 演示配置通过 RunPod 上的 Text Generation WebUI 兼容 OpenAI 的接口提供模型服务。
- Berman 下载未量化的 Dolphin 2.1 Mistral 7B 模型，并使用 Transformers 加载。
- AutoGen 编程智能体和用户代理生成并执行了一个简单的 Python 示例。
- 由于终止行为未完全配置，演示在代码执行后继续运行。
- 应另行核查当前界面、模型兼容性、托管成本和安全设置。
按章节阅读整理后的全文
配置 RunPod
Berman 介绍托管模型的方法，并部署一个开放了 API 端口的 GPU 实例。
我想让 AutoGen 使用开放权重模型，而不是由 OpenAI 托管的模型。在这段 2023 年教程中，我将模型托管在 RunPod，并用 Text Generation WebUI 提供兼容 OpenAI 的 API。如果自己的电脑资源足够，也可以选择本地安装。
在 RunPod 界面中，我选择 Secure Cloud 标签页、一个 Text Generation WebUI 模板和 RTX A6000。在部署覆盖设置中，我为 API 开放 50001 端口，然后部署实例。展示的界面、可用模板、硬件和价格都是当时的情况，可能已经变化。
我选择的模型是 Eric Hartford 的 Dolphin 2.1 Mistral 7B。实例运行后，我通过 7860 端口连接 WebUI，打开 Model 标签页并下载 `ehartford/dolphin-2.1-mistral-7b`。我使用的是未量化版本；选择其他模型时，需要考虑模型大小和可用内存。
模型与 API 配置
他下载并加载 Dolphin 2.1 Mistral 7B，然后启用兼容 OpenAI 的 WebUI 扩展。
下载后，我刷新模型列表并选择模型。我遇到过一个选择问题：先选择 None，再选择模型，可以修复下拉菜单的问题。我使用 Transformers 加载器加载模型。
在 Session 标签页中，我启用 OpenAI 扩展，应用参数并重启。这会开放一个旨在兼容 OpenAI API 的接口。随后 RunPod 显示 50001 端口上的 HTTP 服务。兼容性会因模型、软件版本和应用使用的 API 功能而异。
AutoGen 测试与本地方案
他配置 API 接口，演示执行生成的 Python 代码，并介绍本地服务器使用 localhost 的方式。
在已有的 AutoGen 应用中，我将 API 类型保留为 OpenAI，并把 API 基地址改为 RunPod 服务地址，使用 50001 端口和 `/v1` 路径。示例使用了占位 API key。占位值本身不能保护公开接口；部署时需要配置访问控制和服务认证。
为了快速测试，我要求编程智能体编写 Python 代码，输出 1 到 100。用户代理执行生成的代码，输出显示了数字序列。这只是一个小型端到端示例，并非对编程质量或模型兼容性的全面评估。
由于我没有正确配置用户代理的终止条件，对话仍在继续。模型通过 RunPod 运行，会产生托管费用。如果我的机器和软件支持该模型，也可以在本地运行服务并使用 localhost 接口。
我计划制作更多 AutoGen 教程，介绍实际用例，并尝试集成其他模型。我也要感谢 RunPod Discord 中的 Ivon Gabrielle，他向我展示了这种方法并帮助我完成配置。
同频道的其他文章
34:21EN → 简体中文
Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构，并质疑 AI 快速发展与安全之间的张力。
0:26EN → 简体中文Matthew Berman· 2026年10月25日Sam Altman 谈 AI 世界中的人类价值与问题解决Sam Altman · OpenAI在一段简短的访谈摘录中，Altman 思考解决难题的乐趣，以及人在解读结果时的作用。
0:36EN → 简体中文Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原，并对 Kimi K3.1 的测试给予积极评价。
0:21EN → 简体中文Matthew Berman· 2026年10月24日AI 生成的 Kimi 基准图表使用了虚构分数Matthew Berman · Forward FutureMatthew Berman 要求生成一张 Kimi K3.1 Pro 基准图表，随后发现图中的数字只是示意性占位值。
25:50EN → 简体中文Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测：3D 演示出色，表现不一，价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力，并比较基准成绩与价格。
32:20EN → 简体中文Matthew Berman· 2026年10月23日本地 AI 究竟适合谁？成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权，与硬件成本、设置复杂度及推理速度之间的关系。