30 秒看懂
在这段 2023 年的教程中，Matthew Berman 使用 LM Studio 下载 Mistral 7B Instruct，启动本地服务器，并将已有的 AutoGen 示例指向它。他观察了智能体之间的交流，但表示提示词模板和终止行为仍需调试。录制之后，界面和 API 可能已经变化。
- 1下载模型Berman 在 LM Studio 中选择 Mistral 7B Instruct v0.1 的量化文件。
- 2启动本地服务器他加载模型并启动 LM Studio 的本地服务器。
- 3将 AutoGen 指向本地地址他在现有示例的兼容 OpenAI 配置中使用 http://localhost:1234/v1 和占位密钥。
- 4调试智能体行为智能体能够交换消息，但他说它们有时没有按预期终止。
要点建议
- LM Studio 可以通过兼容 OpenAI 的本地 API 提供已下载的模型。
- Berman 将现有 AutoGen 配置连接到 localhost 的 1234 端口。
- 智能体质量取决于模型选择、提示词格式和终止行为。
- 演示使用历史版本，当前配置细节可能不同。
按章节阅读整理后的全文
选择并下载模型
Berman 介绍 LM Studio，并选择量化的 Mistral 模型进行本地推理。
我想在自己的电脑上让 AutoGen 使用开放权重模型。连接过程很直接，但要找到能让智能体正常工作的模型和提示词模板，还需要更多实验。
我用 LM Studio 搜索和下载模型、本地聊天并运行服务器。在演示中，我选择 Mistral 7B Instruct v0.1 的量化版本；在 M2 Max MacBook Pro 上，我通常使用 Q5。合适的模型和量化方式取决于硬件和任务。
连接本地服务器
他启动服务器，并修改已有 AutoGen 配置，使用本地端点。
在 LM Studio 中，我选择下载好的模型并启动本地服务器。然后打开此前视频里配置好的 AutoGen 示例。LM Studio 提供兼容 OpenAI 的接口，因此我将示例的 API base 指向 http://localhost:1234/v1，并在这一纯本地配置中使用占位密钥。
运行并评估智能体
他测试简单的 Python 任务，并讨论仍需解决的提示词和终止问题。
我指示助手专注于 Python，用户代理则要求它输出 1 到 100。我运行示例，在 LM Studio 中观察推理和日志，也看到助手和用户代理互相发送消息。
连接成功了，但智能体并不总是按我的意愿行动：例如有时它们没有在预期时终止。我怀疑提示词格式很重要，并打算继续实验。这是历史演示；具体版本的设置请查阅当前 LM Studio 和 AutoGen 文档。
同频道的其他文章
25:50EN → 简体中文
32:20EN → 简体中文
45:08EN → 简体中文
12:14EN → 简体中文
10:36EN → 简体中文
17:37EN → 简体中文