Paul Everitt:逐步把编程智能体从云端迁到本地

原标题Paul Everitt: Move coding agents from cloud to local one role at a time

通过重复构建同一应用,比较小模型承担具体任务时节省的费用,以及增加的规划和审查工作。

PEPaul Everitt讲者 · JetBrains
频道
DeepLearningAI
发布
2026年11月19日
视频
1:18:21
阅读
12 分钟
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

本地编程模型可以完成小规模实现任务,但需要先拆分工作并仔细检查。JetBrains 开发者布道师 Paul Everitt 用云端模型、云端与本地混合模型、最后两个本地模型,反复构建同一个 Python 应用。他的比较显示,子智能体能保护主智能体的上下文,却可能增加总工作量;较便宜的模型降低使用费,却需要更精确的交接。全本地示例修复问题后通过测试,但内存需求和硬件速度限制了可复现性。

  1. 1固定规格让不同配置具有可比性每次重建小型 FastAPI 应用都使用相同的项目目标、技术栈和路线图。
  2. 2子智能体隔离工作,却增加了总上下文一次云端比较中,主智能体上下文减少,子智能体上下文几乎翻倍;总上下文和轮次增加约 50%。
  3. 3更便宜的实现模型把工作转回协调者八个较小的 Flash 实现智能体降低了每个子智能体的平均上下文和费用,但主智能体协调量和耗时增加。
  4. 4本地模型需要更小的任务和明确限制Everitt 拆分路线图、限制工具和步骤,并让云端协调者为每个阶段准备详细交接。
  5. 5全本地配置修复一次问题后通过测试在一台 32 GB 内存的机器上,Qwen 协调者和 Gemma 实现者修复重定向测试失败后完成了示例应用。

要点建议

  1. 用同一份规格和验证方式比较编程配置,不要把一次成功运行当作基准。
  2. 给较小的实现模型一个聚焦阶段、所需文件和测试,以及清晰的修改范围。
  3. 检查交接内容并亲自运行测试;小模型可能陷入循环或覆盖已有工作。
  4. 子智能体隔离上下文,但可能增加总 token、协调工作和时间。
  5. 本地推理可让提示词和代码留在本机,但模型权重和上下文会竞争内存。
全文

按章节阅读整理后的全文

只看原始文稿
01

编程智能体背后的选择

模型、供应商和任务分工影响控制权、费用和隐私。课程逐层调整这些要素。

Andrew Ng 介绍课程:选择编程智能体、模型及其运行位置。这些选择影响成本、隐私、速度,以及开发者对工作流的控制程度。

Paul Everitt 说,目标是为每项工作选择合适的模型、决定哪些内容离开本机,并设计哪些智能体运行。本地执行可能是隐私要求,但当前工具和硬件配置需要投入精力。

课程每次重建一个小型 Web 应用,让任务保持不变。Everitt 从 Claude Code 和托管模型开始,随后把工作分给子智能体、更换模型,最后让两个角色都在本机运行。

这些是比较,并非宣称全本地配置永远最好。托管工作流可能更容易,便宜模型可能已经够用;把代码留在本机也可能值得额外配置。

02

固定项目与云端基线

每次实验都用目标、技术栈和路线图指导同一个小应用。首次云端构建提供参照。

示例应用 Agent Clinic 有首页、AI 智能体抱怨人类的虚构列表,以及添加抱怨的表单。初始规格来自精简版的规格驱动开发流程。

三个文件记录项目目标、技术栈和路线图。团队通常会分别规划、构建和审查功能;这里每次都使用相同书面规格,请不同配置一次完成实现。

Claude Code 需要付费访问,部分后续托管模型需要 OpenRouter 点数。Everitt 准备 Python 项目、Git 仓库和虚拟环境,并请智能体安装技术栈列出的依赖。

第一个实现作为云端基线:Claude Code 在开发者的机器上运行,通过 Anthropic 的托管 Sonnet 模型完成工作。新聊天和相同规格提供了比较起点。

提示词要求智能体遵循路线图并运行测试。Everitt 检查报告的问题和生成的文件,指出链接的完整性属性出错也可能破坏页面样式。

他启动 FastAPI 服务器,检查首页和抱怨页面,再提交一条抱怨。示例没有数据库,重启服务器后新提交的内容会消失。

验证后,他删除生成的文件,回到起始状态。这个基线快速、省事,但对模型和推理位置的控制较少。

基线报告区分主智能体与子智能体的活动。尽管提示词没有要求,Claude Code 自行启动了子智能体;这次运行中,它消耗了 54% 的上下文并发出了 61% 的工具调用。

Everitt 提醒,不要把耗时当作严格基准:外部条件会影响结果,再运行一次也可能得到不同数字。比较的目的是理解取舍,而不是给出普遍排名。

03

全新子智能体和更便宜的实现模型

协调者将每个阶段交给全新上下文,再切换到较便宜的实现模型。委派保护上下文,也带来额外开销。

长期运行的智能体会在一个上下文中累积指令、工具结果和回复。Everitt 将漫长、杂乱的上下文可能带来的性能下降称为“上下文腐化”,并指出本地小模型的余量更小。

他的做法是把路线图拆成阶段,每个部分交给拥有全新、聚焦上下文的子智能体。主智能体接收结果,无须携带完整实现过程。

新提示词仍要求完成整个应用,但让主智能体委派每个阶段。这次主智能体和实现智能体仍使用同一个托管 Sonnet 模型。

聊天窗口展示各次交接和结果。Everitt 审查主应用,启动服务器,检查两个页面和提交表单,然后再次清理。

这次运行中,主智能体上下文从 21.7 万降至 19.2 万 token,子智能体上下文则从 25.7 万增至 51.1 万。总上下文和轮次增加约 50%,工具调用增加约 20%;隔离带来了协调成本。

接下来的问题是:细致的实现工作是否需要同样昂贵的模型?Everitt 将较强模型用作规划者和审查者,让较小模型实现范围明确的任务。

强模型可以准备架构和路线图,中等模型协调功能,便宜模型负责实现。如果计划含糊,反复犯错和修复可能抵消节省。

Everitt 为主智能体选择 Sonnet,指示子智能体使用 Haiku。他要求主智能体审查实现,再独立运行测试并在浏览器检查应用。

示例使用较小的实现模型仍然可用。Everitt 强调模型选择需要权衡:额外尝试可能让名义上便宜的模型花费更多时间和金钱。

与上一课相比,这次轮次增加 50%,工具调用增加 48%,处理的上下文增加 29%;每个子智能体轮次平均上下文从 2.1 万降至 1.7 万。更多工作由便宜模型完成,因此费用下降。

04

选择智能体和模型供应商

OpenCode 和 OpenRouter 将编程工具与云端模型分开。Everitt 重复相同的实现和验证。

更换编程智能体带来更多选择。Everitt 通过 Agent Client Protocol 在编辑器中安装 OpenCode,先用托管演示模型测试,再连接其他供应商。

编程智能体仍需要模型端点。OpenRouter 通过一个账户和 API 连接提供多个托管模型,按 token 收费;这不意味着模型在本地运行。

他充值、创建 API 密钥,并配置 OpenCode 使用该供应商。密钥属于秘密;配置中也可以把冗长的模型列表缩减为实际使用的模型。

Everitt 为托管主智能体选择 DeepSeek V4 Pro,同时保留 Flash。模型菜单、智能体和供应商越来越多,开发者获得灵活性,也承担更多选择责任。

他用 OpenCode、OpenRouter 和 DeepSeek Pro 一次构建同一个应用。随后审查 FastAPI 代码和模板,亲自运行测试,检查页面和抱怨提交。

OpenCode 直接运行使用 25 个轮次、38 次工具调用和约 53 万上下文 token;之前的基线分别为 19、28 和 47.4 万。约两美分的成本说明价格差异,并不证明工作流更好。

05

定制实现智能体与协调成本

较强的模型为便宜模型准备工作包。示例中较小的会话省钱,但协调者承担更多工作。

接着他重新采用全新子智能体分工,每个路线图阶段一个。主智能体负责协调,助手携带实现上下文;他再次检查运行中的应用。

主智能体使用六个轮次和约 9 万上下文 token;子智能体消耗了 94% 的上下文并发出 85% 的调用。与直接运行相比,这次总上下文增加 179%,调用增加 139%,成本接近三倍。

OpenCode 也可以用 Markdown 文件定义专门的实现智能体。Everitt 在其中指定较小的 DeepSeek V4 Flash,由 DeepSeek Pro 准备任务包并审查工作。

好的交接明确指出要处理的路线图条目,并提供足够上下文。模型选择写在子智能体定义里,用户不必在每次主智能体提示中重复。

因为实现模型更小、更便宜,他检查协调者的审查结果,手动运行测试并验证两个页面。随着模型变小,错误可能更严重,因此审查和修复很重要。

八个 Flash 实现智能体替代了两个较大的 Pro 助手。子智能体上下文从 139 万降至 88.2 万 token,但随着协调工作增加,主智能体上下文从 9 万升至 71.2 万。

这次运行的总上下文增加 8%,轮次增加 56%,耗时增加 50%,费用却下降 28%。更小的任务包降低了每个实现者的负担,但工作没有消失,而是部分转移给协调者。

06

在本地提供小模型服务

LM Studio 下载 Gemma 并为 OpenCode 提供服务。本地端点改变了模型推理的位置。

到目前为止,虽然可以更换智能体和任务分工,模型仍由云端托管。本地推理需要在开发者控制的硬件上运行服务器,可以是桌面电脑或私有机器。

Everitt 选择 LM Studio 下载和提供模型服务。它包含聊天界面、服务器控制和模型搜索;服务器提供编程智能体可调用的端点。

第一个目标是让模型装进 16 GB 内存的电脑,并留出一些空间。他选择 120 亿参数的 Gemma 4 变体,指出本地智能体编程对内存要求很高。

在 Apple Silicon 上,他选择 MLX 版本;其他硬件可考虑 GGUF 变体。八位量化版本约 12.7 GB。更长的上下文也占内存,因此他设置聚焦的上下文,内存不足时可以调低。

加载模型并启动 LM Studio 服务器后,他先在聊天中测试,再用本地服务器地址和模型标识配置 OpenCode,并查看服务器日志确认请求到达。

首次请求可能因为加载模型而较慢,交互聊天也不能可靠代表智能体速度。连接后,模型就可以担任实现者。

07

本地实现模型需要限定范围的交接

云端协调者每次准备一个小阶段并审查结果。小模型在明确的工具和步骤限制下工作。

混合配置通过 OpenRouter 保留云端主模型,通过 LM Studio 让本地 Gemma 实现小任务。两个端点提供兼容 API,但连接配置比设计小模型能完成的任务容易。

Everitt 将云端协调者换成 DeepSeek V4 Flash,并拆分路线图的第二阶段,把抱怨表单移到一个单独测试的阶段。更小的任务减少了一次交接需要的工作和上下文。

他加强实现智能体的定义:设置 12 步上限、权限和禁用的工具。若没有边界,小模型可能陷入循环、覆盖工作、查看无关文件或消耗大量上下文。

指令要求实现者只处理分配的修改、检查当前文件内容并使用合适的文件工具,还要求运行指定测试、报告结果,避免无休止地修复。

用户不再要求一次完成整个项目。每个阶段由协调者准备适合本地模型的交接,包含文件细节和正确的测试命令;人可以在阶段之间检查和纠正。

交接和智能体指令只是引导,并不保证遵守。一个阶段中协调者写的代码多于要求,另一个阶段则遵守了限制。Everitt 建议检查工作包,不要假定每次都一致。

完成三个阶段后,Everitt 亲自运行测试、启动服务器并检查首页、抱怨列表和表单。示例可以运行,但本地硬件速度和小模型错误可能让运行变慢或需要干预。

三个本地实现者的运行平均各使用约 3.9 万上下文 token 和七次工具调用。云端协调者使用了 69% 的上下文和 59% 的调用,说明按阶段隔离可能把压力转到协调工作。

这次运行中,计费的云端部分约两美分,本地模型使用没有可归属的 API 费用。8 分 52 秒的耗时包括三个顺序阶段,与之前的运行比较时需要谨慎。

08

协调者也在本地运行

更大的 Qwen 模型在 32 GB 内存机器上负责协调。两个本地模型修复失败的测试,随后接受人工检查。

下一步,主智能体也要用本地模型规划、准备交接和审查工作。更大的模型可能处理更复杂的任务,也会消耗更多内存。

Everitt 为 32 GB 内存的机器选择 Qwen 3.5 27B。Gemma 已占约 11 GB;他选择量化的 Qwen 变体以减少内存需求,并承认精度和容量之间的取舍。

Q4 版本下载量接近 21 GB。他在 LM Studio 中加载模型、调整上下文大小、用聊天测试,并将其加入 OpenCode,通过服务器活动记录确认请求。

他让本地 Qwen 担任协调者、Gemma 担任实现者,重复三个阶段的工作流。这个示例中,首次交接看起来比之前云端 Flash 协调者生成的更有用。

前两个阶段没有报告严重问题。第三阶段出现 HTTP 重定向相关的测试失败;主智能体准备修复交接后,测试通过。

Everitt 独立重跑测试,检查应用页面和新增抱怨表单。这只是一个小型演示,但说明适合模型能力的路线图和人工验证仍然有用。

与混合配置一课相比,主智能体上下文从 26 万降至 17.8 万 token,子智能体上下文从 11.7 万升至 15.8 万;合计下降 11%。本地实现者进行了更多迭代工作。

本地运行用了 45 个助手轮次,之前为六个;工具调用分别是 57 次和 51 次。Everitt 认为轮次体现交互方式,并不直接衡量有效工作。按这种统计,本地执行没有计量使用费。

第三阶段是最大的实现任务,包含 12 个轮次、11 次调用和 6.9 万上下文 token,对应表单、提交、重定向和测试的要求。

Everitt 预计,为小模型设计的智能体工具会继续改进。内存更少的开发者可以尝试更激进的压缩模型,但应评估质量方面的取舍。

09

权衡不同选择,而非只选一个工具

Everitt 回顾模型、供应商和任务分工的选择。本地工作流仍在发展中。

这一系列实验从托管默认配置开始,逐步加入明确规格、子智能体、独立供应商和本地模型。重要的是为工作选择合适的配置,而不是假定某一种总是最好。

同频道的其他文章