30 秒看懂
Adrian Twarog 使用赞助商 ASUS 提供的 64 GB 内存迷你电脑，测试本地模型的聊天、编程和智能体任务。他发现上下文与速度限制，最终将本地后台工作与云模型结合。
- 1赞助硬件ASUS 提供 64 GB 内存的迷你电脑并赞助视频。
- 2内存与量化量化在模型大小与潜在质量之间作权衡。
- 3测得速度他测得的速度适用于特定模型与设置。
- 4编辑器集成本地端点可将模型连接到编辑器。
- 5上下文限制更大的上下文需要更多资源。
- 6混合智能体他最终结合云端协调与本地后台任务。
- 7结论本地编程表现取决于工作负载和硬件。
要点建议
- ASUS 提供 64 GB 内存的迷你电脑并赞助视频。
- 量化在模型大小与潜在质量之间作权衡。
- 他测得的速度适用于特定模型与设置。
- 本地端点可将模型连接到编辑器。
- 更大的上下文需要更多资源。
- 他最终结合云端协调与本地后台任务。
- 本地编程表现取决于工作负载和硬件。
按章节阅读整理后的全文
准备
硬件、内存与模型选择。
Adrian Twarog 花一周测试本地 AI 模型的编程和智能体任务，考察基准分数是否能转化为实际体验。ASUS 赞助了视频并提供迷你电脑，因此硬件讨论存在商业关系。
他从一台配置 64 GB 内存的 ASUS 迷你电脑开始，用 Ollama 和 LM Studio 运行模型。内存限制了可运行的模型及配置；这台机器的结果不应推广到所有本地环境。
他参考编程和通用基准选择候选模型，同时指出基准结果并不总能反映实际工作。非常大的模型需要超过测试机器容量的内存。
他把量化解释为一种权衡：更小的表示有助于模型适配消费级硬件，但压缩可能影响准确性。GPU 卸载和上下文长度也会影响资源需求。
初步测试
速度与编辑器集成。
第二天，他用简单提示测试响应速度。所选 Qwen 配置约为每秒 12 个 token；另一个模型更慢，而 GLM 4.7 Flash 在此配置上约为 22。这些是单机观察，并非受控基准。
他发现可用内存影响能否同时运行多个模型。一个 1200 亿参数的大模型放不进他的选定配置，这说明了容量限制，而不是普遍的硬件要求。
Twarog 通过端点将本地模型接入 VS Code。聊天失败时，他发现较大的提示词与工具定义占用了可用上下文，于是减少工具调用并提高上下文设置。
上下文与编程
较长工作流程中的限制。
在实际工作中，相比他习惯的更大窗口，默认的 8000 token 上下文显得受限。开启新会话有所帮助，但扩大上下文也会增加资源使用和延迟。
他尝试让编程 CLI 使用本地模型。在他的配置中，连简单问候都需要几分钟；他认为部分原因是工作框架较长的初始上下文。
智能体实验
混合工作流程与结论。
对于智能体工作，他考虑用本地模型处理较慢的后台检查，让云模型负责更复杂的协调。他最初的本地 OpenClaw 测试速度过慢，无法满足所需的交互体验。
他试验云端模型支持的智能体和本地子智能体，包括后台工作和记忆相关任务。这种混合安排与最初只使用本地模型的目标不同。
较轻的模型在他的测试中超过每秒 100 个 token。更小模型生成得更快，本身不能证明它在相同编程任务上的质量或表现等同。
他把迷你电脑作为独立的常开智能体工作站，包括试验云模型控制软件。分开机器可以避免打断自己的工作，但智能体的权限和输出仍需监督。
他的结论是，在这套硬件上，本地模型对部分较小或后台任务有用，而较长的编程任务在他的体验中仍然困难。他期待技术改进，但对本地 AI 未来的判断属于预测。
