摘要
30 秒看懂
Matthew Berman 讨论人们为何会在自己的电脑上运行开放模型：本地处理、更多控制权，以及无须按次支付托管费用即可进行实验。他也指出硬件限制和技术复杂性，并认为本地模型足以完成许多任务。
- 1本地运行模型一台电脑能运行哪些模型，取决于其可用硬件。
- 2隐私和控制权本地处理可以将提示留在设备上，也让有技术能力的用户尝试调整模型。
- 3成本与复杂性Berman 指出硬件和电力成本，并表示本地配置需要更强的技术能力。
- 4性能方面的取舍Berman 比较开放模型与前沿托管模型，并对开放模型在常见用途中的适用程度提出未经测量的估计。
要点建议
- 兼容的模型可以在本地运行，但受可用硬件资源限制。
- 将处理留在本地可以改善隐私保护，具体取决于软件及其配置。
- 获得模型权重后，用户可以进行实验，并在许可允许时进行微调。
- 本地使用仍有硬件、电力和配置成本。
- Berman 认为本地模型与前沿托管模型存在性能差距，但能满足许多需求；视频没有提供证据支持他提出的 95% 估计。
全文
按章节阅读整理后的全文
01
为什么在本地运行模型？
Berman 解释本地运行、隐私、控制权和实验的价值。硬件决定了哪些模型可以运行。
开放模型的一个好处是，你可以在自己的电脑上运行兼容的模型。你能使用的模型能力和大小取决于现有硬件。对于喜欢尝试和调整自己设备的人来说，本地运行也很有趣。
如果软件和配置能让输入留在设备上，本地处理就可以改善隐私保护，因为输入无须发送给托管模型的服务商。这也能带来更多控制权：有技术能力的用户可以在模型及其许可允许的情况下，尝试微调和强化学习等技术。
02
成本与取舍
本地使用可以避免托管服务的按次收费，但仍涉及硬件和电力成本。配置难度和模型质量也需要权衡，不过 Berman 认为本地模型足以完成许多任务。
我认为本地使用在某种意义上相当于免费，因为可能无须按次支付托管费用，但你仍然要承担硬件和运行所需的电力成本。它也有缺点：本地配置通常比访问托管聊天机器人需要更多技术知识。
我认为开放模型的能力总体上仍落后于领先的托管模型，尽管具体比较取决于模型和任务。在我看来，它们足以满足许多用途；我估计这一比例为 95%，但视频中没有提供支持这一数字的证据。
同频道的其他文章
34:21EN → 简体中文
Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构，并质疑 AI 快速发展与安全之间的张力。
0:26EN → 简体中文Matthew Berman· 2026年10月25日Sam Altman 谈 AI 世界中的人类价值与问题解决Sam Altman · OpenAI在一段简短的访谈摘录中，Altman 思考解决难题的乐趣，以及人在解读结果时的作用。
0:36EN → 简体中文Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原，并对 Kimi K3.1 的测试给予积极评价。
0:21EN → 简体中文Matthew Berman· 2026年10月24日AI 生成的 Kimi 基准图表使用了虚构分数Matthew Berman · Forward FutureMatthew Berman 要求生成一张 Kimi K3.1 Pro 基准图表，随后发现图中的数字只是示意性占位值。
25:50EN → 简体中文Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测：3D 演示出色，表现不一，价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力，并比较基准成绩与价格。
32:20EN → 简体中文Matthew Berman· 2026年10月23日本地 AI 究竟适合谁？成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权，与硬件成本、设置复杂度及推理速度之间的关系。