运行本地语言模型，作为离线备用工具

Matthew Berman 提出，本地语言模型能否在长时间中断期间提供有用信息。除了食物和水，他还考虑如何获得有关设备、药物和能源的知识。在这期 2024 年 1 月的视频中，他介绍了如何选择、存储和运行本地模型，以及如何准备备用电源。

Berman 将语言模型描述为高度压缩的知识，设想用它们在灾难后保存人类知识。这种说法有所夸大：模型权重不是完整、忠实的知识档案，模型也可能自信地给出错误答案。遇到紧急、医疗或其他后果重大的决策时，不应只依靠模型；还应保存经过独立核实的离线参考资料。

他以亚历山大图书馆为知识丢失的例子，并将其与今天信息的众多实体和数字副本进行对比。他说自己谈论世界末日的场景时带有几分玩笑意味，但仍想了解现存的薄弱环节。

暂时断网可能让人无法访问 ChatGPT 和 Anthropic 模型等云端服务。Berman 提出，下载后在本地计算机上运行的模型，即使没有网络也可以回答问题。他还设想了永久断网、AI 访问受限、断电和电子设备受损等情况。

他的基本方案有三个部分：数据存储设备、能够运行推理的计算机和电源。他展示了一块小型外置固态硬盘，里面存有下载好的模型，还有剩余空间。要让整套设备运转，还需要兼容的软件和硬件，并确保文件仍然可读。

选择模型时，Berman 倾向于选较新的模型，以及计算机实际能运行的最大模型。他建议使用量化来缩小体积、改善性能，但这可能带来一定的质量损失。最佳取舍取决于模型、量化方法、可用内存和测试任务。

他还倾向于选择经过调整、拒答较少的模型，认为紧急情况下的问题可能会遭到限制更严格的模型拒绝。不过，拒答更少并不意味着答案准确或安全，尤其是询问危险技术操作时。实际专业技能和可靠的参考资料依然不可或缺。

运行模型方面，Berman 推荐 LM Studio，认为它的图形界面易于使用，还提供模型下载和聊天功能。他也提到偏向命令行的 Ollama，以及另一种界面 text-generation-webui。这些是他在 2024 年讨论的工具和版本。

他建议把软件和模型同时保存在计算机及外置硬盘上。他比较了 SSD、磁带和蓝光光盘，称 SSD 速度快，光存储较慢。他提到的寿命——SSD 约 5 年、磁带 10 至 15 年、蓝光光盘 30 至 50 年——只是粗略说法，不是保证；实际保存时间取决于介质、使用方式和存储条件。

在物理防护方面，他讨论了防火保险箱、法拉第袋和干燥剂。他说自己的保险箱具有有限时长的耐火等级，并建议使用袋子减少信号干扰。防护效果取决于产品等级、威胁类型和使用方式；不能假定袋子或保险箱能够抵御所有信号、火灾或其他风险。

他放入干燥剂以减少潮气，然后演示 LM Studio。当时他下载了适合自己操作系统的版本，将 Mac 应用放到外置硬盘后打开。演示界面支持模型搜索、下载和本地聊天；其他版本的具体布局可能不同。

在模型搜索中，他选择了 Eric Hartford 微调的 Dolphin 2.7 Mixtral 8x7B，并指出 LM Studio 的兼容性估计。他选取了约 32 GB 的 Q5_K_M 量化文件。屏幕上的“应该可以运行”只是启发式判断，实际还需要在目标计算机上加载并运行模型来测试。

下载后，他检查 LM Studio 的本地模型文件夹，必要时将其改到外置硬盘。接着，他打开聊天标签页，在 Mac 上启用 Apple Metal 并加载模型进行测试。聊天界面显示的是 Laser Dolphin Mixtral 变体；这演示了如何加载本地文件，并非对两个变体进行比较。

他在测试中询问如何用木棍生火，模型给出了一系列步骤。Berman 指出，拿到文字答案与真正掌握操作技能是两回事。看似合理的回答也不能证明说明完整或正确。

针对断电，他考虑使用备用电池、屋顶太阳能或燃油发电机。他举例介绍了一块 1,200 Wh 的便携电池，估计当时价格为 600 至 700 美元，同时指出较小的电池也可能足够。实际运行时间取决于计算机功耗和电池的可用容量。

维护也是计划的一部分：Berman 建议定期下载更新的模型、更新软件并检查电池健康。他指出，保持电池随时可用与长期满电造成的损耗之间存在取舍。他最后说一块小硬盘存下了人类的全部知识，应理解为他对这一想法的热情，而非模型保存内容的字面描述。