体验 DeepSeek R1 的方式：托管与本地蒸馏模型

我演示三种体验 DeepSeek R1 的方式：DeepSeek 托管聊天、由 Groq 托管的蒸馏模型，以及在 LM Studio 中运行的本地蒸馏模型。这里展示的界面和模型可用性反映视频录制时的情况。

在 DeepSeek 聊天界面中，我选择 DeepThink（R1）；界面还提供网页搜索。托管服务会收到发送给它们的信息，因此我建议观众选择服务商前考虑隐私。视频没有证明任何政府或第三方如何处理某位用户的提示词。

在 Groq 上，我选择 DeepSeek-R1-Distill-Llama-70B。这是蒸馏模型，并非完整的 R1。在我的俄罗斯方块编程示例中，显示速度达到约每秒 275 个 token。我披露自己是 Groq 的小额投资者。

本地推理方面，我使用 LM Studio，也披露自己对这家公司有小额投资。安装后，打开发现页面并搜索 DeepSeek。与需要大量硬件的完整 R1 相比，较小的蒸馏版本更适合个人设备。

下载菜单提供不同的量化版本。较高位数的版本通常需要更多内存，也可能保留更多质量；我常选 Q4_K_M。LM Studio 会显示模型是否能够卸载到 GPU，帮助你选择适合自己硬件的文件。

下载后选择并加载模型。我在配有高端 GPU 的机器上演示 8B Llama 蒸馏版，并要求它用 Python 编写贪吃蛇；显示速度约为每秒 77 个 token。实际结果取决于模型、量化方式和硬件。

用户可以在托管服务与本地推理之间选择，两者在性能和数据处理上各有差异。配置为本地执行时，提示词可以保留在机器上，但应用程序和连接的功能仍会影响数据处理。我还提到 Ollama 是另一种本地选择。