CES 2025 见闻：在 RTX 5090 上运行 DeepSeek R1 蒸馏模型

这是我第一次参加 CES，我很高兴看到这么多以 AI 为中心的技术。NVIDIA 邀请我参展，支付了我的酒店费用，还赠送了一块 RTX 5090，我把它装进了身旁的电脑。NVIDIA 是本期视频的合作方。逛完展会后，我会用这块显卡在本地运行 DeepSeek R1 蒸馏推理模型。

巨大的农业设备唤醒了我的童心：一辆自卸卡车的轮胎比我还高。John Deere 展示了配备多组摄像头和传感器的自主机器。看到 AI 应用于农业让我很兴奋，这些设备由 NVIDIA 技术驱动。

CES 为自动驾驶车辆设了很大的展区，其中包括 Waymo。我来自洛杉矶郊区，因此在家附近很少看到它的车，不过最近在旧金山到处都能看到。Unitree 还展示了四足和人形机器人，展会上也有许多其他机器人。

在 NVIDIA 举办的编辑日活动上，大约 100 至 200 名受邀者提前看到了包括 RTX 5090 在内的新技术。NVIDIA 还展示了 build.nvidia.com 上的 Blueprints：开发者可以扩展的应用框架。我看到了涉及 CrewAI 和类似 NotebookLM 应用的示例，可以选择本地运行，也可以使用 ElevenLabs 语音等服务。

一项演示展示了 Windows 助手，它能回答关于屏幕内容的问题并执行电脑操作。当有人问当前打开的是什么应用时，它识别出了 Adobe Photoshop 和一张名为 night market.PSD 的图片。

另一项演示结合 Blender 和 ComfyUI，用 3D 场景引导图像生成。演示者解释说，一个简单场景可以引导构图，而修改文本提示词则能生成不同的环境，例如威尼斯运河。艺术家因此可以探索创意方向的变化，而无需重新构建构图。

另一个项目让我想起 The Sims：AI 驱动的角色生活在一个 3D 世界中。这也让我想起一项较早的模拟人类研究。有人告诉我，这个项目可以下载并在本地运行。

我还谈到自己的理解：在 RTX 5090 上，生成式 AI 可以在传统渲染的帧之间生成额外的帧。我对技术细节并不确定。NVIDIA 将 DLSS Multi Frame Generation 描述为使用 AI 生成额外帧；这是一种帧生成技术，并不能证明它取代了光线追踪本身。

我认为，游戏和软件最终可能变得更具预测性，由 AI 基于 CRUD 数据库运行，而非依赖传统游戏引擎。这是我对一种可能的未来所做的预测，而不是在 CES 上展示的架构。

这次本地测试使用的 RTX 5090 配备 32 GB 显存。我下载了两个 GGUF 模型：约 4.92 GB 的 DeepSeek-R1-Distill-Llama-8B 和约 18.71 GB 的 DeepSeek-R1-Distill-Qwen-32B。两者都使用 Q4 量化，在我的配置中，计算完全卸载到 GPU。

我要求 8B 模型用 Python 编写 Tetris。它在生成代码前先对任务进行推理。显示的运行结果为每秒 79.15 个 token、总计 2,232 个 token，首个 token 耗时 0.03 秒；我说自己曾见过每秒高达 90 个 token。我展示了生成的回答，但在这次演示中没有运行或验证游戏。

我加载 32B Qwen 蒸馏模型，并给它相同的提示词。它的速度较慢，我在观察生成过程时估计它每秒生成 40 至 50 个 token；这不是界面显示的完整基准测试结果。我喜欢能够下载模型并在本地运行。本地处理可以减少对远程服务的依赖，但隐私和安全取决于软件、连接及配置。