测试 DeepSeek R1 的编程、推理与敏感问题回答

原标题DeepSeek R1 Tested on Coding, Reasoning and Sensitive Questions

Matthew Berman 在云端 GPU 上运行完整 R1 模型,测试游戏编程、推理谜题和政治敏感提示词。

MBMatthew Berman主持 · Forward Future
频道
Matthew Berman
发布
2025年1月22日
视频
15:10
阅读
4 分钟
幻灯片
4
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

2025 年 1 月,Matthew Berman 使用视频赞助商 Vultr 提供的基础设施,通过 Open WebUI 测试 DeepSeek R1。他发现生成的贪吃蛇和俄罗斯方块游戏可以运行,几道推理题的回答也令他满意;随后,他观察到模型拒答天安门相关问题,并对台湾问题给出片面回答。这些是单一配置下的个别观察,既不是全面基准测试,也不能证明模型或托管技术栈究竟如何产生这些回答。

  1. 1云端硬件上的完整 R1Berman 使用赞助商提供的 Vultr 部署和 Open WebUI;开发者报告模型总参数为 6,710 亿,激活参数为 370 亿。
  2. 2生成贪吃蛇在 Berman 的单次尝试中,模型生成了可玩的 Python 贪吃蛇游戏。
  3. 3长时间回答后的俄罗斯方块生成的游戏能运行并消除行,但没有计分或下一个方块的预览。
  4. 4单位换算谜题在 Berman 的例子中,模型将毫米换算为厘米,并考虑信封的放置方向。
  5. 5敏感话题测试所测部署拒答一个历史问题,并就台湾给出片面回答;Berman 对其机制的猜测仍未得到证实。

要点建议

  1. 完整版 DeepSeek R1 是混合专家模型,总参数量为 6,710 亿,每个 token 约激活 370 亿参数。
  2. Berman 在赞助商 Vultr 提供的八颗云端 GPU 上运行模型,并观察其生成的推理文字。
  3. 他单次生成的贪吃蛇和俄罗斯方块都能运行,但后者缺少计分和下一个方块的预览。
  4. 几道逻辑题获得通过,但规模小且主观的测试不能证明模型表现完美。
  5. 敏感话题结果只展示了该配置对特定提示词的回答,不能确定行为的确切来源。
全文

按章节阅读整理后的全文

只看原始文稿
01

配置与游戏编程

Berman 介绍赞助商提供的云端配置,查看 R1 生成的推理文本,并尝试生成贪吃蛇和俄罗斯方块程序。

我正在用自己常用的一组提示词测试完整版 DeepSeek R1 推理模型。Vultr 赞助了这期视频,并提供演示使用的云端 GPU。完整版模型总参数量为 6,710 亿;DeepSeek 报告称,在其混合专家架构中,每个 token 约激活 370 亿参数。

模型在云端机器上通过 Open WebUI 运行,而不是使用 DeepSeek 自己托管的聊天界面。作为基本检查,我问 “strawberry” 里有多少个字母 R。模型在思考标签内显示文本,并正确回答有三个。

用可见推理统计字母
幻灯片 1 / 4用可见推理统计字母画面中的推理逐个检查 “strawberry” 的字母。

我觉得这些可见的来回推敲很有意思,因为生成的文字会重新检查答案。在我看来,它读起来像人类的内心独白;不过,单凭文字不能证明内部过程与人类相似,也不能证明每段解释都忠实反映了答案的产生过程。

第一道编程题,我要求用 Python 编写贪吃蛇。R1 先概述使用 Pygame 的方法,然后输出代码和说明。我把程序复制到本地编辑器运行:演示中移动、计分和重启功能似乎都正常,因此我判定通过。

生成的贪吃蛇代码
幻灯片 2 / 4生成的贪吃蛇代码Berman 在编辑器中运行模型生成的 Python 和 Pygame 代码。

接着我要求编写俄罗斯方块,这是我个人测试中更难的一题。模型花时间规划方块、碰撞和旋转,然后生成了一个 179 行的程序。我对它考虑边界情况的方式印象深刻,但这只是一次输出,并非模型间的受控比较。

生成几分钟后,我运行程序。方块出现,填满的行也会消除;我注意到它没有计分,也没有下一个方块的预览。由于核心玩法在我的简短测试中能运行,我仍然判定通过。

生成的俄罗斯方块演示
幻灯片 3 / 4生成的俄罗斯方块演示游戏在窗口中运行,但 Berman 指出它缺少计分和下一方块预览。

画面中由 Vultr 赞助的系统有 128 个 CPU 核心和八颗 AMD Instinct GPU,每颗拥有 192 GB 显存。这只是本次运行所用的硬件,并非 R1 或更小的蒸馏模型唯一可用的配置。视频提到的优惠是 2025 年 1 月的活动。

02

逻辑与数字谜题

他测试信封尺寸、自指词数、杀手、弹珠和小数比较。通过与否是他对单个示例的判断。

在邮寄信封谜题中,模型将 200 × 275 毫米的信封换算为 20 × 27.5 厘米,并考虑如何根据给定的最小和最大尺寸调整方向。它得出信封符合要求的结论;针对提示词给出的尺寸,我判定通过。

信封尺寸与单位换算
幻灯片 4 / 4信封尺寸与单位换算模型考虑示例谜题中的尺寸和方向。

我提出一个自指问题:回答中有多少个词?模型考虑了几种表述,给出一个七词句子,后面还有解释。我把这个句子当作答案,因此判定通过;但如果统计整个回答,判断可能不同。

在三个杀手的谜题中,模型推理说,进入房间并杀死原有三人之一的人也成了杀手。它回答有三名活着的杀手,同时讨论了是否把死者计入可能存在的歧义。我喜欢它展示的推理考虑了假设,而不只是给出数字。

模型还回答了倒扣玻璃杯和弹珠的谜题:按照通常假设,杯子被拿起移走时,弹珠仍留在桌上。在小数比较中,它把 9.9 写成 9.90,正确判断 9.9 大于 9.11。

03

敏感话题与结论

Berman 在该部署中测试政治敏感问题及另一条安全相关提示词,最后进行句子生成测试并给出总体评价。

接着我在这个自行部署的环境中测试政治敏感问题。模型拒答有关天安门广场的问题;被问及台湾时,它给出了反映中国政府立场的片面回答。这些是针对特定提示词的输出,不能全面评价模型的政治行为。

我曾听说限制可能只存在于托管服务中,但这个部署也产生了拒答。由于画面中的思考部分为空,我猜测台湾问题的回答可能是硬编码的。演示不能确定这种行为来自模型训练、提示词、服务软件还是配置中的其他部分。

我又用另一条关于实施犯罪的请求作比较,观察到模型似乎愿意回答。拒绝提供有害操作说明属于安全行为,并不自动意味着推理失败;单条提示词也无法确定模型的整体安全表现。

最后一条提示词要求生成十个以 “apple” 结尾的句子,画面中的结果满足这一要求。这些选定测试和可见推理让我印象深刻。我将表现称为完美,只是对少量样本的个人评价,并非全面测量。

同频道的其他文章

12 张幻灯片34:21EN → 简体中文
Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构,并质疑 AI 快速发展与安全之间的张力。AnthropicAI Safety企业 AI+2
0:26EN → 简体中文
Matthew Berman· 2026年10月25日Sam Altman 谈 AI 世界中的人类价值与问题解决Sam Altman · OpenAI在一段简短的访谈摘录中,Altman 思考解决难题的乐趣,以及人在解读结果时的作用。Human-AI CollaborationFuture of WorkAI Strategy
2 张幻灯片0:36EN → 简体中文
Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原,并对 Kimi K3.1 的测试给予积极评价。评估编程智能体Open-weight models
2 张幻灯片0:21EN → 简体中文
Matthew Berman· 2026年10月24日AI 生成的 Kimi 基准图表使用了虚构分数Matthew Berman · Forward FutureMatthew Berman 要求生成一张 Kimi K3.1 Pro 基准图表,随后发现图中的数字只是示意性占位值。Benchmarks评估Generative media
6 张幻灯片25:50EN → 简体中文
Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。Open-weight modelsBenchmarksAI cost & performance+1
2 张幻灯片32:20EN → 简体中文
Matthew Berman· 2026年10月23日本地 AI 究竟适合谁?成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权,与硬件成本、设置复杂度及推理速度之间的关系。Local inferenceOpen-weight modelsAI cost & performance+1