30 秒看懂
2023 年 4 月，Matthew Berman 测试运行基于 LLaMA 30B 的 OpenAssistant 模型的 HuggingChat。他认为写作和一道简单排序题的表现令人鼓舞，但生成的贪吃蛇游戏和算术答案均未成功。 对照测试中的几个提示也难住了 GPT-3.5，而 GPT-4 算对了那道算术题。这些非正式示例不能确立模型的整体排名；原始 LLaMA 权重受到许可限制。
- 1早期聊天界面HuggingChat 展示了基于 LLaMA 30B 的 OpenAssistant 模型和示例提示。原始 LLaMA 许可限制了分发和商业使用。
- 2贪吃蛇代码需要修复Python 游戏缺少部分内容或存在拼写错误，Berman 尝试调试时未能成功运行。
- 3推理成功，算术失败HuggingChat 正确排列 Sally、Nick 和 Joe 的快慢顺序，却在另一道算术题中给出了错误答案。
- 4与 GPT 比较这些示例中，GPT-3.5 也未能完成算术和贪吃蛇任务，而 GPT-4 答对了算术题。
- 5错误的逻辑反例GPT-3.5 给出的例子与 Nick 比 Joe 快这一原始前提相矛盾。
要点建议
- 早期 HuggingChat 界面显示的是基于 LLaMA 30B 的 OpenAssistant 模型；底层 LLaMA 权重受到许可限制。
- 在此次演示中，HuggingChat 写出了看似合理的短文，并正确回答了一道简单的传递性排序题。
- 主持人的尝试中，HuggingChat 和 GPT-3.5 都未能提供可玩的贪吃蛇游戏。
- 算式 34 × 56 + 109 + 5 的结果是 2,018；演示中的 GPT-4 答对了。
- 2023 年的少量提示无法证明模型当前表现或确立全面排名。
按章节阅读整理后的全文
HuggingChat 与简短写作
Berman 介绍了界面及其当时使用的 OpenAssistant 模型。诗歌生成得很快，但这种速度印象并非经过测量的比较。
2023 年 4 月，我正在试用 HuggingChat。这是 Hugging Face 的聊天界面，运行基于 LLaMA 30B 的 OpenAssistant 模型。界面与 ChatGPT 相似，并列出了当前使用的模型。我想看看它与 GPT-3.5 相比如何，不过几个提示只能提供有限的观察。
Hugging Face 托管机器学习模型、数据集和软件库；这里我关注的是它的聊天应用。我将这个项目称为开源，但原始 LLaMA 模型受到许可限制，包括分发和商业使用方面的限制。不能假定界面和底层模型使用相同许可。
首先，我要求它写一首约 50 词的 AI 诗歌。回答很快出现，尽管有大小写问题，读起来仍相当不错。我感觉它比我用过的模型更快，但没有在受控条件下测量速度。
测试 Python 贪吃蛇游戏
Berman 将生成的游戏复制到编辑器。缺失的导入、缩进及命名问题使演示未能成功运行。
接下来，我选择了编写 Python 贪吃蛇游戏的示例提示。HuggingChat 生成了格式化代码，但回答似乎不完整，还存在拼写问题。我试过的许多模型都难以编写较长的代码，因此我把输出复制到 Visual Studio Code，看看能否运行。
代码缺少 random 导入，我还发现缩进和方法名问题。我尝试了几处修复，但游戏仍然无法运行，于是停止调试。它生成了一个相当完整的起点，但这个例子还达不到可玩的程度。
邮件、食谱、推理和算术
Berman 在测试算术前，先尝试日常写作和一道推理题。模型答对了排序题，却没有算对算术题。
我接着尝试示例中的邮件写作：一位餐厅老板向供应商请求每周供应产品。快速浏览后，回答看起来像一封专业邮件。我还要求它提供柠檬芝士蛋糕食谱，觉得生成的食材和步骤似乎合理，但并没有实际制作或独立核实食谱。
推理测试中，我问：如果 Sally 比 Nick 快、Nick 比 Joe 快，Sally 是否比 Joe 快？HuggingChat 正确回答了“是”，因为这种比较具有传递性。这只是一道简单题，并非对推理能力的广泛测量。
算术题是 34 乘 56，再加 109 和 5。HuggingChat 最初要求澄清，随后声称自己无法计算；我加上括号后，它给出 2,158。这个答案不正确，算式的结果是 2,018。
比较 GPT-3.5 与 GPT-4
Berman 用 GPT-3.5 重复部分任务，并用 GPT-4 测试算术。这些例子展示了不同错误，并非系统评估。
我用 GPT-3.5 重复算术提示。它在这几次尝试中先后回答 1,928 和 2,013，对于完整算式都不正确。演示中 GPT-4 花了更长时间，但展示的第一次尝试就算对了；这不是一项受控的速度或准确率研究。
我也让 GPT-3.5 编写贪吃蛇游戏。第一份输出出现缩进错误，于是我把错误信息反馈给它并尝试修改版。在我的测试中，程序仍未成为可玩的游戏，所以我认为两个模型在这个例子中的尝试都失败了。
最后，GPT-3.5 答错了 Sally、Nick 和 Joe 的问题。它举出的反例让 Joe 的时间比 Nick 更快，与 Nick 比 Joe 快的前提矛盾。HuggingChat 在这个提示上答对了，但这些 2023 年的孤立例子不足以对两个系统进行整体排名。
同频道的其他文章
14:45EN → 简体中文
Matthew Berman· 2026年10月29日Matthew Berman 解读 Google 的 Gemini 4 Carbon 公告Matthew Berman · Forward FutureMatthew Berman 回顾 Google 公布的 Gemini 4 Carbon 基准结果、分阶段开放计划与定价，同时指出自己尚未使用该模型。
34:21EN → 简体中文Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构，并质疑 AI 快速发展与安全之间的张力。
0:26EN → 简体中文Matthew Berman· 2026年10月25日Sam Altman 谈 AI 世界中的人类价值与问题解决Sam Altman · OpenAI在一段简短的访谈摘录中，Altman 思考解决难题的乐趣，以及人在解读结果时的作用。
0:36EN → 简体中文Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原，并对 Kimi K3.1 的测试给予积极评价。
0:21EN → 简体中文Matthew Berman· 2026年10月24日AI 生成的 Kimi 基准图表使用了虚构分数Matthew Berman · Forward FutureMatthew Berman 要求生成一张 Kimi K3.1 Pro 基准图表，随后发现图中的数字只是示意性占位值。
25:50EN → 简体中文Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测：3D 演示出色，表现不一，价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力，并比较基准成绩与价格。