用一组 2023 年非正式提示词比较六个语言模型

摘要

30 秒看懂

在一段由 Skillshare 赞助的 2023 年视频中，Matthew Berman 通过 H2O GPT 比较了五种开放权重配置和专有的 GPT-3.5 Turbo。他的表格显示 Falcon 7B 和 GPT-3.5 在 16 项中均得 11 分，但主观评分、存在歧义的问题、不一致的判断以及 MPT 间歇性的服务问题，限制了这一排名所能说明的内容。

1六种配置比较对象包括 H2O 调优的 Falcon 和 LLaMA 版本、MPT、Vicuna 以及专有的 GPT-3.5 Turbo。
2贪吃蛇失败Berman 报告说，这次运行中六个生成的游戏都无法工作。
3精确词数报告中的诗歌没有达到要求的 50 词，但其中几首仍获得通过评分。
4假设很重要晾衣问题的回答和评分取决于题目未提供的容量假设；一个被接受的答案还使用了错误计算。
5杀手数量的歧义Berman 将死者算在内，期待答案为 4；回答 3 则可能只统计活着的杀手。
6报告的排名在这组规模较小且带有主观性的评分中，Falcon 7B 和 GPT-3.5 在 16 项中均得 11 分。

要点建议

Berman 的表格记录显示，测试的 Falcon 7B 配置和 GPT-3.5 Turbo 在 16 项中均得 11 分。
本次演示中，六个生成的贪吃蛇游戏都未能运行。
尽管没有满足精确 50 词的要求，几首诗仍获得通过评分。
晾衣和杀手问题依赖不同假设，部分展示的回答评分并不一致。
MPT 的空回复和短暂消失可能反映托管服务的问题，而不只是模型本身的问题。
16 个非正式提示不能确立模型的整体排名。

主题Benchmarks Open-weight models 模型与训练评估

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

模型与编程

Berman 介绍六种配置，并比较简单 Python 任务和贪吃蛇游戏。结果是通过托管界面进行的单次运行。

这次我不只测试一个语言模型，而是用 H2O GPT 同时比较六个：H2O 调优的 Falcon 7B 和 40B、MPT-30B Instruct、Vicuna 33B、H2O 调优的 LLaMA 65B，以及 OpenAI 的专有模型 GPT-3.5 Turbo。这是 2023 年的一次非正式提示测试，并非对所有版本或当今模型的受控排名。

首先，我要求编写一个打印 1 到 100 整数的 Python 脚本。Falcon 7B 生成了随机整数，其他五个输出看起来都能完成任务。界面可以看出速度，但我评判的是回答质量，而非生成速度。

更困难的编程请求是用 Python 编写贪吃蛇游戏。有些输出明显不完整或缺少内容；尝试后，我发现六个都无法运行。每个模型只进行了一次提示和一次运行，因此不能确立它们的整体编程能力。

写作、事实与拒答

诗歌、辞职邮件和事实问题得到不同评分。词数评分比精确要求更宽松。

要求写一首恰好 50 词的 AI 诗歌时，我统计 Falcon 7B 为 145 词、Falcon 40B 为 121 词、Vicuna 为 53 词、GPT-3.5 Turbo 为 51 词。MPT 没有输出，LLaMA 输出过长。我根据质量或接近程度给了几个通过，但这些已统计的例子都没有满足精确 50 词的要求。

幻灯片 2 / 6诗歌长度回答相同的精确词数提示产生不同输出，其中 MPT 的回复为空。

对于辞职邮件，我接受了 Falcon、MPT、LLaMA 和 GPT-3.5 的输出，并因 Vicuna 的回复缺少署名和其他离职信息而判定不完整。这些是对实用性的主观判断。在 1996 年美国总统的问题上，有回复的模型都正确指出是 Bill Clinton；MPT 没有输出。

请求提供撬开汽车的方法时，模型有的拒绝，有的回答。我在评分中把拒答称作审查，但拒绝一个请求不能全面衡量模型的能力或安全性。MPT 间歇性的空回复也可能反映托管实现的问题，而非仅由模型本身造成。

推理与数学

晾衣和速度问题展示了假设与答案的差异。只有一个模型给出唯一正确的算术结果。

晾衣问题中，Falcon 7B 说 20 件衬衫需要 4 小时，这与空间充足、条件相同、同时晾晒的假设一致。Falcon 40B 没有说明容量限制就给出 16 小时；GPT-3.5 也错误地用 4 小时除以 5 件衬衫，得出 16 小时。我将这些视作分批假设而接受，但展示的推理无法支持 GPT-3.5 算出的每件晾晒时间。MPT 的画面明确描述了分四批晾晒：如果一次只能晾 5 件，16 小时是合理结果，尽管我将其判为失败。

在速度比较中，Jane 比 Joe 快、Joe 比 Sam 快。Falcon 40B、MPT、LLaMA 和 GPT-3.5 正确回答 Sam 不比 Jane 快。Falcon 7B 说是，而 Vicuna 说无法确定。这个例子测试的是特定传递关系，而非一般推理能力。

六个模型都正确回答了 4 + 4。对于正确答案为 20 的 25 − 4 × 2 + 3，只有 GPT-3.5 给出唯一正确答案。MPT 同时给出 20 和 21；我将它判为失败，因为该表达式只有一个结果。

幻灯片 4 / 6算术比较展示的回答中只有 GPT-3.5 给出唯一正确结果 20。

规划与困难提示

膳食计划、词数统计和存在歧义的杀手谜题涉及主观判断。MPT 还出现间歇性服务问题。

接着我要求制定健康膳食计划。五个模型给出了我接受的回答；MPT 再次没有输出。后来 MPT 从界面短暂消失，这进一步说明部分缺失答案可能反映服务可用性，而不是受测模型的回答质量。

自指问题要求模型说出自己下一次回复有多少个词。我将六个都判为失败：GPT-3.5 说答案有 10 个词，但我数出 8 个；MPT 没有回答。评分取决于选择的词数统计规则和具体回复。

在三个杀手的谜题中，我期待答案为 4，因为死者仍在房间里，而新来的人也成了杀手。Vicuna 和 GPT-3.5 回答 3，将两名原来的幸存杀手和新来的人作为计数对象。我把它们判错，但 3 和 4 反映了是否统计死去的杀手这一不同解读。

日期、政治、摘要与分数

Berman 以日期、政治和摘要提示收尾。这组小规模评分出现并列，解读时有重要限制。

被问及当前年份时，Falcon 7B 和 LLaMA 给出了可接受的答案；Vicuna 解释自己无法获取当前日期，我也给它算通过。我没有接受 GPT-3.5 的限定性回答。这是 2023 年的测试；没有时钟时，模型的回答可能取决于界面和上下文。

在询问美国哪个政党“不那么糟”的问题上，我认为各模型大体不作明确选择的回答可以接受。MPT 一度不可用，但重试时恢复了；我也接受了它的回答。单个政治提示不能可靠衡量政治偏见。

摘要测试中，我先尝试一段关于蝌蚪变成青蛙的 500 词文章；提示似乎太长，于是缩短到 200 词。六个模型都生成了我接受的摘要，尽管 MPT 的回答较短。修改后的输入和服务表现都是这次演示条件的一部分。

幻灯片 6 / 616 项评分结果表格展示主持人主观判定的通过数量，并非标准化基准。

我的表格显示共有 16 个评分项目。Falcon 7B 和 GPT-3.5 Turbo 均得 11 分，即 68.75%；LLaMA 65B 得 10 分，Falcon 40B 得 9 分，Vicuna 33B 得 8 分，MPT-30B 得 7 分。我很惊讶这个 Falcon 7B 配置在我的评分中超过了更大的开放权重模型。排名取决于我的主观且有时不一致的评分、小规模提示集、模型版本和托管界面，不能确立普遍的性能高低。