GPT-4 发布时的对比测试：GPT-4 与 GPT-3.5

GPT-4 刚刚发布，我想阅读 OpenAI 的公告，并将它与 GPT-3.5 比较。OpenAI 表示新模型具备更强的通用知识和解决问题能力；我将这些视为发布声明，然后尝试几个例子。

公告展示了涉及三个人日历的日程安排问题。在展示的例子中，较旧模型提出的时间并非所有人都有空，而 GPT-4 找到了共同可用的半小时窗口。这是一个说明性示例，而非全面比较。

OpenAI 还报告了估计考试百分位：GPT-4 在统一律师资格考试中约处于第 90 百分位，具备视觉能力的 GPT-4 在生物奥赛中约处于第 99 百分位；GPT-3.5 的所报告成绩较低。这些是公司测试条件下的基准估计，并非取得专业执照或具备普遍专业能力的证据。

OpenAI 表示，在其内部评估中，与 GPT-3.5 相比，GPT-4 响应不允许请求的可能性降低了 82%，生成事实性回答的可能性提高了 40%。前一个数字是相对下降幅度，而非 82% 的响应概率。公司还介绍了人类反馈及 50 多位专家提供的意见。

我回顾早期集成。Duolingo 介绍了付费语言学习服务中的角色扮演和答案解释功能。AI 对话伙伴的可能性吸引我，但产品公告本身不能证明学习效果。

Be My Eyes 展示了一个视觉辅助示例：用户询问两件衬衫中哪件有红色条纹，GPT-4 指出了其中一件。该公司通常将盲人用户与人类志愿者联系起来；这个例子展示了一种可能的自动化辅助，并不保证图像描述始终正确。

OpenAI 列出的其他合作伙伴包括 Stripe、Morgan Stanley、Khan Academy 和冰岛政府。接着我在 ChatGPT 中并排打开 GPT-4 和 GPT-3.5。当时，这项演示中的 GPT-4 访问需要 ChatGPT Plus；可用性和价格可能变化。

在最初的比较中，两个模型都报告其知识截止于 2021 年 9 月。我尝试一个数列问题，两者都给出了相同的正确答案。这只是小规模非正式测试，并非统计评估。

第二道逻辑题中，Mayank 比 Gurjot 走得快，Lalit 比 Mayank 走得快。因此“Gurjot 比 Lalit 走得快”这一说法是错误的。在展示的例子中，GPT-3.5 回答错误，GPT-4 回答正确。

接下来我用涉及不法行为的请求比较越狱提示词。两个模型都展示了常规拒答，但在其他角色设定下的回答有所不同。这些个别回答说明措辞可以影响行为；它们不能确定模型的整体安全性，也不能可靠衡量抵抗越狱的能力。

我尝试了另一个越狱提示词，观察到两个回答尽管有警告和虚构设定，仍提供了不当内容。少数尝试只是个案，不应与 OpenAI 报告的内部评估结果混淆。

ChatGPT 界面用不同指标展示模型能力和速度。界面中可见的标签描述的是简洁程度，并非对意识的测量。随后我测试一个旅行规划问题：从美国西海岸飞往欧洲，途中在东海岸停留。

两个回答都建议搜索并比较多城市行程，而非给出唯一确定路线。我认为两者大致相似，其中一个更简洁。我计划进一步测试 GPT-4；这组简短示例不能证明通用人工智能已经实现，也不能证明它在各项任务中都可靠。