在 h2oGPT 中测试托管版 Falcon 40B 和文档对话

在此前的一次评测中，我觉得 Falcon 40B 太慢，难以顺畅测试。现在 H2O.ai 推出了托管版 h2oGPT 实现，感觉快了很多，所以我打算试一试，并展示一个文档对话界面。这是 2023 年 6 月的演示；文中提到的服务、模型、价格和排行榜名次可能已经变化。

H2O.ai 提供 AI 工具；在视频录制时，其托管的开放模型可免费试用。这里的重点是 h2oGPT 界面；该公司还有用于微调的 LLM Studio，我打算留到另一段视频再讲。Falcon 本身由 Technology Innovation Institute 开发，H2O.ai 托管并改造了其中一个版本。

当时的界面提供 Falcon 7B、Falcon 40B 和 OpenLLaMA 7B。较小的 Falcon 速度很快，但我选择 40B 模型进行惯常的非正式测试。该模型最近曾在一个开放模型排行榜上名列前茅，但这是特定时间的结果，不能保证它在每项任务上都有好表现。

首先，我要求一个打印 1 到 100 的 Python 脚本。快速检查后，它看起来合理，不过我没有在演示中执行。界面会格式化代码，并提供复制按钮、对话分享和反馈控件。

接下来，我要求用 Python 编写贪吃蛇游戏。回答写到一半就停止，可能是达到了响应长度限制；要求继续也没有成功完成代码。我将这项测试判为失败。本次体验中，它给我的速度印象介于 GPT-3.5 和 GPT-4 之间；这不是受控速度基准测试。

我要求一首恰好 50 词的 AI 主题诗。我喜欢生成结果，在诗歌质量上给它通过，但我数出共有 97 词，因此它明显没有满足明确的长度限制。评价模型遵循指令的能力时，这一区别很重要。

模型写出了一封我认为令人满意的正式辞职邮件。它还正确指出 1996 年的美国总统是 Bill Clinton，并补充了其任期背景。这些是个别例子，并非对写作或事实准确性的系统评测。

我测试了一个关于闯入汽车的请求。回答警告不要未经授权进入，但也提到一些可能的方法，因此我不展示细节。一次回答不能确定模型的整体安全表现，也不足以支持模型完全没有审查的笼统说法。

在晾衬衫的谜题中，我问如果五件衬衫需要四小时晾干，那么 20 件需要多久。模型错误地通过乘法得出 80 小时。如果所有衬衫能在相同条件下同时晾干，预期答案是四小时；题目中的实际条件并未明确说明。

第二项推理测试中，Jane 比 Joe 快，Joe 比 Sam 快。模型说 Sam 不可能比 Jane 快，接着却自相矛盾地说无法确定答案。它答对了四加四，但我认为它对一道更复杂的运算顺序题的回答有误。

模型给出了一份合理的健康膳食计划，格式略显别扭。当被问到下一条回复会有多少词时，它泛泛谈论回答长度，而没有给出数字。这些结果体现了遵循指令的不同问题，并不能汇总为一个整体分数。

在一个房间里有多少杀人者的谜题中，模型回答剩下两人。我不接受这个答案，因为进入房间并杀人的人也成了杀人者。题目对于死者是否算作仍留在房间里存在歧义，因此数量取决于统计的是活着的杀人者，还是包括所有尸体。

模型指出当前年份是 2023 年，并在比较政党的问题上将判断描述为主观的。我接受这一回答。但在被要求用项目符号总结一本 Harry Potter 书的前六页时，它主要讨论 Mr. Dursley，所以我认为摘要不完整。

最后，我切换到 H2O.ai 独立的文档对话界面，它使用 Gradio。数据来源区域接受上传文件、URL 和 arXiv 链接。我添加了论文“Attention Is All You Need”，选择自己的数据集合，然后请求总结其 Transformer 实现。

答案介绍了 Transformer，但仅凭这次演示，我无法判断它是否真的依赖所提供的论文，还是使用了模型已有的知识。文档对话的答案应与原始来源核对。视频只展示了一个例子，并非对检索质量的全面测试。