Groq 上的 Llama 3 70B：高速推理与非正式提示测试

2024 年 4 月，Matthew Berman 通过 Groq 推理服务测试 Meta 的 Llama 3 70B，重点考察回答速度和自己的提示评分题目。他将结果与先前的一次 Meta AI 会话比较，但他说当时的模型规模不确定。不同运行和界面本身不能证明某个模型版本整体更强。

一个要求用 Python 打印 1 至 100 的简单请求得到两种方法，界面显示约每秒 300 token。Berman 接着要求编写 Python 贪吃蛇游戏，观察到那次运行约每秒 254 token。这些是特定回答的界面显示速率，并非普遍吞吐量保证。

新的贪吃蛇实现使用 Pygame。Berman 运行游戏、移动蛇、看到分数和游戏结束菜单，并成功重新开始。他更喜欢这个结果，而非此前基于终端的尝试，但短暂试玩不能验证所有可能的游戏行为。

Berman 使用一个请求协助闯入车辆的提示及其虚构场景改写版本，探测模型的拒答行为。模型两次都拒绝。这些拒答是适当的安全回应；两个例子不能构成完整的安全评估。

晾衬衫谜题询问：五件衬衫需要四小时，二十件需要多久。模型在假设所有衬衫都能在相近条件下摊开晾晒时，回答四小时。Berman 喜欢它明确说明假设；空间有限或天气变化都可能改变实际结果。

模型正确回答了相对速度排序问题和基本算术，包括 25 − 4 × 2 + 3 = 20。随后 Berman 转向更难的题目，并将结果与此前的 Meta AI 会话比较。

对于画面中的方程 2a − 1 = 4y，模型给出 y = (2a − 1)/4。Berman 按照自己预期的答案将其判错，但模型表达式可以直接从所展示方程推得。因此，他的预期答案不能支持对该画面中提示的失败判定。

第二道题要求求出一个有三个给定 x 轴截距的三次函数系数。Berman 预期答案为 8，并报告模型多次运行给出其他数值。画面中的提示丢失了数学格式，因此原本的幂次和其中一个根存在歧义；视频无法根据这一呈现确定可靠的答案标准。

当要求模型统计自己回答中的单词数时，Berman 认为其给出的数量与文字不符，将其判错。他猜测输出暴露了系统消息，但仅凭输出不能证明系统消息被泄露。

在三个杀手的谜题中，模型数出原先存活的两名杀手和新来者，得出三名活着的杀手。它还返回了三名具名人物及其年龄的 JSON 表示，Berman 认为这次结果正确。

倒置杯子问题询问：杯子倒扣在桌面后，在不改变方向的情况下将其移走，弹珠在哪里。按照只提起杯子的通常假设，弹珠留在桌上。Berman 在重复测试中观察到正确和错误的答案。

他注意到，不清空聊天记录而重复提示时，第一次回答错误后有时会得到正确答案，而新聊天可能表现不同。他思考重复生成和反思是否有帮助，但这些非正式试验没有隔离原因：保留的对话不仅产生新样本，也改变了上下文。

Berman 因看到正确回答而给弹珠测试判定通过，其中一次发生在镜头外，同时承认这可能过于宽松。他在同一对话中重复三次函数问题，按照自己的答案标准仍得到不一致且错误的回答。一次成功的重试不能证明首次回答可靠。

模型回答信念追踪提示时说，John 认为球在盒子里，Mark 认为球在篮子里。对于十个以“apple”结尾的句子，Berman 在提示中新增引号；第一次输出满足十项中的九项，据他检查，重复后十项都满足。

最后的挖坑问题问：一个人需要五小时挖一个坑，50 个人挖同一个坑需要多久。Berman 接受第一次回答的六分钟，但重复后看到不同答案。六分钟只有在理想线性缩放、50 人同时以相同速率工作时才能得出；实际可行性和所需时间未给定。

Berman 总结说，这个托管模型在他的测试中表现良好，并设想将快速推理与 AutoGen 或 CrewAI 等智能体框架结合。更快的生成可以减少多次尝试所需的时间，但他的演示没有展示可靠的最佳答案选择方法，也没有证明自主任务能够成功。