使用 Mixtral 的 Groq 高速推理演示

摘要

30 秒看懂

在这段 2024 年 2 月的短片中，Matthew Berman 使用 Mixtral 8x7B 体验 Groq 的定制硬件推理服务。界面显示，一次 Python 贪吃蛇游戏代码回答的生成速度约为每秒 418.55 个 token。这只是一次历史演示，并非对模型质量、延迟或服务商吞吐量的受控比较。视频没有披露赞助。

1推理速度Berman 说他听闻 Groq 能达到每秒约 500 个 token；速度取决于模型和工作负载。
2贪吃蛇游戏请求界面显示，一次 Python 代码回答的生成速度约为每秒 418.55 个 token。
3定制硬件Berman 将服务速度归因于定制硬件，并讨论创始人在 Google TPU 方面的背景。

要点建议

Berman 展示的一次 Mixtral 回答报告了每秒 418.55 个 token 的速度。
他提到的每秒约 500 个 token 是另一项说法，不是这次回答的测量速度。
输出 token 速率、首个 token 的等待时间和总响应延迟是不同的指标。
视频没有测试生成的贪吃蛇游戏是否正确运行。
Groq 后来弃用了该 Mixtral 模型 ID，不能假定当时的免费访问仍然有效。

主题Inference AI cost & performance Semiconductors

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

速度演示

Berman 解释推理速度为何对应用重要，并请求用 Python 编写贪吃蛇游戏。他读出了界面显示的输出速率。

我刚发现 Groq，听说其推理速度约为每秒 500 个 token，让我印象深刻。更快的输出可能让语言模型应用的响应更流畅，不过速率取决于模型、工作负载和测量方法。这段短片发布于 2024 年 2 月，没有披露赞助。

我让服务用 Python 编写一个贪吃蛇游戏。我说回答大约用了两秒半；这个例子中屏幕显示每秒 418.55 个 token。这是界面报告的单次生成速率，与首个 token 的等待时间或端到端延迟不同；视频没有运行或验证游戏。

硬件与访问

Berman 提到 Groq 的定制硬件和创始人。他关于免费访问的说法反映了视频发布于 2024 年时的情况。

幻灯片 1 / 1界面显示的 token 生成速率界面显示演示中的回答每秒生成 418.55 个 token。

Groq 使用定制推理硬件。其创始人 Jonathan Ross 曾参与 Google TPU 的工作，而 TPU 是团队开发的。我对产品评价积极，并说当时可以免费试用 Mixtral 8x7B 32K 服务。可用性和条款可能变化：Groq 后来[弃用了该模型 ID](https://console.groq.com/docs/deprecations)，因此 2024 年的例子并不能保证当前服务状况。