RouteLLM：在强模型和低成本模型之间路由查询

RouteLLM 是 LMSYS 及其合作者在 2024 年推出的开源框架，旨在降低使用语言模型的成本。我介绍它的方法并转述作者的研究结果。视频标题提到 GPT-4o，但这里讨论的主要实验使用 GPT-4 和 Mixtral 8x7B，而非 GPT-4o。

开头的图以模型性能对照成本，并标出了“理想路由器”。我把这个点描述成 RouteLLM，但它实际上展示的是期望的权衡，并非某个具体实现的实测结果。图中的性能使用 Chatbot Arena Elo，模型成本则假设输入和输出 token 数量之比为 1:1。

我设想未来的技术栈将路由、本地模型、智能体和前沿模型结合起来。目标是在低成本模型足够胜任时使用它，只在请求较难时调用更强的模型。这种架构只是一项提议；路由本身不会自动优化隐私、安全、能源或质量。

路由器必须判断低成本模型是否有可能妥善处理某个查询。我说自己的本地模型能处理大部分个人问题，但这是个人体验，而非普遍适用的实测比例。即便免去了按查询收取的 API 费用，本地推理仍有硬件、电力和维护成本。

研究人员使用偏好数据训练路由器：每条数据包含一个提示词，以及对两个回答的比较，标记为胜、负或平局。他们使用公开的 Chatbot Arena 数据，并用额外标签加以增强。视频讨论的设置为每个请求在强模型和较弱、较便宜的模型之间做出选择。

LMSYS 博客报告称，与始终使用 GPT-4 相比，在保留其 95% 性能的同时，MT Bench 的成本下降超过 85%，MMLU 下降 45%，GSM8K 下降 35%。原论文的成本表需要更精确地理解：在恢复弱模型与强模型之间一半性能差距的点上，这三个基准分数分别约为 GPT-4 分数的 95%、92% 和 87%。不应把这些数字当作统一的 95% 保证。

主要评估在 GPT-4 和 Mixtral 8x7B 之间路由，并将学习型路由器与随机基线比较。在 MT Bench 上，原论文报告称，使用评判模型标注数据增强后的矩阵分解路由器得分为 8.8，约为 GPT-4 的 9.3 分的 95%，同时仅将 13.4% 的请求发送给 GPT-4。随机基线在相同差距恢复点需要约 49% 的请求调用 GPT-4。

这一降幅指的是强模型调用比例；研究将其作为成本代理指标，因为它假设低成本模型相对于 GPT-4 的费用很小。实际总节省取决于模型价格、token 长度、路由开销和部署方式。论文成本分析使用了历史价格及 token 比例假设，不应将其节省表格直接套用于其他工作负载。

四种路由方法分别是相似度加权排序、矩阵分解、BERT 分类器和因果语言模型分类器。作者发现，用评判模型增强 Arena 偏好数据能改善 MT Bench 结果。他们还使用基准验证集标签增强 MMLU 数据；性能和最佳路由器因数据集而异。

为了测试泛化，研究人员在 MT Bench 上用相同的路由器评估另一组模型：以 Claude 3 Opus 为强模型，以 Llama 3 8B 为弱模型，且没有针对这组模型重新训练。该测试结果令人鼓舞，但不能证明每组模型或每种生产数据分布都能同样有效地迁移。

我对降低推理成本、让更多应用成为可能感到兴奋。多智能体系统和思维链等技术可能消耗额外 token，因此路由可能是更大设计中的一部分。它在特定系统中是否降低总成本或能源消耗，还需要测量，包括路由开销和质量失败的影响。

研究人员还发布了论文和代码。我欢迎人们能够检查并试验这个框架；选择阈值、模型和评估案例仍然是每个应用需要解决的实际问题。