Gorilla：用语言模型生成 API 调用

摘要

30 秒看懂

Matthew Berman 介绍了 UC Berkeley 和 Microsoft Research 开发的 Gorilla 模型，它经过训练，能够生成 API 调用。他设想了购物、预订等应用，并将其方法与 2023 年的 ChatGPT 插件作比较。论文评估的是一组范围明确的机器学习 API 和文档变更。生成调用本身并不能证明系统可以在任意网站上执行各种操作。

1用于工具调用的模型Berman 介绍了 Gorilla，这是一个旨在通过 API 调用使用外部工具的语言模型。
2插件与外部服务他将 2023 年的 ChatGPT 插件模式与这项研究解读工具文档的目标作了比较。
3适应文档变化Gorilla 的检索器可以提供相关 API 文档；实验展示的范围并不包括所有可能的在线操作。
4范围明确的评估论文报告了在 APIBench 上的 API 调用比较结果，该基准包含 Hugging Face、TorchHub 和 TensorHub 的 API。

要点建议

Gorilla 是一个经过微调的语言模型，旨在根据用户请求生成 API 调用。
文档检索器可以在推理时提供 API 文档，帮助模型适应经过测试的文档变更。
论文中的 APIBench 使用 Hugging Face、TorchHub 和 TensorHub 的 API，并不涵盖所有互联网服务。
Berman 提到的购物和旅行案例是设想中的应用，而非片中展示的实验结果。
论文报告称，在其评估中模型的 API 调用表现优于选定的比较模型；这并不能证明它在所有场景中都更强，也不能证明它拥有自主访问权限。

主题AI agents MCP 与工具 Benchmarks

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

工具使用为何重要

Berman 介绍 Gorilla，并举例说明他设想助手可以执行哪些任务。他将其与 ChatGPT 在 2023 年的插件方式作比较。

Gorilla 是 UC Berkeley 和 Microsoft Research 的一项研究项目，目标是帮助语言模型生成对外部工具的调用。我设想它可以用于预订旅行或点餐等任务。这些只是潜在应用的例子，并不能证明该研究系统可以在互联网上做任何事，也不能证明它拥有访问这些服务所需的权限。

在视频发布时，ChatGPT 插件通过 API 将助手与外部服务连接起来。Gorilla 处理的是一个相关问题：将用户请求转化为合适的 API 调用，并通过文档了解可用接口。生成调用之后，系统仍需要实际的集成、权限和执行环境才能完成操作。

文档与 API 调用评估

他描述了如何适应新工具或工具变更。论文在范围明确的基准上评估 API 调用生成，而不是无限制地使用所有网站。

幻灯片 1 / 1云端命令示例视频展示了一个云端命令示例来说明工具使用；这并不能证明系统可以访问所有在线服务。

我觉得令人兴奋的一点是，检索器可以在推理时提供文档，包括工具接口的变更。这并不意味着模型会自动学会所有可能的工具，也不意味着它拥有无限制的访问权限。论文测试了模型在一组范围明确的机器学习 API 和变更后的文档上的表现，并未展示它能够在 Amazon 上随意购物。

作者报告称，他们基于 LLaMA 微调的模型在 APIBench 评估中生成 API 调用的表现良好，其中包括与选定通用模型的比较。APIBench 涵盖 Hugging Face、TorchHub 和 TensorHub 的 API。研究同时发布了代码、模型和演示，但这些结果并不能保证它在所有场景下都能正确、安全地使用工具。