HuggingGPT：用语言模型协调 AI 工具

HuggingGPT 提议将一组 AI 模型置于语言模型的控制之下。Hugging Face 托管了许多模型和工具，因此是获取专门模型的有用来源。视频中我将该项目描述为来自 Hugging Face；实际上，论文列出的研究人员来自浙江大学和微软亚洲研究院。

这个想法是通过中央控制器，为用户请求的不同部分选择工具。例如，概括一份 PDF 可能需要先提取文字和图片，再整合成答案。这只是说明性的可能流程，视频没有演示这一特定流程。

论文认为，复杂任务可能跨越多个领域和模态，而单一语言模型可能难以应对全部范围。作者提出让语言模型协调外部模型，由后者处理专门的子任务。我觉得一个模型指挥其他模型的想法令人兴奋。

论文图示提供了一个图像示例：用户询问图片中是什么，以及有多少个物体。图示中的回应描述了长颈鹿和斑马，报告检测到五个物体并画出边界框，结合了图像分类、目标检测和图像描述。

工作流程分为四个阶段。首先，任务规划将请求拆分成子任务。接着，模型选择挑选合适的模型；任务执行运行这些模型；最后，回应生成将它们的输出整合为用户的答案。

作者认为，通用语言模型在零样本或少样本任务上可能表现很强，但在特定问题上仍可能不如专门模型。在这种架构中，通用模型充当协调器，专门模型则发挥各自在单项任务上的优势。

Berman 说，该项目围绕 ChatGPT 集成了数百个 Hugging Face 模型，覆盖 24 种任务类型，包括文本分类、目标检测、分割、图像生成、问答、语音合成和文本生成视频。这是论文当时的范围，并不保证所有模型或服务现在仍然可用。

设想有人要求制作一份关于海鸥的多媒体演示：研究、文字、图片和可能的视频可以拆分为独立子任务。Berman 认为，与专门模型协作的控制器可以协调这些任务。这是他对架构潜力的假设示例，而非观察到的端到端结果。

论文将语言模型描述为把请求分配给专家模型的接口。它根据 Hugging Face 上的模型描述选择模型，从而通过共同的语言界面组织不同的专门模型。Berman 认为这可能是迈向 AGI 的一步，但这样的系统并不能证明 AGI 已经实现。

论文中还有更多有关系统可能用途的示例。我很期待尝试它，探索通用模型与专门模型如何协作。