AnythingLLM 社区中心与 NVIDIA RTX 上的本地 AI 智能体

摘要

30 秒看懂

Matthew Berman 在 2024 年 11 月与 NVIDIA 合作的视频中介绍 AnythingLLM 及其社区中心。他讲述如何在配备 RTX 的电脑上运行本地模型和智能体，以及分享提示词、斜杠命令和智能体技能。本地推理可以减少发送给模型供应商的数据，但外部服务和智能体技能仍可能传输信息或执行代码。

1RTX 上的本地智能体Berman 介绍在兼容 NVIDIA RTX 的电脑上本地运行 AnythingLLM；性能取决于硬件、模型和配置。
2社区中心该中心提供共享系统提示词、斜杠命令和智能体技能，适用于多种工作流。
3集成与隐私示例包括电子邮件、日历、智能家居和 API；外部集成可能将数据发送到本地设备之外。

要点建议

AnythingLLM 支持本地模型和智能体工作流，兼容的 NVIDIA 硬件可提供 RTX 加速。
社区中心分享适用于不同任务的系统提示词、斜杠命令和智能体技能。
当智能体使用云服务、外部 API 或下载的技能时，仅在本地运行并不能保证隐私。
这支短片与 NVIDIA 合作；RTX 速度最快的说法属于推广主张，而非对照基准测试。

主题Local inference AI agents Agent skills Privacy & data governance

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

本地智能体与社区中心

Berman 介绍 AnythingLLM、RTX 加速和共享智能体工具。他披露与 NVIDIA 的合作，并描述可能的集成方式。

NVIDIA 与我合作制作这支视频，介绍配备 RTX 的电脑上的 AnythingLLM 和本地 AI 智能体。AnythingLLM 是一个用于在本地使用模型和智能体的开源应用。我说智能体在 RTX 上运行最快，但这是推广性的性能主张，而非针对不同硬件和工作负载的受控比较（[NVIDIA](https://blogs.nvidia.com/blog/ai-decoded-agents-anythingllm-rtx-ai/)）。

AnythingLLM 的社区中心允许用户分享系统提示词、探索斜杠命令并交换智能体技能。我提到的例子包括 Outlook 邮件、日历和智能家居助手，以及与自定义 API 和服务的集成。可用性和功能取决于具体技能和配置。

幻灯片 1 / 1AnythingLLM 社区中心画面展示智能体技能、系统提示词和斜杠命令的示例。

我认为在本地运行有助于保护隐私。本地模型推理可以减少发送给外部模型供应商的信息，但隐私并非自动得到保证：邮件、网页和 API 集成可能传输数据，自定义技能也可能执行代码。AnythingLLM 的[文档](https://docs.anythingllm.com/agent/custom/introduction)建议只使用可信技能并在使用前测试。我感谢 NVIDIA 的合作，并引导观众阅读其 AI Decoded 文章。