NVIDIA NIM 微服务为 RTX 电脑带来打包的 AI 模型

摘要

30 秒看懂

Matthew Berman 介绍面向 RTX 电脑和工作站的 NVIDIA NIM 微服务，讨论本地模型、ChatRTX 和合作伙伴应用。他还重点介绍了即将推出的本地 PDF 转播客蓝图。这段 2025 年 3 月的视频由 NVIDIA 赞助。可用性和硬件要求取决于具体模型及工作流程。

1打包模型NIM 微服务将 AI 模型打包，以便在支持的 RTX 硬件和其他 NVIDIA 平台上部署。
2应用与合作伙伴Berman 提到 ChatRTX、AnythingLLM、ComfyUI、Flowise 和 Microsoft AI Toolkit。
3PDF 转播客他重点介绍了一个即将推出的本地蓝图，用于将文档转成音频。

要点建议

NVIDIA 于 2025 年 3 月宣布了十项面向 RTX 的 NIM 微服务，涵盖语言、图像、视觉和语音用途。
NIM 将优化后的模型打包，以便在支持的 NVIDIA 系统上部署，包括本地电脑和工作站。
视频介绍的集成包括 ChatRTX 和合作伙伴应用。
NVIDIA 当时表示，本地 RTX AI Blueprints 将于 2025 年 4 月推出，其中包括 PDF 转播客蓝图。
视频由 NVIDIA 赞助；易用性和性能属于宣传主张，而非独立测试结果。

主题基础设施与部署 Local inference AI agents

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

RTX 上的 NIM 微服务

Berman 介绍打包模型及其在本地 NVIDIA GPU 上的潜在用途，包括助手和数字人。

面向 RTX 的 NVIDIA NIM 微服务在 CES 上发布后现已可用。它们将经过优化的 AI 模型打包，可用于语言、图像生成、语音和视觉等用途。NVIDIA 赞助了这段视频；其 [2025 年 3 月的公告](https://blogs.nvidia.com/blog/rtx-ai-garage-nim-blueprints-g-assist/)介绍了十项面向 RTX 的 NIM 微服务，支持情况取决于具体硬件和模型。

我认为它的应用范围可以从 AI 助手延伸到数字人。NIM 不局限于云系统：兼容的服务也可在支持的 GeForce RTX 电脑和工作站上运行。我所说的下载后立即开始使用是一种宣传性评价，并不保证每款 GPU 或工作流程都无需配置。

应用与蓝图

Berman 列举 ChatRTX 和合作伙伴工具，随后重点介绍计划推出的 PDF 转播客蓝图。这段短片由 NVIDIA 赞助。

幻灯片 1 / 2ChatRTX 模型选择画面展示了本地聊天应用及其模型选择界面。

开发者可以在 build.nvidia.com 了解 ChatRTX 这一用于本地聊天和检索增强生成的应用，以及 AnythingLLM、ComfyUI、Flowise 和 Microsoft AI Toolkit 等合作伙伴工具。这些集成为使用本地运行的 AI 构建应用提供了途径；各自的要求和能力有所不同。

幻灯片 2 / 2NVIDIA AI Blueprints画面中的目录包含 PDF to Podcast 和多模态 PDF 信息提取工作流程。

我对 RTX AI Blueprints 尤其感兴趣：这些可定制的参考工作流程可以供开发者进一步构建。NVIDIA 于 2025 年 3 月表示，本地 RTX 蓝图将于 4 月推出。其中的 PDF 转播客示例从文档中提取信息并生成音频；我将这个概念与 NotebookLM 相比，而 NVIDIA 表示该工作流程可在支持的硬件上本地运行。

PDF 转播客的想法尤其令我兴奋。感谢 NVIDIA 赞助这段视频；该公司在 [build.nvidia.com](https://build.nvidia.com/) 提供更多信息。