体验搭配 Groq 和 Ollama 的开源答案引擎

Perplexity 回答搜索问题时，会整合出一份答复并引用来源，而不是只列出链接。我用如何制作拉面的问题做演示，得到操作步骤和图片。随后，我尝试了类似的开源项目 Answer Engine。

我在 localhost 上运行应用，提交同样的问题。它显示了答案、来源链接、图片和可播放的视频。在这个成功运行的示例中，应用在本地运行，推理则通过 Groq 使用 Mixtral，同时还依赖其他在线服务。

这个项目由 Developers Digest 开发，使用了 Next.js、Vercel AI SDK、LangChain、Groq、OpenAI 嵌入、Brave Search 和 Serper。源代码虽然公开，但应用代码开源并不意味着每项依赖都是开源、本地或免费的。该示例也没有独立验证每条生成内容或引用的准确性。

我克隆仓库，进入目录，用 `bun install` 安装依赖。接着在 VS Code 中打开项目，并在环境文件里配置推理、嵌入和搜索服务的凭据。API 密钥应当保密；视频画面中显示了凭据，因此不要复制或传播它们。

我用 `bun run dev` 启动开发服务器，打开 localhost，再次查询拉面。在这个配置下，应用返回了结果。我在视频中称它免费，但第三方使用额度、服务商收费及本地计算成本取决于所用服务和账户。

接下来，我尝试通过 Ollama 在本地运行语言模型。我下载了一个 Mistral 模型，将应用的模型端点改为 Ollama 的本地 OpenAI 兼容地址。2024 年的这套配置仍使用 OpenAI 嵌入和在线搜索服务，因此单独替换推理环节并不能让整个流程都在本地运行。

尝试本地配置时，Ollama 似乎收到了请求，但应用没有显示答案。我重新启动、修改模型引用并再次尝试，问题仍未解决。我猜测可能与兼容性或模型响应有关，但视频并未确定原因，也没有给出有效的修复方法。

排查时，我将 Ollama 绑定到所有网络接口。这可能让 localhost 之外的设备访问服务，纯本地配置不必假定需要这么做；访问控制和网络配置很重要。我邀请其他人一起研究如何接入。自 2024 年这次演示以来，项目和依赖可能已经变化，请查阅仓库的最新说明。