管理 AI 的信息来源：按需检索，也要适时省略上下文

今天我们要讨论如何管理信息来源，以及放入 AI 模型上下文窗口的信息。偏好、记忆、上传的文档和检索到的资料都可能影响回答，其中一些信息会延续到单次对话之外。

一个简单的起点是保存偏好。如果你想要更简短的回答、更少的表情符号，或者不那么明显的 AI 写作风格，可以把偏好记录一次，而不必每次提示都重复。主要的 AI 工具都提供某种跨对话保存偏好的机制。

例如，在 ChatGPT 的个性化设置中，你可以调整语气的亲切程度、热情程度和格式等特征，也可以自由填写指令。我用这个位置要求模型质疑我的想法，而不是一味赞同我。

Claude 也有类似的指令设置。其公开的系统提示词鼓励尽量减少格式，使用段落，而不是过多使用粗体和列表。我可以在 Claude 的设置里添加自己的偏好，比如要求它多用一些格式，同时仍要质疑我。重点是保存适合自己的组合。

第二种个性化会自动发生。这些产品可能保留从以往对话中推断出的信息，比如你的居住地或职业，并在之后的对话中加入摘要。即使新问题讨论的是其他主题，这些信息也可能影响回答。

根据产品和许可协议的不同，你可能可以查看或关闭这种记忆。如果助手对待你的方式让你感到意外，可以先看看它记住了什么。例如，ChatGPT 提供控制选项，决定是否收集记忆，并允许用户查看。

有些工具提供在产品之间迁移个性化信息的方法。我展示了 Gemini 用来提取 ChatGPT 已保存记忆的提示词。它同时也是详细任务说明的例子：指定了类别、所需结构、支持性引用，以及需要省略的客套话。

这些内容都会改变上下文窗口中占用的空间。除了你最新的提示词和目前生成的回答，还包括系统提示词以及当前对话中较早的交流。这就是为什么我建议换一个新话题时开启新对话：无关内容既会占空间，也可能影响回答。

设置、保存的记忆、上传的文件和网络搜索结果也可能进入窗口。我的图只是概念示意：确切内容和顺序因产品而异。图中的边界不应被理解为将各来源真正隔开的墙。

从概念上说，模型会根据包含这些不同输入的序列预测下一个 token。把指令与外部文档放在同一上下文中会带来安全问题，稍后我会再谈。先来看看你在对话中分享的信息会发生什么。

保存的记忆会改变提供给模型的上下文，但这本身不会持续更新模型经过训练的权重。一般来说，已发布模型的权重在人们使用时保持固定。不过，能够查看对话的公司可能用这些内容训练之后的模型，具体取决于适用的设置和条款。

这种区分关系到隐私。我不会说未来模型重现训练数据中敏感细节的概率一定为零。Stanford 与获得其许可的 AI 公司签订的协议要求聊天记录保密，不得用于未来训练；在校外独立创建的账号不会自动享有相同保证。

检索增强生成，即 RAG，解决的是另一个问题：你的资料可能太多，装不进上下文窗口；即使能装下，内容过多也可能让模型难以利用中间的部分。独立文档库能够容纳的材料，远多于你希望放进单次提示词中的量。

当你提出问题时，工具会在文档库中搜索相关材料，将选出的内容放进上下文窗口。模型随后可以依据这些来源回答，而不必一次接收整个资料集。选择仍然很重要：检索并不意味着所有保存的文档都同时对模型可见。

资料库很大并不意味着可以随意添加来源。AI 系统通常被设计得较为依赖 RAG 资料库中提供的材料，因此其中的不准确信息可能对回答产生过大的影响。即使存储空间不再是限制，也仍需认真筛选文档质量。

这种偏向检索资料的做法只是一种倾向，并无保证。一篇研究知识冲突的论文描述了两种失败模式：“善变的变色龙”过于轻易地接受提供的来源；“固执的树懒”则在用户希望它使用其他来源时，仍回到训练中学到的知识。

这两种行为是否有益取决于情境。如果错误文档混进了资料库，模型保持怀疑可能是好事。但如果你提供可靠材料来纠正或调整回答，就可能希望模型遵循它。决定哪个来源更权威，并不总是一个简单的技术问题。

这些冲突还引出了谁有权决定什么是正确的问题。我预计，随着少数公司作出的选择被纳入众多人使用的工具，这方面的紧张关系会加剧。用户和服务提供者对模型何时应该抵制所提供的说法，可能有不同看法。

我们还能保存可重复执行的任务，而不只是事实或偏好。详细的任务说明可能需要花时间打磨。如果经过很长的交流终于得到了满意的结果，可以让模型生成一份独立提示词，以便下次复用这个过程。

Claude 把可复用的指令称为 skills，Gemini 则称为 gems。你可以为详细指令命名并保存，供以后使用；某些配置还能附带文档或其他上下文。这些指令可以与他人分享，因此你也许能找到已有的任务起点，而不必从头编写每一条提示词。

一个例子是 Stanford 的视觉识别 skill，目的是帮助生成符合标志、字体和颜色等详细规则的材料。另一个方向则是供人分享的角色扮演 gems。这些例子表明，可复用指令既能编码正式工作流程，也能用于娱乐。

对来源不明的 skill 或 gem 要谨慎，尤其是当它要求访问文件或邮件时。安装它可能带来与安装软件相似的风险。在回答学生问题时，我解释说，这些指令会加入上下文，而不会改变模型权重。

有时，有用的选择是省略信息。我把这称为策略性保留：当你需要新视角时，有意去掉可能使模型产生偏差的上下文。例如，如果担心模型过于迎合，可以请它评价“这篇文章”，而不是“我的文章”。

对于简历，你可以提供职位描述，请模型从雇主角度评价候选人，而不透露候选人就是你。这种表述可能带来更坦率的建议。要记得，保存的记忆仍可能暴露身份，因此可以考虑使用临时对话或另一个账号。

新对话还可以检验文档能否独立成立。经过长时间交流写出提案后，只把最终文档交给一个新对话，询问它为何作出某个选择。如果模型无法解释原因，文档可能依赖独立读者无法获得的背景。

策略性保留还有其他用途：在谈判角色扮演中先不透露自己的立场，避免分享不必要的私人信息，或者在向模型展示自己最喜欢的想法之前先让它头脑风暴。过早给出一个例子可能使建议围绕它展开，而不是产生更广泛的想法。

一位学生询问，所有这些上下文会如何影响 token 用量。我解释说，模型生成的推理可能计入输出 token 用量，而需要考虑的材料越多，相关工作也可能增加。实际如何计费取决于产品及其定价。

安全问题在于，上下文可能包含来源和用途截然不同的材料。我把模型处理指令的方式与操作系统对特权操作采用的更严格隔离作对比：仅仅把一段文本标为系统提示词，并不会为模型建立一个同样完全可靠的边界。

有些覆盖指令的尝试并无危害，例如要求使用更多粗体。另一些则针对防止有害行为的安全措施。测试模型是否会被诱导做出其原本设计为抵制的行为，是红队测试的一种；后果则取决于系统获准执行哪些操作。

更令人担忧的来源是助手检索到的网页。联网很有价值，因为它让模型找到比训练数据更新的信息，但检索到的网页来自其他人。网页可能包含针对模型的指令，而不是用户想要总结的材料。

这就是提示词注入。在我的例子中，恶意网页要求助手忽略之前的指令并发送广告邮件。用户没有要求发送这些邮件：是外部文档把请求插进了助手的上下文。如果模型遵从，就把不可信的来源内容误当成了获授权的指令。

一位学生询问如何阻止第三方文本。我指出，邮件例子的影响取决于助手是否连接了邮件工具。没有该连接时，不需要的指令可能污染回答，但助手不能通过这个工具发送邮件。

例子中的文档来自网络搜索，但上传的文件和链接同样可能涉及不可信内容。上传前阅读文件有帮助，却不是万无一失：攻击者可能用白色字体隐藏文本，人看不到，机器却会处理。

被问到 RAG 和网络搜索的区别时，我区分了本课所说的经过整理的文档库，以及引入外部网页的一般网络搜索。直接上传文档到对话中是一个相关的初级例子，但它可能把整个文件放进窗口，而不是检索选出的片段。

当助手能够通过连接器采取行动时，危险会增加。访问邮件或硬盘意味着后果可能从奇怪的回答升级为对其他系统的操作。启用这些连接时要慎重，尤其是在助手还会读取外部材料的情况下。

一位学生问，工具如何识别 skill 中可疑的指令。我解释说，服务提供者可以用提示词注入的例子训练模型，并通过反馈减少模型遵从恶意指令的情况，也可以采用其他防护设计。这些措施能够帮助降低风险，但我预计风险仍会存在。

最后，一位学生询问如何实际建立 RAG。直接上传文档是一个简单起点，但整个文件可能都会进入上下文。在本周的练习中，学生将使用一款围绕整理好的来源集合设计的笔记工具。