睡眠时间计算：在提问前为 AI 准备上下文

如果 AI 系统能在你提问前准备好有用的推论，会怎么样？与 Letta 相关的研究人员在一篇 2025 年论文中探讨了这个想法，称其为睡眠时间计算。我此前介绍过同一团队的 MemGPT 项目，该项目致力于为智能体提供更复杂的记忆。

推理模型在推理阶段使用计算来解决问题，这可以改善某些任务的结果。代价是用户可能需要等待模型生成推理 token，而处理这些 token 也会消耗计算资源。提升幅度、延迟和费用取决于模型和任务。

论文提出一个问题：为什么所有这些工作都必须等查询到来后才开始？在传统设置中，模型在测试时同时收到问题和相关上下文。如果用户反复询问同一批文档、代码库或对话，其中一些上下文分析或许可以复用。

代码仓库、文档问答和对话助手都可能涉及持续存在的上下文。论文提出的方法不只是在每次请求后进行处理，而是先提示模型对上下文做出推论，再将得到的表示放入后续提示词中。

论文以一个杂耍者和 800 个球为例。其中四分之一是网球，网球中一半是靛蓝色，而靛蓝色网球中十分之一带有标记。预处理可以在问题提出之前算出：共有 200 个网球、100 个靛蓝色网球和 10 个带标记的靛蓝色网球。

这些工作并非没有成本：它将处理提前到可以不受相同响应期限约束的时候，并可供多个问题复用。Berman 说，延迟敏感的推理可能更昂贵。论文在成本分析中假设两者有 10 倍价格差；实际价格和节省幅度取决于部署和使用情况。

作者把交互之间的这种离线推理称为睡眠时间计算。这并不要求模型全天候持续思考。该技术准备一份可能有助于后续查询的自然语言表示；它是否有用取决于之后实际提出的问题。

例如，编程助手可以提前检查仓库、识别架构并考虑可能的调试方法。用户提问时，再提供生成的上下文。这是一种设想中的应用，是否有用还需要在实际工作流中评估。

论文报告称，在改造后的数学基准中，一些设置下的睡眠时间计算使用约五分之一的测试时 token，就能达到相近的准确率。这个比较针对回答时使用的 token，并不是说包括预处理在内的全部计算量减少了五倍。在较高预算下，仅使用查询时推理的方法可能表现更好。

研究人员还调整了预处理预算。他们报告，在相近的测试时预算下，Stateful GSM-Symbolic 上的结果最高提升 13%，Stateful AIME 上最高提升 18%。更多预处理不保证对所有配置都有改善：在一项实验中，五次并行生成的表现通常优于十次。

预处理成本可以分摊到关于同一上下文的多个问题中。在论文的线性成本模型中，测试时 token 的成本权重是睡眠时间 token 的 10 倍。在这个假设和每个上下文 10 次查询的条件下，报告的每次查询平均成本相比单查询基线最多可降低至原来的 1/2.5。

为了构建有状态数据集，研究人员将现有数学题拆分为上下文和问题。Stateful GSM-Symbolic 使用 P1 和 P2 变体；Stateful AIME 合并了 2024 年和 2025 年考试中的题目。多查询数据集增加了围绕共享上下文合成的问题，因此应在这一实验设置下理解结果。

实验在 GSM-Symbolic 上使用 GPT-4o 和 GPT-4o-mini，在 AIME 上使用 o1、o3-mini、Claude 3.7 Sonnet Extended Thinking 和 DeepSeek-R1。对于非推理模型，研究人员通过提示不同的详略程度和检查要求来调整测试时输出；对于推理模型，他们调整可用的推理预算。

图表比较了准确率和每个问题平均使用的测试时 token 数。在较低预算下，预处理往往能改善这种权衡；在较高预算下，标准测试时基线可能重新占优。论文报告 o1 在 AIME 比较中的收益有限，因此效果并非在所有模型上都一样。

另一项比较使用并行采样：请求多个答案，再从中选择。论文对比了 pass@k，它假设可以使用理想验证器，从样本中识别正确答案。作者报告，在所评估的任务和测试时 token 预算下，睡眠时间计算优于这一基线。

为了增加睡眠时间阶段的计算量，研究人员为非推理模型生成多个不同的上下文表示，或调整 o1 和 o3-mini 在预处理时使用的推理强度。这会改变准确率与测试时计算的权衡，但也会增加必须计入的前期工作。

在多个问题中复用准备好的上下文，是成本分摊论证的核心。论文中的 10 倍价格权重是对延迟优化推理的简化假设，并不意味着每个查询时 GPU token 的成本总是高 10 倍。相关问题更少或价格不同时，结果可能改变。

问题的可预测性很重要。如果上下文描述的是杂耍者的球，关于球的问题比与之无关的海洋问题更可能受益于预先算出的结果。在 GSM-Symbolic 上，作者按照基于模型的可预测性评分对问题分组，发现可预测性更高的问题，其准确率差距更大；不过更难的 P2 结果变化并不那么平滑。

论文认为，如果查询难以预测或与上下文无关，睡眠时间计算可能不那么有用。未来的系统或许可以决定在查询前后各投入多少算力。实际工作流还涉及变化的上下文和多轮交互，超出了研究中简化的两阶段设置。