Ramp 如何结合小模型、KV 缓存 Cartridge 和智能体集群

我在 Ramp 从事应用 AI 工作，把语言模型和机器学习引入不同产品。虽然公司对大语言模型的使用大幅增长，新一代前沿模型仍让一些功能在保持准确率的同时降低了单位成本。

这引出一个问题：应用公司为什么不等前沿模型进步，而要自己投入研究？因为客户今天就有需求，针对具体产品的工作可以在通用模型变得更强之前改善体验。

2023 年，用 GPT-4 构建智能体需要严格的护栏、细致调校的措辞和有限的上下文。一旦走错方向，系统可能继续偏离；但我们仍需要为财务专业人士交付智能体。

到 2026 年，更强的模型让接入工具和上下文容易得多。我仍认为团队可以深入一层改善用户体验，下面介绍 Ramp Labs 的三个例子。

第一个例子来自 Ramp Sheets。这个电子表格智能体于 11 月推出；财务和会计工作大量依赖表格，因此我们希望将其框架复用于更多 Ramp 工作流。

面对大量表格以及构建折现现金流模型等任务时，前沿智能体要花时间规划并检查输入。Opus 4.6 表现不错，但对于这类专门的检索和问答工作，其推理速度和成本是瓶颈。

我们保留前沿模型作为编排者，与 Prime Intellect 合作对 Qwen 3.5 35B 进行金融问答后训练。在我们的特定任务上，它的准确率超过 Opus 4.6，延迟接近 Haiku；这是任务特定结果，不代表通用模型排名。

第二个方向是 KV 缓存 cartridge。我们正在探索这类技术，提前离线压缩大量上下文；我提到的压缩幅度约为 20 到 30 倍，使上下文可以在智能体需要之前准备好。

月结任务具有可预测性：财务人员会用到账簿、账龄报告和支持性文件。与其等开始工作时再让智能体检索和理解全部资料，不如在夜间预先构建包含相关上下文的 cartridge。

Cartridge 所需的后训练工作可能较少，但模型提供商未来也可能通过 API 提供类似能力。即使如此，亲自实验仍能让团队积累经验，在新接口出现时迅速应用。

第三个例子是智能体 map-reduce。Ramp 使用名为 Ramp Inspect 的云端智能体系统，对自己的环境运行一万个并行智能体，分发渗透测试任务并收集潜在发现。

我们用模型为生成的问题单去重，再以对抗方式尝试复现可疑问题。按照我们的结果，这一流程发现了七个高严重性漏洞，随后都已修复。

其中一个例子是通过邮件触发的 Lua 注入。单个组件本身并不构成不安全行为；发现问题需要把多个组件的行为联系起来。这体现了端到端调查的价值，并不意味着测试覆盖了所有漏洞。

我们还研究了智能体集群的模型选择。在所报告的实验中，开放权重模型的成本比前沿推理模型低至五分之一，而集群的检测率没有按同样比例下降。

这些项目的共同目标是降低延迟与 token 成本。这也影响了 Ramp 的两项产品：帮助企业了解模型支出的工具，以及利用不同策略权衡成本和延迟的路由器。

我还介绍 Ramp Labs 的其他研究，包括在模型之间转移后训练成果、用智能体 map-reduce 归类使用情况，以及自我改进的服务监控。这些是额外研究方向，本场演讲没有完整证明其效果。