Ronak Malde：从真实世界的智能体轨迹中持续学习

Sequoia 的主持人请 Trajectory 联合创始人 Ronak Malde 解释他所说的持续学习。他将今天的智能体比作纸质路线图：有用，但只能离线批量更新。他的目标是更像实时导航服务的系统，能够从使用中学习并随情况变化而更新。

被问到当前架构能否支持这一目标时，Malde 说基础模型中已经出现架构变化，这些变化会很重要。Trajectory 选择的切入层是将研究与真实世界的使用联系起来，把企业对好结果的理解转化为模型改进。

他说，训练前沿模型过去需要大型研究团队、大量计算资源和数月时间。他在 Windsurf 从事根据编辑和重试进行学习的工作；联合创始人则带来了机器人和多模态模型方面的经验。他看到一个反复出现的问题：如何将真实世界反馈转化为更好的模型。

他认为，大型实验室倾向于训练一个模型并广泛分发，而为每个客户定制模型需要不同的基础设施。他希望 Trajectory 让企业无需各自建立完整研究体系，也能进行这种定制。

Malde 引用法律 AI 公司 Harvey 的案例。他说，在 Harvey 的法律智能体基准上，开源模型基线从约 4% 提升至 18%，所得模型比某个前沿替代方案便宜六倍。这些是公司在特定基准上报告的数据，并非普遍的准确率比较。

“Trajectory”这个名字体现了他偏好的工作单位：任务或一次运行轨迹，而非 token 数量。他认为，生产交互可以提供供训练系统学习的真实轨迹，前提是团队能够定义和衡量成功。

他列出几个必要因素。首先，捕获生产轨迹，包括主智能体、子智能体、产品事件和用户反馈。一些企业自行构建可观测性，另一些使用外部工具。有用的轨迹是一条发生过程的时间线，而不仅是最终答案。

其次，让轨迹能够用于评估或训练时回放，这需要对环境及其依赖有所表示。第三，建立训练系统和奖励或损失函数，将行为转化为模型变化。Malde 希望平台能为客户抽象掉这些工作。

两个难题仍然存在：回放环境可能无法准确复现生产环境，而法律或金融工作很少有完全可验证的奖励。Malde 介绍了两个旨在减少这些环节人工工作的研究方向。

他用游戏作比喻解释组相对策略优化：常见的分组运行会比较同一任务的多次尝试。Trajectory 正在探索组大小为一的变体，从不同任务的单次运行中学习。他说，这种方法可以避免为反复尝试构建模拟环境；这是有其假设条件的研究主张。

在奖励方面，他提议从一万条轨迹中选出大约一百条有代表性的样本，让专家提供详细标准或评分规则，再训练元评判器，将这些反馈推广到更大集合。他说这并非完美方案，并将更简单的可观测与训练界面描述为未来目标。

Malde 说，Trajectory 已发布的平台将训练、评估和部署放在一起：客户提供智能体轨迹和好结果的标准，训练模型、评估并部署。他设想继续收集新的生产轨迹，重复这一循环。

初期客户主要是已有智能体运行框架的 AI 原生企业。Malde 也希望改进运行框架：他认为定制模型可以提高熟悉任务的效率，而工具与编排可以带来新能力。他提出的前沿模型和定制模型路由比例只是未来情景，并非经过测量的保证。

他将 Rogo 作为另一个例子，说该公司希望建立更简洁、具有更高“智能密度”的金融智能体。他称，通过 Trajectory 训练的模型使用更少 token、成本更低、速度更快，同时改善了客户关心的指标；对谈没有提供完整的独立评估。

展望更远的未来，Malde 说智能体需要积累经验，并探索自己不知道的东西。他用孩子学习投球作比喻，说明如何逐渐建立行动改变世界的模型。他将好奇心描述为研究问题，而非已经解决的能力。

他介绍强化学习中的状态与行动转换，并追问智能体能否识别不确定的转换、尝试任务并从结果中学习。这是他提出的自主持续学习方向，仍有大量技术和安全问题需要解决。

被问到对齐时，他将自己的持续学习愿景与一种在隔离环境中自我改进的递归自我改进方式区分开来。他希望模型从人的互动和人选择的任务中学习，让人参与循环。这一划分描述的是他的方法；仅有人参与并不能证明系统已经对齐。

Malde 说 Trajectory 将前沿研究与产品工程结合起来。公司用服务和自动扩缩容将训练系统的一部分投入生产，设计工程师也会运行训练任务，以了解研究人员的工作流。他说编码智能体帮助团队花更多时间讨论系统设计。

他设想产品构建者像园丁一样：当模型、运行框架乃至产品从经验中改进时，人负责设定边界和方向。这是一个预测。他也说，更广泛的生态需要 Trajectory 之外的可观测性、沙箱及其他基础设施。

在他的乐观愿景中，专业化系统可以将基础模型的一般能力与各领域积累的经验连接起来。他将此比作经济中的专业分工，希望定制让 AI 进入更多工作流。他提供的采用比例和预测是个人估计。