Ramp 如何在上线前后评测记账智能体

Ryan Stevens 领导 Ramp 的应用科学团队。他介绍了 AI 记账智能体 Stack，重点讨论如何评估智能体能否完成真实工作，而不是只看单个组件是否表现出色。

Stevens 说，构建智能体之前，先把工作拆成任务，并与实际从业者共同定义成功标准。团队与记账员和会计事务所交流，了解完整工作流程。

在对账中，会计人员比较企业资源计划系统中的总账与存有账单的系统，找出并解决差异。评测还覆盖数据录入、差异分析、明细表和应计项目。

当用户不足以提供有代表性的数据时，Stevens 建议使用模拟。Ramp 与 Mercor 合作，创建模拟企业及其会计环境，供离线评测使用。

其中一家模拟企业通过多个渠道销售。团队为其创建会计系统、客户和供应商名单、账单及其他文件，使智能体能从一致的初始状态执行真实任务。

Stevens 将这一过程称为回测：针对相同任务和数据重复运行智能体，再比较不同时期的结果。与具有版本历史的代码仓库不同，生产系统需要专门保存快照，才能重放过去的状态。

每项测试结合一个任务和一个模拟企业环境，团队将后者称为一个 world。智能体运行后，团队通常依据每项任务的 10 至 20 条标准给最终结果评分。

起初，Ramp 不评估智能体是否选对工具或采取最高效的路径。Stevens 说，团队首先关注正确性、成本和速度；其他应用则可能需要评估中间步骤。

他说，上线前建设评测体系花了四到六个月。在前沿模型提供商尚未充分优化的领域，构建有用的测试环境本身就可能需要大量工作。

Stevens 比较了部分得分的准确率与 pass@k。六条标准中有四条正确，示例准确率就是 67%；pass@k 则看 k 次尝试中是否有任何一次满足全部标准。

在他展示的三次尝试中，前两次不完整，第三次满足全部六条标准。因此 pass@1 和 pass@2 为零，pass@3 为一。他说，会计错误可能损害信任，所以全对或全错的指标很重要。

评测集帮助团队比较模型。Stevens 展示的结果中，部分准确率很高，但 pass@1 低得多，说明外围智能体系统仍有改进空间。

团队将失败分为推理、信息收集、遵循指令和其他问题。Stevens 说，在会计任务中推理失败占比最大：智能体常常掌握了信息，却没有正确使用。

他也强调失败的实验。在这个场景下，团队的自动提示词或技能调优没有奏效；Stevens 提醒，这可能只适用于他们的智能体，应谨慎看待自动研究的效果。

一项有效实验是技能消融：比较保留和移除单项技能时的表现，类似机器学习中测试特征贡献。结果有助于找出可以删除或压缩的技能，并减少上下文占用。

Stevens 提醒，自己可能把展示的消融图表中的正负号解释反了。他的实际结论是应测量每项技能的效果，不要假定增加指令总有帮助。

团队还使用所谓的跨期推进环境测试记忆：智能体先在一个期间完成任务并写下压缩记忆，再为同一企业处理下一期间的类似任务。

对账时，记忆可以保留特定客户的隐含规则，而数字记录会变化。下一次运行可以直接获取记忆或搜索记忆。Stevens 说，用于写入记忆的提示词对记忆是否有用影响很大。

在展示的评测中，记忆让准确率从 56% 升至 61.5%；Stevens 称记忆调优是团队发现的较大提升之一。目标是记住企业如何运作，而不是把上个月的数据直接当成答案。

最后，Ramp 会定期运行回归评测。Stevens 对把结果不确定的智能体评测用作严格的持续集成门槛持谨慎态度；团队的内部平台会定时运行带标签的案例，并与以往表现比较。

后台智能体检查失败和可能的性能退化，再发送消息供人员调查。Stevens 最后建议构建真实环境、明确任务定义，并让评测流程在上线后持续运行。