优化智能体的准确率、成本和延迟

AI21 的 Or Dagan 讨论如何优化智能体的准确率、成本和延迟。他介绍公司 Maestro 方法和基准结果，这些属于特定测试条件下的供应商说法。

他以研究基准 BrowseComp Plus 为贯穿例子。基准分数本身不能证明所有生产任务的表现。

第一类优化是选择模型、提示词和工具；第二类是在推理时分配额外计算。

测试多种模型与提示词组合可以发现适合任务的配置。如果智能体无法有效使用，工具越多不一定越好。

他用图比较准确率和成本，并介绍帕累托前沿：在已测配置中，无法在不使另一维度变差的情况下进一步改善某一维度的配置。

纵向扩展是为一次尝试投入更多工作或计算。价值取决于任务，以及额外成本能否带来有意义的提升。

横向扩展运行多个尝试或智能体，再从结果中选择。它需要有效的方法对候选答案排序、验证或组合。

与顺序尝试相比，并行执行可能减少额外等待时间，但会增加总计算成本，也依赖可用容量。

Dagan 说当不同模型的错误不完全重合时，多模型组合可能有帮助。收益取决于多样性、选择质量和实际工作负载。

配置增多后，开发者需要决定先运行什么、何时升级，以及如何在成本和响应时间之间取舍。搜索空间会迅速增大。

他认为手动调整每个决策成本高，也可能遗漏有用组合。任何优化器都需要测量和具有代表性的任务集。

AI21 提出的方法学习在不同上下文中各动作的成功率、成本和延迟估计，再在运行时据此调度模型和工具。

Dagan 描述通过采样而非穷举来探索配置空间。预测误差和任务分布变化仍可能影响选择。

他展示包括 Deep Research Bench 在内的其他基准结果，并称准确率与成本的前沿有所改善。这些是供应商报告，不是独立保证。

他建议动态决定继续搜索是否值得，而不是预先固定循环次数。停止规则取决于估计和预算。

他最后认为可以对配置空间中相关部分自动优化智能体。真实部署仍需要针对自身流量进行监控、评估和验证。