AI 智能体为什么需要可靠流程才能在公司内推广

我是 Basis 联合创始人 Mitch Troyanovsky。我们的工作是让智能体足够可靠，能够为会计师事务所完成生产规模的工作。

AI 会议上的参会者可能已经借助编程智能体等工具大幅提高了个人效率，但普通公司并没有获得同样幅度的提升。为什么个人生产力不会自动扩展到整个组织？

公司早就在协调不确定的系统：人。领导者无法观察每位员工每天的每个决策，但他们信任为持续产生良好结果而设计的流程，即使执行者本身并非确定性的。

即使很小的工作步骤也有流程。例如，对现金进行对账可能需要使用经过批准的软件提取银行数据，而不是让每位员工在网上随意寻找工具。

Troyanovsky 认为，编程智能体式产品存在一条能力鸿沟。用户必须管理技能和记忆、决定何时使用智能体，并建立对其行为的心智模型。他认为，不能期待大多数知识工作者自行管理这些复杂性。

第二个问题是流程鸿沟。如果每位员工都独立配置智能体，工作方式就会因人而异，而不是遵循组织的共同方法。在他看来，高层应当建立流程。

为了让生产智能体端到端完成工作，它们需要让用户容易使用，并保持可靠的行为。目标不是完美：人也不完美。目标是一致和值得信任，包括对自己做不到什么也能表现得可预测。

读取 PDF 可以使用视觉模型、Python 和 OCR、专业服务商，或这些方法的组合。让智能体自由选择可能在单次任务中表现良好，却会让过程不一致。生产系统需要明确规定期望的行为方式。

有些规定来自领域经验。例如，他希望税务智能体查阅一手资料，也希望制作演示文稿的智能体通过查看图片检查格式错误。这些选择也有代价：检查会增加延迟，未必每次都值得。

结果评估把工作与已知答案或评分标准进行比较，但有限测试集不可能覆盖生产中的每条轨迹。随着智能体执行更长的任务、做出更多决策，判断测试分布是否代表实际使用也更困难。

Troyanovsky 建议，即使没有标准答案，也可以检查轨迹中是否出现了期望行为。他提醒，这不能证明系统已经泛化，但能为判断选定流程是否得到遵循提供额外证据。

他的会计案例是银行对账出现差额。他希望智能体解释差异，而不是随意记一笔调整强行平账。其他组织可能选择不同做法；关键是不应让不同客户每次得到不一致的处理。

行为来自系统提示词、逐步披露的上下文、工具描述以及模型本身，而不只是某一个段落。他用运行时训练数据比喻智能体看到的上下文，提醒建设者关注每一部分如何影响行为。

行为规范在团队编写或修改上下文之前，记录最重要的预期行为。它既能让建设者达成一致，也能作为评分标准：某条轨迹是否涉及该行为？如果涉及，智能体是否真正表现出来？

对于没有已知正确结果的轨迹，行为审查也能产生信号。他认为结果评估仍然重要，但其扩展速度很难跟上生产活动的增长。

分叉是另一种诊断工具。团队可以取出一条未通过行为评估的轨迹，恢复到相关决策附近的状态，再建立分支调查决策或测试上下文改动。

在云端完整重建数据库、提示词等环境并不容易。但分叉有助于把失败信号与可能的运行环境改动联系起来，而不是在漫长运行记录中盲目搜索。

成本更低、速度更快的近似方法是模拟。他让一个编程智能体创建子智能体，提供同样呈现出来的提示词和技能，让它扮演生产智能体，再给它一个场景，观察它会怎么做。

团队可以重现某个情境，再调整上下文，观察模拟行为是否改变。Troyanovsky 说，这种方式不如完整分叉忠实，但在花费成本重建环境之前，适合快速迭代。

无论结果测试还是行为监督，都不能证明每条生产轨迹都能泛化。他的观点是，过程监督能增加一种信号，帮助团队发现问题并闭合改进循环。

当智能体从狭窄任务开始，并持续做好工作，人们可以像信任同事一样逐渐信任它。审查一个 pull request 的严格程度，既取决于变更风险，也取决于对提交者的信心。

有人可能会问，不加约束的智能体是否能找到更好的办法。Troyanovsky 说有可能，但他认为会计事务所需要的是大规模、可靠地完成工作。他的结论是：简单促进采用，可靠赢得信任，明确的行为选择则为持续改进提供基础。