审批 AI 应用，而不是模型：一家银行如何建立评估关卡

我在 Langfuse by ClickHouse 负责 AI 工程解决方案。我们帮助一家排名前五的银行设计安全关卡和评估流程，以便将 AI 应用投入生产。

公开模型基准能衡量有价值的技术能力，但未必能预测模型在银行内部数据和业务场景中的表现。金融机构尤其重视保护自己的数据，以及嵌入工作流程中的专业知识。

例如，一款分析师助手要为投资银行家处理财报电话会记录。仅仅总结文字还不够：应用需要了解机构的背景和专业知识，其输出也必须按银行的要求接受可靠评估。

这家银行的原则是审批应用，而不是审批模型。同一个模型可以支持许多应用，而每个应用的风险和审批标准都不同。

银行还对部署提出要求：系统应在自己的环境中运行，访问受到控制，敏感工作流需要物理隔离。即使外部提供商承诺不保留数据，银行也希望自己掌握控制权。

团队需要证明三件事：应用按预期工作、满足合规要求，并且足够好用，让人愿意采用。系统提示词、模型或工具一旦改变，都应重新判断应用是否仍适合上线。

基础是黄金数据集：包含输入、预期输出和元数据的代表性测试用例。许多银行已经有测试数据，缺少的可能是让评估过程可重复、可实际运行的机制。

每次运行都会生成轨迹，记录应用在数据集评估中做了什么。这些轨迹成为证据，选定维度上的分数则决定某个配置能否通过关卡。

一个被测试的模型在事实依据率上达到 97%，说明它的回答基于银行数据；但数值准确率只有 60%。即便引用了正确文档，回答仍可能在计算金融数字时出错。

解决办法是改进整个应用，而不是只寻找另一个模型。团队给智能体加入计算工具，让确定性代码处理模型不擅长的算术。

图示工作流从黄金数据集开始，依次经过规划、检索、计算和回答生成。随后，应用需要分别通过准确率、事实依据率、合规和工具使用等门槛。

平均分达标并不够。每个维度可以有不同的最低要求，任何必需关卡不通过都可能阻止应用上线。具体规则取决于银行对该业务场景的要求。

测试用例将输入、预期输出和元数据配对。建立这样的私有基准，能让组织用更接近自身实际工作的任务评估智能体的回答、行为和质量。

改进后智能体的轨迹显示，计算器接收一个表达式并返回结果。De Jesus 说，在这个案例中，加入工具使数值准确率从 60% 升至约 95%。

评分应结合多种方法。确定性检查用代码对相同输入给出相同结果；团队还评估智能体采用的路径，因为看似合理的最终答案可能掩盖遗漏或不恰当的步骤。

大语言模型裁判可以评估回答中较为定性的方面，但 De Jesus 提醒不要只依赖模型裁判。这些评估共同衡量多个维度，帮助应用通过银行设定的 85% 准确率门槛。

证据还可以把结果与配置变更联系起来：提示词、模型和工具都能与每次运行产生的轨迹及分数对应，从而看出哪些改变改善或损害了结果。

领域专家必须参与设定门槛。例如，风险团队可以决定内部或面向客户的风险应用需要达到什么水平；合适的标准取决于具体场景。

De Jesus 展示了在 150 个和 1,500 个问题的数据集上运行的评估。应用可能在事实依据、完整性和工具使用方面通过，却在合规方面失败。对银行而言，合规失败足以让整个关卡不通过，无论平均分多高。

失败案例可以送入标注队列，交给领域专家。审查者查看轨迹、找出发生了什么，再提供反馈，供团队改进智能体。

提示词或其他配置发生变化时，流程会重新运行评估。经过审查的样例可以成为黄金数据集的候选内容，让团队从实际失败中不断改进基准。

De Jesus 说，这套流程帮助他们把应用评估从数周缩短到数分钟；某些风险和合规场景的审查原本甚至可能需要数月。他强调，这个行业仍在发展，没有通用模板。

他最后建议：用自己的数据建立基准，审批应用而不是模型，并让领域专家确定相关门槛。有了这些控制措施，团队更容易用同一套应用专属标准评估模型替换。