John Stecher 与 Scott Worland：构建能够随 AI 模型进步而改变的系统

Norm AI 首席技术官 Scott Worland 介绍 Blackstone 首席技术官 John Stecher。Norm 从事法律和监管领域的 AI 工作，并支持一家关联律师事务所。Stecher 负责 Blackstone 的技术、投资咨询，并为投资组合公司提供技术支持。

Worland 问 Blackstone 如何面对部署智能体的热潮。Stecher 说，更长的上下文窗口和更长时间运行任务的能力带来了机会，但基础是一致的数据战略，让智能体能够访问和管理信息。

Blackstone 将专有数据与公共数据结合使用。Stecher 说，如果企业把关键数据留在分散的交易系统中，就难以从智能体中获取价值。将数据迁移到可以访问和检索的形式，是工作的重要部分。

Stecher 补充说，直通处理仍然重要。他用智能体帮助理解工作流、编写代码以自动化确定性步骤，再在需要智能或过去需要人工判断的地方加入 AI。目标是让投资、财务和工程人员有时间处理更高价值的工作。

他举例说，智能体可以帮助编写软件测试、性能测试和升级依赖库。对他而言，让智能体协助改造源代码提高了交付速度。随后 Worland 解释 Norm 的架构如何随着模型能力提升而改变。

Norm 开始将模型投入生产时，能力和上下文窗口变化很快。团队围绕内容选择、执行顺序、一致性检查和输出生成建立了大量结构，形成类似 map-reduce 的工作流。Worland 说，这带来了监管工作所需的准确和一致的结果。

为了对系统进行回归测试，Norm 积累了数万条专家标注的评估案例。当更自主、能够使用工具的智能体变得可行后，团队用同一套基准测试它们，发现许多精心编写的工作流代码反而成了阻碍。

Worland 说，工程负责人离开日常环境，一起思考如果今天从头开始会构建怎样的平台。他们形成了两项目标的规格：为客户提供智能体体验，并让 AI 能与开发团队一起工作。公司此后一直依照这一计划推进。

Stecher 强调金融服务领域的质量要求很高。模型版本、运行框架和数据变化都可能改变答案，因此必须持续运行评估集，衡量准确率、一致性和系统健康状况。准确性的责任始终重要。

Worland 将讨论联系到“苦涩的教训”：能够随计算量扩展的系统，最终可能胜过精心手工设计的复杂结构。他问 Blackstone 如何在选择项目和规划路线图时考虑这一点。

Stecher 会比较预期回报和当下的实现成本。如果业务需求不紧迫，未来更强的模型可能让解决方案更便宜，Blackstone 有时会选择等待。他把等待视为逐案权衡，而不是要求所有项目都推迟。

等待太久也有成本。Stecher 鼓励工程师使用开发工具，快速把概念做成交互式原型，拿给相关人员看；如果不能创造价值，就将其丢弃。原型尚未完成生产所需的安全审查，也不能直接视为生产系统。

Worland 说，投资选择是渐进的：有些能力值得重投入，另一些工作则应保守建设，因为更好的模型或第三方工具可能取代它。Norm 仍需要运行框架、沙箱和网络出口控制，但也希望能接入外部进步。

他说，Claude Code 改变了他对通用系统的看法：智能体可以在计算机环境中编写、执行代码并验证结果。这是他对技术方向的判断，并不保证智能体能够可靠完成所有任务。

Norm 投资于数据采集、将信息作为状态提供给模型，以及与关联律师事务所的律师共同建立评估。Worland 希望除了功能路线图，还用评分卡定义任务成功的标准，从而衡量系统的整体改进，而不必为每条工作流预先写死结构。

Stecher 说，做出原型比投入生产容易。企业基础设施、网络安全、可支持性、可追踪性，以及与站点可靠性监控系统的集成仍然困难。应用能够大规模可靠运行之前，这些要求都必须解决。

Worland 说，Norm 要求核心组件在设计、代码所有权和变更批准方面接受完整的人工监督。建立在这些组件之上的应用，未经人工审查不能修改它们。他说，对于处理敏感数据的系统，安全比速度更重要。

团队尝试为前沿模型的进步保留接入通道，同时防止敏感核心系统在未经检查时改变。Worland 预计部分投资决策会出错，并认为团队需要随着能力变化保持替换组件的意愿。

Stecher 说，如今许多内部应用可以为某个特定用途构建，之后再丢弃。他鼓励工程师比较重建与维护、逐步升级现有应用的成本和价值——过去人们远少提出这个问题。

最后，Stecher 说 AI 工具重新激发了他对工程的热情。经验丰富的开发者依然理解架构和系统设计，而智能体可以帮助他们表达这些知识，减少搭建初始支撑结构所需的时间。Worland 致谢并结束了对谈。