Joseph Kim：如何为金融工作构建 AI 工具

在纽约 AI Engineer 活动上，Joseph Kim 与 swyx、Richard 讨论 ChatGPT for Financial Services。Kim 将其描述为面向企业的产品，把通用 ChatGPT 体验与机构专用模板、金融数据结合起来。他说，OpenAI 与 Morgan Stanley 和 Evercore 等设计合作伙伴共同开发。

Kim 还展望了模型改进可能给产品开发者带来的影响。他对 2027 年能力的描述属于预测，并建议开发者考虑模型变化后自己的产品将如何运作。

被问及金融推理时，Kim 说，金融分析训练数据被纳入 OpenAI 的主模型训练，而不是只留给单独的自有产品模型。他表示，目标是让直接使用共享模型的金融机构和初创公司也能获得这些能力。

他将 OpenAI 描述为一家研究与部署公司：团队先考虑模型的能力及其发展方向，再开发产品功能，让更多人能使用这些能力。

Kim 引用了一张内部 Codex 使用图表。他说，工程师的使用持续增长，而财务、法务和销售部门的使用在桌面应用推出后明显跃升。他认为，这说明模型能力和用户界面需要共同发展。

Kim 说，面向企业行业构建产品，不能只依靠第一性原理推导出的论证。产品团队还需要理解现有授权、行业惯例、竞争对手，以及服务对象各自的动机。

他以数据为例：客户可能已经拥有授权或 MCP 连接器，因此最初很难解释为什么还要打包财报电话会文稿。Kim 说，团队测试后发现某些连接器错误率很高，个别测试超过 40%；他在节目中没有提供足够细节，不能把这个数字推广到所有连接器。

Kim 说，团队决定将数据纳入产品，以便端到端控制体验，尽管打包会增加成本。他表示客户对数据部分反应积极；这是团队自己的观察，采访中没有提供独立测量结果。

被问到其他领域的开发者能学到什么时，Kim 估计，团队构建的内容中有 95% 也能由初创公司或其他公司完成，无须修改底层模型。他说，产品大量依赖外部开发者也能使用的插件架构和基础能力。

他说，Codex 提供了大量通用功能，包括持久化工作流、记忆和技能。团队的判断是，金融产品仍需要关键的领域专用层；在他看来，未经调整就推出通用工具无法满足市场需要。

Kim 预测，有公司可以通过在通用能力之上加入特色数据、界面或集成，围绕 ChatGPT 插件建立大型业务。这是他对机会的预测，并不能证明这样的业务已经存在。

主持人问，随着智能体更加自主，安全应如何保障。Kim 说，当前产品被设计为有人参与的生产力工具：分析师可以委派任务，但仍负责审核和检查产出。

他说，系统可能只完成一项任务的一部分，也可能完成更多，取决于任务本身。现有设计假设有人监督，这让团队更容易说明由谁负责检查结果。

Kim 说，团队也在思考未来可能不受持续监督的系统。一种思路是借助熟悉的职场做法解释权限和行为，例如新员工获准更改系统前需要经过的检查。

他以银行业务的审核链为例：初级分析师准备材料，助理复核并加入判断，之后再交给更高级的人员。Kim 认为，检查人类工作的既有机制可以为 AI 辅助工作流提供借鉴；但这一类比本身不能证明这些控制已经足够。

一位主持人问，如果重大错误可能损害职业生涯，分析师应该如何开始使用 AI。Kim 认为错误的严重程度各不相同；改变结论的事实错误尤其严重，特别是当它已经通过多层审核时。

Kim 说，他看到模型可靠性在改善，预计更好的模型与复核结合后，可以降低这类错误传到高级决策者手中的概率。这是他的判断和预测，采访中没有给出支持该说法的定量错误率。

他将事实准确性与判断力、审美区分开来：一份演示文稿即使事实正确，也可能看起来潦草或格式别扭。他预计模型会在这些更依赖比较、较难明确规定的品质上进步，并承认它们会影响金融工作的实用性。

被问及如何训练审美时，Kim 提到基于人类反馈的强化学习和成对比较。技术思路是让人比较两个结果，用偏好训练奖励模型；不过他也指出，实际实施比这一简短描述更复杂。

他举例说，人可以比较两张幻灯片，很快选出更好看的那张。根据团队的经验，评分模型可能花大量计算分析视觉细节，仍然选错，因此人类偏好仍是有用的训练信息。

Kim 用软件工程作类比：代码能否编译、函数是否产生预期输出等属性可以验证；设计是否简洁、是否易于维护和测试则涉及判断。他认为，这两类反馈都很重要。

他说，金融模型也有类似的混合特征：电子表格可以检查算术和引用错误，但有经验的专业人士还会改变输入，判断输出表现是否合理。Kim 认为，这与评估代码质量有相似之处。

话题转向投资想法。一位主持人指出，出色的投资判断可能与主流意见相反，并问：面对无法立即确定正确答案的工作，应该怎样训练智能体？

Kim 说，目前许多金融应用聚焦初级分析师任务，有两个原因：模型较擅长执行具体指令，而人们往往不喜欢制作幻灯片格式或搭建细致表格等重复工作。产品重点同时反映了现有能力和用户偏好。

他预计未来系统会逐渐处理更高级金融人员的任务。但他说，随着工作变化，目标也变得更模糊：判断投资论点可能需要等待数年的市场结果，比检查幻灯片是否符合模板更难训练和评估。

Kim 说，进展需要研究、高质量数据和资深专家的反馈，也需要基础模型持续改进。他对 2027 年取得显著进展的预期属于预测，并不保证投资表现。

谈到评估，他提醒说，基准测试只是目标能力的一个代理指标。制作正确答案和评分方法很困难；任一环节出错都可能让测试容易被钻空子，使模型得高分却不擅长真实工作。

Kim 说，团队发现现有金融及更广义知识工作评估存在局限。他描述了一种情况：分数没有变化，研究人员进一步检查后发现题目已饱和、答案错误或提示规定不清。这些是他转述的团队发现。

他说，团队正在研究更能预测特定职业工作表现的评估，例如初级投资银行任务。他还表示金融团队正在招聘工程师、产品经理和领域专家，让金融从业者与研究及产品团队合作。

Kim 说，该产品面向企业，团队也在努力让更多个人专业用户可以使用。主持人最后建议听众观看他的主题演讲；更广泛的开放范围仍只是采访中讨论的计划。