Hassan 与 Omar El Mghari：AI 财务预测为何会“结果对了，理由错了”

Hassan El Mghari 介绍与父亲 Omar 合作的项目：语言模型能否仅利用选定日期前的公开信息，为 Costco 构建财务预测？他们聚焦会员费上涨的影响。

Hassan 在 Together AI 负责开发者体验，并构建开源 AI 应用。Omar 拥有审计、财务管理和内部审计经验，在项目中担任审查工程结果的领域专家。

Hassan 先公布结果：预测接近报告结果，平均误差约为 4.4%。但 Omar 的审查发现，结果接近并不意味着底层假设可靠。

Costco 销售大量利润率相对较低的商品，因此会员费对营业利润很重要。两人选择 2024 年普通和高级会员费上涨作为预测事件。

团队将截止日期设在涨价宣布之前，收集截至该日期可获得的信息。他们询问涨价将如何影响未来两年的财务模型。

较新的模型能够回答有关 2024 年涨价的检查问题，说明它们可能已经接触过该事件。因此团队选择无法回答这一问题的较旧开放模型；这种检查能降低知识泄漏风险，但不能证明完全没有泄漏。

团队收集了 214 份公开文件，转换成约 3000 条带时间戳的事实，并在模型构建预测前过滤掉截止日期之后的事实。

语言模型生成结构化假设和公式，而不是在一个回答中完成所有运算。随后系统单独执行财务模型，使输入和计算更容易检查。

例如，模型表示年度会员费在会员周期内确认的规则。它还估计未知数量，例如高级会员比例和受涨价影响地区的会员比例。

生成的电子表格包括假设、14 条模型生成的公式以及文件中的数字。团队检查是否存在循环依赖，以及涨价是否会提高收入等性质。

他们独立运行 16 次，并将检查错误反馈给模型，最多允许两次修正。最终有 5 个生成模型通过检查；Hassan 说 16 次模型运行共花费约 19 美分。

Hassan 让生成的财务模型估计涨价影响。其中一个输出预测，两年内利润约增加 5.6 亿美元。公式构建完成后，计算本身运行得很快。

两位演讲者将预测与报告结果比较，称 5 个模型的平均误差约为 4.4%。Hassan 起初对此感到乐观，但数字接近本身不能验证模型。

Omar 从假设开始审查。他发现高级会员比例会显著改变结果，而美国和加拿大会员比例似乎没有产生影响，尽管它与此次涨价相关。

模型使用了 15% 的高级会员假设，并引用会员渗透率提高的说法，却没有支持该数字的证据。Omar 说，相关文件已经披露约 45% 的数字，但模型没有找到。

团队发现两个错误部分抵消：模型将涨价应用于过宽的地域会员基数，高估受影响人数；同时使用过低的高级会员比例。

Omar 介绍一种诊断方法：每次只修正一个假设，观察结果是否反而变差。在他的例子中，把 15% 修正为 45% 后，模型暴露出了更大的误差。

他将工程检查与审计的三道防线比较：管理层控制、内部审计和独立外部审查。在这个演示中，他用专业判断提供额外一层检查。

Hassan 说，可以把 Omar 的部分会计检查转化为程序验证。更广泛的教训是，在认为接近实际的预测可靠之前，请领域专家审查假设、输入和输出。

两人总结说，领域检查和人工审查可以补充自动化测试。这个单一回顾案例展示了一种失败模式，并不能证明该流程能可靠预测其他公司或投资收益。