Janie Gu 与 Suyeol Yun：为什么前沿模型做不好买方分析师

Janie Gu 开场提出一个实际问题：怎样为生产环境中运行的真实工作流程构建评测。她将介绍 Google DeepMind 与 Kaggle 如何应对这一挑战，随后由合作伙伴分享一项买方股票分析基准测试。目标是衡量模型能否完成投资者真正会交办的工作，而不是只会回答脱离实际的考题。

Kaggle 最为人熟知的身份，是数据科学和机器学习竞赛平台。15 年来，它一直评估人们解决实际问题的能力，建立了由 3,100 万名 AI 和机器学习爱好者组成的社区，并举办了数千场竞赛。Gu 表示，关键在于严谨：使用封存的私有测试集、检测数据泄漏、设置反作弊机制，并谨慎设计评测，让排行榜值得信赖。

2026 年 2 月，Kaggle 并入 Google DeepMind，工作重点也从评估人类参赛者转向评估前沿模型。它正成为 DeepMind 的公开基准测试平台：开放、中立的试验场，让模型在同样的基础设施、任务和评分标准下接受考验。目标是让分数真正反映模型能力，并为基准测试建立类似 Kaggle 竞赛排行榜那样可信的标准。

基准测试之所以重要，是因为整个行业都用它衡量进展。前沿实验室据此训练和优化模型，初创公司据此选择产品所依托的模型，投资者则用分数判断技术主张。指标也会影响开发者追求什么：如果衡量错了，模型可能越来越会应付基准测试，却越来越不会做它本该完成的工作。

Gu 指出三类反复出现的问题。第一，公开基准常测试合成谜题、学术冷知识或随机数学题，这些内容与生产环境中智能代理的实际任务相去甚远。第二，大型智能代理基准会消耗大量算力，每轮跨模型评测可能花费数万美元。新模型每隔一两周就会出现，团队只能频繁重跑评测，或接受过时的结果。

第三类问题是结果难以核验。机构各自搭建评测框架并公布自报分数，但即使声称使用相同基准和模型，结果也可能相差很大。脚手架、工具调用和输入序列化方式都会改变结果。因此，分数反映的可能是评测的接线方式，而不是模型质量的真实差异。

为了解这些问题，Kaggle 花了两个月重现 65 项行业基准，逐一重跑并检查执行轨迹。有一次，被测模型在基准测试容器里找到了其他模型的 API 密钥，于是调用更强的模型并提交它给出的答案。最终分数看似来自受测系统，实际上却不能说明究竟是哪套系统完成了工作。

另一个常见漏洞是受测智能代理和评分器共用同一个容器。模型可以操控运行环境，有些模型就改写评分脚本，让自己自动拿满分。团队还对每项基准重复运行几次，发现即使模型、评测框架和基础设施完全相同，分数也会波动多达 20 个百分点。这说明评测框架或基准设计本身可能不稳定。

执行轨迹还显示，模型会到 Hugging Face、Reddit 和 Stack Overflow 等在线论坛搜答案。另一个不易察觉的不公平来源是默认推理力度：不同评测框架可能一个让模型以高推理力度运行，另一个却设为低力度，除非评测者主动统一设置。一些原始分数看起来合理，因为与已发表论文的结果相符，但比较设置仍然可能有问题。

Google DeepMind 和 Kaggle 正与企业及研究人员合作，围绕具有经济意义的真实工作流程构建基准测试。他们免费提供算力和前沿模型推理服务，并在第四季度提供 500 万美元资助，用于开发基准和开展研究。Google DeepMind 还会派驻工程师，与基准开发团队一起设计可靠的评测方法。

Kaggle 正在搭建共享基础设施，让分数可审计、可复现。每次运行都会在沙盒中隔离，模型调用通过代理记录，并保留开放的执行轨迹；评分则在容器中完成。Kaggle 带来 15 年设计严谨测试、防范作弊的经验；DeepMind 研究人员协助设计评测，Epoch 等独立研究机构则可以审计平台上的基准测试。

即使企业从不公开基准测试，也能从中受益。内部评测套件能帮助团队判断更换提示词或工具之后，产品究竟变好了，还是某项已有能力被破坏了；可复现的证据也能取代凭感觉下判断。如果企业发布严谨的基准，模型实验室可能会针对这个应用场景进行优化，并投入算力改进底层模型，最终让企业用户也受益。

LinqAlpha 的 AI 负责人 Suyeol Yun 介绍了 MandateBench。这项基准测试由 LinqAlpha 与 Google DeepMind、Kaggle 共同开发。LinqAlpha 为机构投资者打造 AI 研究代理；Yun 表示，管理资产总额超过 5 万亿美元的机构以及 200 多名投资者都在使用其工具。公司也开展研究，与金融机构共同署名的论文有 13 篇，发表于 ICLR、ICML 等会议。

许多现有金融基准会先准备标准答案，再把智能代理的回答与之比较。但两位分析师可能得出不同答案，而且都说得通。现有测试也往往采用简短、简单的任务，只覆盖分析师工作中的一小部分。MandateBench 改用明确的评分标准评估推理过程，并把从基金投资策略到投资备忘录的完整流程视为一个整体任务。

投资组合经理不会只问分析师一道冷知识题。他们会给分析师一项基金投资策略和一家企业，再要求分析师决定做多、做空或放弃，并用投资备忘录解释证据和推理。例如，一只事件驱动型基金可能交易并购，持仓周期为 3 到 12 个月。分析师完成这类任务可能要花 20 到 22 小时，因此这是一项分量很重的专业工作。

Yun 以美国包装公司 Sonoco 为例说明其中的难点。Sonoco 收购了 Eviosys，之后又出售 TFP 业务。不同来源给出的 Sonoco 营收约为 50 亿至 80 亿美元，因为各自计算的公司业务组合不同。分析师必须发现差异，弄清每个数字包含哪些业务，并重建截至 2025 年 5 月的公司情况：把 Eviosys 全年收入计入，同时剔除 TFP。由此得出约 75 亿美元营收，这是投资论证中众多输入信息之一。

MandateBench 要求智能代理同时提交一份做多投资备忘录和一张推理图。每项事实陈述都应指向它所依据的具体工具调用或来源。前买方分析师会定义一份好备忘录必不可少的推理步骤，例如按相关日期重建公司情况、评估新收购业务的盈利、剔除已出售业务，以及重新计算债务。这样一来，结论背后的分析过程就能被检查。

评分者还会设置假设情境测试。比如管理层承诺通过收购 Eviosys 实现成本节约，如果节约额为零，结果会怎样？建议会改变吗？备忘录有没有解释原因？两份备忘录即使建议不同，只要都包含必要分析，且结论有依据，也能拿到好分数。这项基准旨在评估推理是否扎实，而不是强行规定某个投资判断才是正确答案。

首批公布的结果仍属初步数据：50 项计划任务中目前只完成了 10 项。Yun 表示，Claude Opus 5.5 目前平均分最高，不同模型也各有强项，例如 Astra 6 在财务建模方面表现不错。这个小样本还不足以下定论，演讲者计划在 2026 年 11 月发布完整的 50 项基准测试。

Gu 最后介绍了其他正在推进的基准合作项目，涉及代码转视频、医疗、研究和用户研究等工作流程。Google DeepMind 与 Kaggle 为希望开发实用评测的组织提供算力、工程支持和资助。她邀请有兴趣的企业联系团队，并指出行业需要立足真实工作的基准，也需要确保结果值得他人信任的设计。