Vinoo Ganesh：如何让 AI 回答建立在可验证的事实之上

Kepler 联合创始人兼首席执行官 Vinoo Ganesh 延续了此前演讲的主题：金融机构需要验证 AI 工作成果的方法。他认为，只在回答生成后附加验证层，会错过流程前段的重要设计选择。

Ganesh 说，华尔街的信任问题并不只是模型偶尔编造数字。公司的研究和内部数据可能从未被检索到，也没有体现在回答中。与此同时，他重视能帮助投资者获得优势的创造性分析，也就是他所说的 alpha。

金融公司正在采购检索系统、自建工具并试运行智能体，但演示令人信服，不代表专业人士会依赖其回答。Ganesh 将信任部分视为责任归属问题：必须有人能够理解工作结果并为其负责。

他指出数字答案出错的三种途径。第一，检索可能返回错误文件；何为正确来源本身也取决于公司更信任自己的分析，还是某位外部分析师。

第二，系统可能找对文件，却抽取了错误数值。例如，较晚发布的年度报告可能包含多个年度的数据，询问 2023 年营收时不能引用 2025 年的数字。引用检查有帮助，但事后过滤本身并不会改变答案生成过程。

第三，模型可能出现算术错误。Ganesh 主张用确定性代码计算，而不是依赖生成文本完成算术。他希望让模型负责规划和解释，常规工具则负责自己擅长的操作。

他说，在 Kepler 的设计中，预处理会从文件抽取事实并存入结构化存储，为每项事实分配标识或指针。模型规划要查询哪些来源和实体，代码随后检索所指向的事实并执行计算。这样，部分工作从每次查询时重复读取转移到了预处理阶段。

Ganesh 说，输出路径被设计为先解析指针，数字才能出现，之后还有独立验证环节。读者可以点击引用查看来源。他在演讲后面承认，模型在推理时仍可能生成无依据数字，因此还需要额外后处理。

结合曾在 Citadel 从事业务工程的经历，Ganesh 将模型比作配备确定性工具的优秀分析师。投资者既需要可靠数据，也需要在信息不完整时作出判断。目标是查出已知事实，并谨慎推理仍未知的部分。

他介绍，能够确定性表示的信息会被存储；较不结构化的信息经过预处理后进入混合存储系统。搜索和重排序负责识别候选材料，指针解析随后取得具体的存储值。查询可以可靠返回存储值，但选错指针或存入错误数值仍是独立风险。

为了广泛检索，系统结合近似最近邻搜索和 BM25，再用倒数排名融合及交叉编码器缩小候选范围。他的幻灯片展示了从最多 200 个候选结果缩减到 100 个、20 份文件，最终得到 10 个结果的漏斗；图中的 RRF 参数 k 为 60。

Ganesh 主张先广泛搜索，再逐步缩小范围。根据他的经验，智能体可能倾向于接受较早出现的结果，而不是探索更广泛的来源，部分原因是检查更多材料有成本。该设计试图让广度成为检索系统的属性，而不只依赖模型的搜索计划。

随后他谈到文件检索安全。可能的故障包括遗漏租户过滤、未经适当检查就接受调用方声称的身份、返回过期结果、允许直接读取绕过搜索规则，以及查询尚未填充完成的索引。

他建议把授权内置到每次查询和每条文件访问路径的范围控制中。金融公司的研究可能高度敏感，因此找回有用上下文还不够：系统也必须防止用户或租户收到无权访问的材料。

谈到验证时，Ganesh 描述了如何用标识符和哈希把存储的事实关联回源材料。如果所请求的指针无法解析，就不应返回事实。这有助于检查出处，但本身不能证明底层来源正确，或证明系统选对了来源。

他提出的目标约定是：引用要么得到验证，要么在搜索时纠正，要么被拒绝。同样的模式也可以用于金融之外，例如检查引用的法律判例是否真实存在。更广泛的目标是让事实来源可见，而不是事后仅附上看似合理的引用。

Ganesh 担心，不可靠的输出会让机构拒绝本来有用的 AI 工具。他认为，更广泛的采用需要数字和来源都能接受检查的系统，而不只是能生成流畅演示文稿的系统。关于行业采用现状的说法是他的个人判断。

他展示生产结果时说，团队引入指针处理后，无依据数字导致的拒绝事件显著减少，但没有降到零。他承认概率模型在推理过程中仍可能生成数字，因此实现中还有后续检查环节。演讲提供的信息不足以把该结果当作通用基准。

他向建设者提出的实际要求是让数字可检查，无论它来自抽取、计算还是两者结合。他建议询问供应商：是否检查每条引用和算术步骤，访问控制能否防止未授权文件到达客户，以及事实没有来源时会发生什么。

Ganesh 最后表示，即使模型更强，仍需要可靠的数据基础设施和精心设计的配套软件。数据库中缺失的值不应悄悄变成编造的事实；可信应用需要检索、控制和验证共同发挥作用。