AI 不确定性的数学

剑桥大学教授、Google DeepMind 研究者 Zoubin Ghahramani 讨论为什么 AI 系统应表示不确定性并将其用于决策。访谈中称主持人为 Hannah，但现有任务资料没有确认其全名。

Ghahramani 认为，决策需要考虑观察有限和未来不确定。系统应能在获得新证据时更新自己的判断。

两人区分事物固有的变化与知识有限带来的不确定性。这一区分很重要，因为更多信息可能减少其中一种不确定性，却无法消除另一种。

Ghahramani 介绍对人类感知与决策的概率模型，同时承认人们明确估计概率时可能犯很大错误。这些模型是有用的解释，并不能证明大脑确实以特定方式计算。

对抗性图像可能被系统高置信度地错误分类。这个例子区分了正确性与校准：有用的系统不应只是给出听起来很有把握的答案。

Ghahramani 回顾早期神经网络工作以及后来对贝叶斯机器学习的关注。他指出现代语言模型已经预测 token 概率，但认为表示对世界的不确定性是更广泛的问题。

贝叶斯法则将先验判断与新证据的似然结合，归一化后得到后验。进一步观察可以再次更新后验；结果取决于所用模型和假设。

讨论将明确的概率推理与从数据中学习统计模式作对比。Ghahramani 认为有空间研发能更好表示不确定性的架构，同时承认他提出的方向仍处于研究阶段。

作为例子，他介绍用多个可能结果组成的集合进行天气预测。分布可以传达可能的风暴路径范围，并随观察数据到来而更新。

两人讨论蛋白质结构预测中的不确定性。置信度信息可以帮助用户识别不太确定的区域，但预测仍是模型输出，而不是实验确认。

对于可重复事件，校准意味着结果出现的频率大致符合所给概率：在大量被赋予 70% 概率的案例中，约 70% 应当发生。校准不同于每个单独案例都正确。

在医疗决策等后果重大的场景中，两人强调向专业人员传达不确定性。仅有置信度显示并不能证明系统已经校准或可安全用于临床。

Ghahramani 将持续学习、能源效率和数据效率列为研究挑战。他认为贝叶斯更新是一种有用的理论视角，同时承认精确推断可能在计算上不可行。

他希望未来系统能更好地传达自身局限，但表示仍需更多研究和近似方法。讨论最后回到设计能补充人类判断的 AI。