2025 年 AI 回顾:推理、基准测试与不均衡进步

原标题A 2025 AI Retrospective: Reasoning, Benchmarks and Uneven Progress

AI Explained 回顾生成媒体、METR 时间跨度和对通用智能的不同观点,并预测 2026 年。

频道
AI Explained
发布
2025年12月23日
视频
33:27
阅读
5 分钟
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

在 2025 年底的回顾中,AI Explained 主持人讨论推理模型、合成媒体、开放权重竞争和外推基准趋势的限制。他还讨论生产力与自动发现,并区分观察和预测。

  1. 1合成媒体与信任逼真的生成内容可能被误认为真实画面。
  2. 2特定基准指标METR 时间跨度是在指定成功概率下对应的人类任务耗时。
  3. 3可靠性改变结果50% 成功率对应的跨度不能保证成功。
  4. 4用自动评估搜索AlphaEvolve 利用可测反馈迭代生成的程序。

要点建议

  1. 模型能力可能不均衡地提高,简单任务仍可能不可靠。
  2. 合成媒体给信任和创意工作带来挑战。
  3. METR 时间跨度取决于任务选择和成功阈值。
  4. 通用智能与未来劳动影响仍有争议。
  5. 自动评估可以在合适领域支持发现。
全文

按章节阅读整理后的全文

只看原始文稿
01

推理与生成媒体

2025 年 12 月,AI Explained 主持人回顾一年的模型进展,并对 2026 年作出试探性预测。他围绕一个矛盾展开:系统在难题上可能令人惊叹,却仍会在简单问题上失败。

2025 年 12 月,AI Explained 主持人回顾一年的模型进展,并对 2026 年作出试探性预测。他围绕一个矛盾展开:系统在难题上可能令人惊叹,却仍会在简单问题上失败。

推理模型在回答上投入更多计算,并在多项基准测试中取得进步。主持人还讨论研究提出的可能性:更长推理可能降低输出多样性;这一发现的适用范围取决于所研究的模型和测试。

他区分了测试时推理与扩大底层模型和数据规模。引用的访谈中,Demis Hassabis 说尽管收益递减,他仍看到显著进步;这是该实验室负责人的判断。

主持人以 Genie 3 为例讨论交互式生成世界,随后提到视频、图像、语音和音乐生成的进步。他预计真实感和互动性会提高,但认为社会影响仍是开放问题。

他担心逼真的合成媒体会误导观众。他举出观众似乎当作真实内容的视频,说明即使知道深度伪造存在,识别生成内容仍然困难。

02

研究与公众态度

有趣的 AI 进展并不都来自前沿聊天机器人。他提到 DolphinGemma 对海豚声音建模的探索;这项研究仍处于探索阶段,不能说已经解码海豚语言。

有趣的 AI 进展并不都来自前沿聊天机器人。他提到 DolphinGemma 对海豚声音建模的探索;这项研究仍处于探索阶段,不能说已经解码海豚语言。

主持人描述了公众的复杂态度:人们可能同时期待实用应用,又担心生成艺术、训练数据和对创意工作的影响。所引用的调查只是特定人群和时间的快照。

Hassabis 讨论了加速创意实验的工具与取代创作技能的担忧之间的取舍。主持人把它作为尚未解决的争论,而非既定结果。

各国政府开始在多种场景试用生成式 AI,结果好坏参半。主持人提醒,全面自动化的新闻标题与模型持续犯错可以同时存在。

03

模型可靠性与竞争

谈到 GPT-5,他质疑“专家级难题表现意味着所有简单任务都可靠”的观点。他说,模型整体能力可以更强,同时仍会产生幻觉或犯基本错误。

谈到 GPT-5,他质疑“专家级难题表现意味着所有简单任务都可靠”的观点。他说,模型整体能力可以更强,同时仍会产生幻觉或犯基本错误。

他把迎合用户作为一种失败模式:以取悦用户为目标的系统可能肯定有害或错误的信念。这个例子说明,用户偏好本身不足以衡量回答是否有帮助。

主持人观察到,中国及其他开放权重模型持续改进,可能对前沿模型供应商形成竞争压力。他对未来价格和市场份额的判断是情景推测,而非既定事实。

04

METR 时间跨度

他介绍 METR 的时间跨度指标:智能体以指定成功概率完成的任务,人类需要多长时间完成。这是特定任务集上的统计指标,不是智能体实际工作时长,也不是通用智能分数。

他介绍 METR 的时间跨度指标:智能体以指定成功概率完成的任务,人类需要多长时间完成。这是特定任务集上的统计指标,不是智能体实际工作时长,也不是通用智能分数。

所讨论版本的任务集中在软件和机器学习工程。主持人指出,长任务一端存在不确定性、样本有限,计时所用的人类参与者之间也有差异。

他提醒不要简单地把趋势线无限延长。计算资源、任务选择、评估激励和成功阈值的变化,都会影响对测量跨度的解读。

将可靠性阈值从 50% 提高到 80% 会得到不同的跨度。METR 的方法明确规定成功概率;较长的 50% 跨度不应理解为接近必然成功。

05

通用性与预测

讨论转向智能究竟是一种通用能力,还是许多部分独立的技能。主持人介绍研究者之间的分歧,并认为答案会影响对 AI 进展的预测。

讨论转向智能究竟是一种通用能力,还是许多部分独立的技能。主持人介绍研究者之间的分歧,并认为答案会影响对 AI 进展的预测。

在作出新预测之前,他承认此前关于前沿水平的互动视频化身会在 2025 年底广泛可用的预测,没有按他的预期实现。

06

横向生产力

他提出“横向生产力”:AI 可以帮助人们完成原有专长之外的任务。他以辅助专业方案的研究为例,同时指出相关安全隐患。

他提出“横向生产力”:AI 可以帮助人们完成原有专长之外的任务。他以辅助专业方案的研究为例,同时指出相关安全隐患。

他还讨论机器人与日常辅助,强调在某些场景下不完美但有用的结果仍可能有价值。演示和公布的计划并不能证明已经广泛部署或具备可靠性。

07

一种智能还是多种技能

为解释关于通用性的分歧,他对比了单一底层智能尺度与许多不同能力必须分别学习和测量的观点。他认为自己的看法介于两者之间。

为解释关于通用性的分歧,他对比了单一底层智能尺度与许多不同能力必须分别学习和测量的观点。他认为自己的看法介于两者之间。

他在自己基准测试中的经验影响了这一判断:模型可以广泛改进,同时仍保留令人意外的缺陷。单一基准或一长串狭窄分数都无法完整概括能力。

他对用单个类似智商的数字概括 AI 进展,或宣布 AGI 的精确时刻持怀疑态度。定义、测量选择和系统的实际后果都很重要。

主持人提出有条件的就业预测:他预计 AI 会产生广泛影响,但怀疑某种短期失业率急升的预测。这是他在 2025 年底的观点,并非已发生的劳动力市场结果。

08

信息与发现

他把 AI 放在从文字、印刷到搜索的信息工具历史中。他的类比是,更方便地获取积累的知识可能改变人们发现和使用信息的方式。

他把 AI 放在从文字、印刷到搜索的信息工具历史中。他的类比是,更方便地获取积累的知识可能改变人们发现和使用信息的方式。

他讨论 AlphaEvolve:这一编码智能体结合模型生成的候选程序、自动评估与迭代搜索。自动字幕把名称识别错了;这里是 AlphaEvolve,而不是 AlphaFold。

其潜力在于搜索可能的改进,并保留通过可测量测试的候选方案。这最适合结果可以自动评估的领域,并不能消除科学研究中的所有人工瓶颈。

主持人提到持续学习、数据质量和对话行为研究,作为信息发现的例子。他把它们视为值得探索的早期证据,而不是模型能独立完成所有研究的保证。

他最后回顾编码能力改进的速度,并感谢观众。这篇年度回顾适合被视为 2025 年底观察和预测的记录,其中一些判断后来可能被证明错误。

同频道的其他文章

3 张幻灯片31:00EN → 简体中文
AI Explained· 2026年10月12日为什么 AI 实验室自己警告会出重大事故,却还在继续竞赛Sam Altman, John Schulman · OpenAIAI Explained 梳理正在变弱的安全防护、前沿竞赛背后的激励,以及研究突破为何让未来 18 个月更难预测。AI SafetyAI securityAI Alignment+2
幻灯片38:28EN → 简体中文
AI Explained· 2026年10月1日AI Agent 安全与递归自我改进的挑战AI Explained 讨论报道中的隔离失效、模型评估,以及加速 AI 研究带来的压力。AI securityAI SafetyAI research+2
5 张幻灯片32:54EN → 简体中文
AI Explained· 2026年9月24日Opus 5.5 与自动化 AI 研究的竞赛AI Explained 在模型进展之外,讨论评估和治理递归自我改进日益困难的挑战。AI SafetyAI research安全与治理+2
2 张幻灯片24:53EN → 简体中文
AI Explained· 2026年9月16日为何一些研究者呼吁放缓前沿 AI 发展AI Explained 梳理可能的扩展方向、监测方面的担忧,以及能力如何可能带来危害的争论。AI SafetyAI Alignment安全与治理+1
6 张幻灯片29:05EN → 简体中文
AI Explained· 2026年9月4日GPT-6 Astra 的评测进步与推理监控难题AI Explained 考察科学、数学和智能体评测中的报告成绩,也讨论模型推理越来越难以观察所带来的担忧。模型与训练BenchmarksAI Safety
7 张幻灯片23:41EN → 简体中文
AI Explained· 2026年8月27日AI 智能体、非预期训练奖励与监督难题AI Explained 分析智能体协作、训练激励,以及越来越多地使用 AI 评估其他 AI 系统的报告。AI Safety智能体工程模型与训练+1