Diogo Almeida:可靠的 AI 需要不同的训练目标

原标题Diogo Almeida: Reliable AI Needs a Different Training Goal

Almeida 认为,为辅助人类而训练的模型不适合无人监督的自动化;他主张围绕可靠智能构建软件。

DADiogo Almeida讲者 · TypeSafe AI
频道
AI Engineer
发布
2026年11月15日
视频
23:19
阅读
8 分钟
幻灯片
5
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

AI 能完成令人惊叹的任务,却可能难以胜任必须无人值守的日常工作。TypeSafe AI 联合创始人、RLHF 的共同创造者 Diogo Almeida 认为,以人类反馈训练模型有利于提供辅助,却未必能实现可靠的自动化。他建议针对范围较窄、面向机器的可靠决策进行训练,然后把这些能力嵌入软件,而不是只在软件旁边放一个聊天机器人。他的研究方向包括可验证的步骤、智能体共享记忆、实时安全检查,以及检查代码语义的工具。

  1. 1基准测试表现与日常自动化能力可能脱节Almeida 对比了出色的基准测试及研究表现,与会计、汽车餐厅点餐等日常工作的自动化难题。他认为区别在于,是否有人工检查和使用输出。
  2. 2以人类反馈为优化目标更有利于辅助作为 RLHF 的共同创造者,Almeida 认为,围绕人类反馈训练的模型擅长取悦和辅助人类,但其优化目标并非无人值守的决策。
  3. 3训练任务的选择可能比算法更重要他把选择正确的任务放在数据、算力和算法之下的基础位置,并以遵循指令的训练为例,说明改变任务可以大幅改变模型行为。
  4. 4少数失败也可能破坏自动化他把模型比作 95% 的时间是爱因斯坦、5% 的时间是憨豆先生:如果无法识别失败,平均表现再出色也不足以放心委派任务。
  5. 5面向机器的智能可能成为新的软件基础组件Almeida 用蓝色 LED 作类比,设想智能与现有软件结合,以处理意图和语义,而不只是添加聊天机器人。
  6. 6智能体记忆和共享状态需要工程设计他追问,为什么智能体必须反复重新发现代码库的上下文,并提出改进检索、共享状态和任务路由,减少对 KV 缓存的依赖。
  7. 7语义检查可以检验含义,而不只是类型形式他构想了一个 AI 辅助类型检查器,验证一系列函数是否持续满足某些属性,例如确保个人信息已被移除。

要点建议

  1. Almeida 认为,出色的助手不一定是可靠的无人值守工作者。
  2. 选择训练任务和数据时,要让它们与产品所需的行为相匹配。
  3. 把智能体工作流拆成可检查的步骤,并明确管理状态。
  4. 探索智能体之间共享和检索记忆,避免反复重新发现相同的上下文。
  5. 把实时安全检查和代码语义检查作为快速、可靠模型的可能应用。
全文

按章节阅读整理后的全文

只看原始文稿
01

为什么表现惊人的 AI 仍难以完成普通自动化

Almeida 对比了基准测试的成功与需要可靠决策的工作。他认为,是否有人工审查可以部分解释其中的差距。

为什么 AI 能做出令人惊叹的事,却在许多其他任务上派不上用场?Diogo Almeida 说,从业者需要清楚回答这个问题。他参与创造了 ChatGPT 和基于人类反馈的强化学习(RLHF)。他说自己喜欢智能体和聊天机器人,但对它们的局限,以及承诺与交付之间的差距感到担忧。

他对比了两种看法:一边的人看到模型在基准测试中超过人类,不断预测通用人工智能即将到来;另一边则看到,在科技中心之外,世界似乎并没有发生那么大的变化。他同时认为 AI 具有变革性,而它目前带来的影响仍不如预期。

他认为,区别在于模型表现惊人的任务往往有人类参与。研究助手写出的报告可能比他的好看得多,但他说,如果正确性至关重要,人们可能仍会选择人类,因为答案需要核查。

辅助与需要可靠性的任务
幻灯片 1 / 5辅助与需要可靠性的任务Almeida 对比了面向人的辅助工作和他认为需要可靠自主决策的工作。

自动化要求系统作出决策并交给后续流程,而不只是给出令人满意的回答。Almeida 认为,代码是自动化的语言,所以承担这一角色的智能需要与代码集成。

02

针对自动化真正需要的行为训练

他认为,人类反馈训练奖励的是有用的辅助。他提出把任务选择、数据和范围较窄的可靠结果放在中心位置。

他觉得自己参与创造 RLHF 一事颇具反讽意味:他认为,训练目标中包含人类反馈,恰好有助于解释为什么模型依赖人来判断输出。他说,即便是可以自动检查的任务,结果往往仍需要人工验证。

按照他的理解,模型针对辅助进行优化,并且可以做得非常出色。但他认为,无人值守的认知工作是另一种目标:后台运行的系统必须作出可靠决策,不能依靠人抓住每一个错误。

Almeida 把 Jev 介绍为 TypeSafe AI 重新思考面向机器的智能的一次尝试。他说,团队不只是更换界面,还重新考虑了应该优化什么行为,以及模型应该如何融入软件。

他概括了 Richard Sutton 的“苦涩教训”:规模和算力相对于特定算法很重要。Almeida 进一步提出一个层级:数据比算力更重要,而选择正确的任务更加根本。他认为,判断目标要看它最终能让系统做什么。

最苦涩的教训
幻灯片 2 / 5最苦涩的教训在他的层级中,选择正确任务是数据、算力和算法之下的基础。

他以掩码语言建模和预测下一个 token 为例进行对比。事实证明,后者特别适合生成文本。他认为,如果模型的训练目标不同,单纯增加算力也不会使它等同于为生成序列而设计的系统。

他还提到遵循指令的能力:在相关人类反馈数据出现之前,模型的表现很不一样。他认为,即便是相对较小的模型,只要用合适的反馈进行训练,在遵循指令方面也能超过大得多的模型,这说明改变训练任务的影响。

03

追求可靠,而非偶尔表现卓越

即使不可预测的失败只占一小部分,也会妨碍无人值守使用。Almeida 说,Jev 的目标是面向机器的可靠智能。

Almeida 用一个比喻描述可靠性问题:模型 95% 的时间是爱因斯坦,5% 的时间是憨豆先生。如果用户无法区分两者,就难以实现自动化。他希望优化范围较窄的任务上的稳定表现,而不是依靠偶尔的出色表现,再由人验证。

他认为开发者对 Jev 的反应来自对可靠性的关注,而不仅仅是速度、成本或界面。他呼吁其他团队也构建同样可靠的模型,并将其视为他所说的智能软件的基础。

04

智能软件的第四种逻辑门

Almeida 将 AI 比作蓝色 LED:新组件可以创造超出自身直接用途的新组合。他希望把智能放进软件工作流内部。

Almeida 说,尽管 AI 取得进展,软件本身除了编写成本降低,变化却少得令人意外。在应用旁边放一个聊天机器人,与把智能嵌入应用的决策流程并不一样。他希望工程师探索后者。

他的类比是蓝色 LED。红色和绿色 LED 已经有用,但加入蓝色后,才出现了白光和现代显示屏等组合。一个新组件可以让整个系统的可能性大幅扩展,远超过它在原有组件中所占的比例。

他把面向机器的智能想象成普通运算之外,概念上的第四种逻辑门。软件可以处理含义、意图和常识:例如判断一个邮箱地址看起来是否真实,而不完全依赖复杂的匹配规则。他说,要达到这一未来,模型需要便宜、快速且可靠。

作为软件组件的智能
幻灯片 3 / 5作为软件组件的智能幻灯片将语义操作与传统逻辑门并列。

Almeida 把探索这些可能性的工作称为“软件研究”。他预计,就像早期互联网一样,很多实验会很奇怪,或者价值并不明显,但分散开展的探索能够发现事先难以预见的能力。

05

智能体与语义软件的工程议程

他主张任务拆分、验证和状态管理。潜在方向包括共享记忆、实时安全和语义类型检查。

他提出的方法是熟悉的软件工程:拆分任务,尽可能让每个步骤都能独立验证,并明确管理状态,而不是假设整个系统的状态都存在一个模型上下文中。他希望工程师在拓展软件边界时,关注最终结果。

超越 KV 缓存的智能体
幻灯片 4 / 5超越 KV 缓存的智能体幻灯片列出关于记忆、共享状态与任务路由的问题。

他认为,帮助模型复用已处理上下文的键值缓存(KV cache)限制了智能体的设计。他问,为什么记忆检索必须随着全部历史上下文一起增长,以及为什么编码智能体不能从过往工作中检索相关部分,从而利用完整历史。

与此相关的问题是协作:为什么多个智能体必须各自重新发现代码库中的相同模式,而不能共享状态?Almeida 也希望改进向子智能体的任务路由。他认为,有些设计虽然优雅,却会因为与缓存使用方式冲突而变得低效。

一个更广泛的方向是表达指令的精神,而不只是字面内容。Almeida 提到委托代理问题:委托工作的人与代表其行动的人的利益可能不同。他认为,僵硬的规则可能带来漏洞。

他提出实时智能安全是另一个应用。在他看来,识别可疑行为可能比实施行为更容易,但防御系统必须足够快、便宜且可靠,才能持续运行。他设想组织将这类检查纳入安全系统。

语义依赖类型
幻灯片 5 / 5语义依赖类型构想中的检查器沿函数链检查不含个人信息这一属性。

他还构想了语义依赖类型:检查器不只验证输入和输出的类型形式是否匹配,还要检查函数承诺的属性在语义上是否成立。例如,它可以检查一系列函数是否持续保持“已移除个人信息”这一属性。

新界面也是一个机会。Almeida 回忆起让软件“按我的意思做”的旧愿望,单靠人工编写规则很难实现。他认为,更强的语义理解可能使不同的交互方式变得可行。

06

低质量生成内容、趣味实验与自动化的未来

他认为,低质量生成内容部分源自将审查成本转嫁给他人。最后,他鼓励实用自动化和富有探索精神的软件研究。

他说,不可靠的生成内容之所以变成低质量信息,是因为生产者避免承担审查成本,把负担转嫁给了其他人。他认为,如果有人真正阅读并筛选生成内容,确保质量,结果就不一定如此。他希望更好的系统也能帮助过滤不想接收的内容。

不是每个实验都必须立即有用。Almeida 提到故意设计得很糟糕的用户界面,认为这也是一种有趣的软件创作。他说,少数奇怪的想法可能最终产生价值;他希望在严肃工程之外,也能培养这种探索方式。

他请软件工程师重新思考那些被视为固定不变的边界:如果智能成为可靠的组件,还有什么不能自动化?他设想,未来更多问题将从“能否自动化”变成“实现自动化需要多少工作”。

最后,Almeida 感谢认真对待可靠性的人和探索软件边界的人。他认为,基准测试可能误导那些没有时间深入了解分数背后情况的人,并表示,要让智能像逻辑门一样可靠,仍是一个很高的目标,前方还有大量工作。

同频道的其他文章

6 张幻灯片17:31EN → 简体中文
AI Engineer· 2026年11月14日Lauren Tan:用可执行的检查让 AI 生成的代码更可信Lauren Tan · SpaceXSI这位 Grok Bot 工程师介绍了团队如何通过架构、验证和审查,支持大量智能体生成的代码。编程智能体开发流程与测试Software engineering+1
2 张幻灯片17:31EN → 简体中文
AI Engineer· 2026年11月12日Claude Code 需要的引导更少,无人值守工作却需要更强的检查Lydia Hallie · AnthropicLydia Hallie 介绍权限、隔离环境和验证如何接手人们过去在每次会话中执行的任务。编程智能体开发流程与测试Agent orchestration+1
3 张幻灯片14:00EN → 简体中文
AI Engineer· 2026年11月11日删减 skill 指令前,先测试它教会了模型什么Nikolay Petrov · IntelNikolay Petrov 对比模型有无 skill 时的回答,找出已知、有用和有害的指令,再用实际任务检验改动。Agent skills评估上下文工程
4 张幻灯片18:03EN → 简体中文
AI Engineer· 2026年11月11日Dmitry Buykin:当编码智能体快过审查,如何维护代码Dmitry Buykin · Maersk在马士基,每周清理、真实任务回放和业务专家反馈帮助团队理解智能体构建的系统。编程智能体Software engineeringAI agents
4 张幻灯片26:49EN → 简体中文
AI Engineer· 2026年11月11日Ara Khan:选择能随 AI 进步而受益、又不会被取代的工作Ara Khan · ClineCline 的 Ara Khan 解释自动评估循环,并建议工程师选择能从模型进步中受益的问题。编程智能体评估与可观测性Careers
3 张幻灯片12:38EN → 简体中文
AI Engineer· 2026年11月11日Duolingo 如何用智能体补充测试,同时保留人工审查Kush Agrawal · Duolingo定时流程通过生成测试、修复 CI 并将拉取请求交给工程师批准,提高了 iOS 测试覆盖率。编程智能体开发流程与测试Software engineering