30 秒看懂
AI 能完成令人惊叹的任务,却可能难以胜任必须无人值守的日常工作。TypeSafe AI 联合创始人、RLHF 的共同创造者 Diogo Almeida 认为,以人类反馈训练模型有利于提供辅助,却未必能实现可靠的自动化。他建议针对范围较窄、面向机器的可靠决策进行训练,然后把这些能力嵌入软件,而不是只在软件旁边放一个聊天机器人。他的研究方向包括可验证的步骤、智能体共享记忆、实时安全检查,以及检查代码语义的工具。
- 1基准测试表现与日常自动化能力可能脱节Almeida 对比了出色的基准测试及研究表现,与会计、汽车餐厅点餐等日常工作的自动化难题。他认为区别在于,是否有人工检查和使用输出。
- 2以人类反馈为优化目标更有利于辅助作为 RLHF 的共同创造者,Almeida 认为,围绕人类反馈训练的模型擅长取悦和辅助人类,但其优化目标并非无人值守的决策。
- 3训练任务的选择可能比算法更重要他把选择正确的任务放在数据、算力和算法之下的基础位置,并以遵循指令的训练为例,说明改变任务可以大幅改变模型行为。
- 4少数失败也可能破坏自动化他把模型比作 95% 的时间是爱因斯坦、5% 的时间是憨豆先生:如果无法识别失败,平均表现再出色也不足以放心委派任务。
- 5面向机器的智能可能成为新的软件基础组件Almeida 用蓝色 LED 作类比,设想智能与现有软件结合,以处理意图和语义,而不只是添加聊天机器人。
- 6智能体记忆和共享状态需要工程设计他追问,为什么智能体必须反复重新发现代码库的上下文,并提出改进检索、共享状态和任务路由,减少对 KV 缓存的依赖。
- 7语义检查可以检验含义,而不只是类型形式他构想了一个 AI 辅助类型检查器,验证一系列函数是否持续满足某些属性,例如确保个人信息已被移除。
要点建议
- Almeida 认为,出色的助手不一定是可靠的无人值守工作者。
- 选择训练任务和数据时,要让它们与产品所需的行为相匹配。
- 把智能体工作流拆成可检查的步骤,并明确管理状态。
- 探索智能体之间共享和检索记忆,避免反复重新发现相同的上下文。
- 把实时安全检查和代码语义检查作为快速、可靠模型的可能应用。
按章节阅读整理后的全文
为什么表现惊人的 AI 仍难以完成普通自动化
Almeida 对比了基准测试的成功与需要可靠决策的工作。他认为,是否有人工审查可以部分解释其中的差距。
为什么 AI 能做出令人惊叹的事,却在许多其他任务上派不上用场?Diogo Almeida 说,从业者需要清楚回答这个问题。他参与创造了 ChatGPT 和基于人类反馈的强化学习(RLHF)。他说自己喜欢智能体和聊天机器人,但对它们的局限,以及承诺与交付之间的差距感到担忧。
他对比了两种看法:一边的人看到模型在基准测试中超过人类,不断预测通用人工智能即将到来;另一边则看到,在科技中心之外,世界似乎并没有发生那么大的变化。他同时认为 AI 具有变革性,而它目前带来的影响仍不如预期。
他认为,区别在于模型表现惊人的任务往往有人类参与。研究助手写出的报告可能比他的好看得多,但他说,如果正确性至关重要,人们可能仍会选择人类,因为答案需要核查。

自动化要求系统作出决策并交给后续流程,而不只是给出令人满意的回答。Almeida 认为,代码是自动化的语言,所以承担这一角色的智能需要与代码集成。
针对自动化真正需要的行为训练
他认为,人类反馈训练奖励的是有用的辅助。他提出把任务选择、数据和范围较窄的可靠结果放在中心位置。
他觉得自己参与创造 RLHF 一事颇具反讽意味:他认为,训练目标中包含人类反馈,恰好有助于解释为什么模型依赖人来判断输出。他说,即便是可以自动检查的任务,结果往往仍需要人工验证。
按照他的理解,模型针对辅助进行优化,并且可以做得非常出色。但他认为,无人值守的认知工作是另一种目标:后台运行的系统必须作出可靠决策,不能依靠人抓住每一个错误。
Almeida 把 Jev 介绍为 TypeSafe AI 重新思考面向机器的智能的一次尝试。他说,团队不只是更换界面,还重新考虑了应该优化什么行为,以及模型应该如何融入软件。
他概括了 Richard Sutton 的“苦涩教训”:规模和算力相对于特定算法很重要。Almeida 进一步提出一个层级:数据比算力更重要,而选择正确的任务更加根本。他认为,判断目标要看它最终能让系统做什么。

他以掩码语言建模和预测下一个 token 为例进行对比。事实证明,后者特别适合生成文本。他认为,如果模型的训练目标不同,单纯增加算力也不会使它等同于为生成序列而设计的系统。
他还提到遵循指令的能力:在相关人类反馈数据出现之前,模型的表现很不一样。他认为,即便是相对较小的模型,只要用合适的反馈进行训练,在遵循指令方面也能超过大得多的模型,这说明改变训练任务的影响。
追求可靠,而非偶尔表现卓越
即使不可预测的失败只占一小部分,也会妨碍无人值守使用。Almeida 说,Jev 的目标是面向机器的可靠智能。
Almeida 用一个比喻描述可靠性问题:模型 95% 的时间是爱因斯坦,5% 的时间是憨豆先生。如果用户无法区分两者,就难以实现自动化。他希望优化范围较窄的任务上的稳定表现,而不是依靠偶尔的出色表现,再由人验证。
他认为开发者对 Jev 的反应来自对可靠性的关注,而不仅仅是速度、成本或界面。他呼吁其他团队也构建同样可靠的模型,并将其视为他所说的智能软件的基础。
智能软件的第四种逻辑门
Almeida 将 AI 比作蓝色 LED:新组件可以创造超出自身直接用途的新组合。他希望把智能放进软件工作流内部。
Almeida 说,尽管 AI 取得进展,软件本身除了编写成本降低,变化却少得令人意外。在应用旁边放一个聊天机器人,与把智能嵌入应用的决策流程并不一样。他希望工程师探索后者。
他的类比是蓝色 LED。红色和绿色 LED 已经有用,但加入蓝色后,才出现了白光和现代显示屏等组合。一个新组件可以让整个系统的可能性大幅扩展,远超过它在原有组件中所占的比例。
他把面向机器的智能想象成普通运算之外,概念上的第四种逻辑门。软件可以处理含义、意图和常识:例如判断一个邮箱地址看起来是否真实,而不完全依赖复杂的匹配规则。他说,要达到这一未来,模型需要便宜、快速且可靠。

Almeida 把探索这些可能性的工作称为“软件研究”。他预计,就像早期互联网一样,很多实验会很奇怪,或者价值并不明显,但分散开展的探索能够发现事先难以预见的能力。
智能体与语义软件的工程议程
他主张任务拆分、验证和状态管理。潜在方向包括共享记忆、实时安全和语义类型检查。
他提出的方法是熟悉的软件工程:拆分任务,尽可能让每个步骤都能独立验证,并明确管理状态,而不是假设整个系统的状态都存在一个模型上下文中。他希望工程师在拓展软件边界时,关注最终结果。

他认为,帮助模型复用已处理上下文的键值缓存(KV cache)限制了智能体的设计。他问,为什么记忆检索必须随着全部历史上下文一起增长,以及为什么编码智能体不能从过往工作中检索相关部分,从而利用完整历史。
与此相关的问题是协作:为什么多个智能体必须各自重新发现代码库中的相同模式,而不能共享状态?Almeida 也希望改进向子智能体的任务路由。他认为,有些设计虽然优雅,却会因为与缓存使用方式冲突而变得低效。
一个更广泛的方向是表达指令的精神,而不只是字面内容。Almeida 提到委托代理问题:委托工作的人与代表其行动的人的利益可能不同。他认为,僵硬的规则可能带来漏洞。
他提出实时智能安全是另一个应用。在他看来,识别可疑行为可能比实施行为更容易,但防御系统必须足够快、便宜且可靠,才能持续运行。他设想组织将这类检查纳入安全系统。

他还构想了语义依赖类型:检查器不只验证输入和输出的类型形式是否匹配,还要检查函数承诺的属性在语义上是否成立。例如,它可以检查一系列函数是否持续保持“已移除个人信息”这一属性。
新界面也是一个机会。Almeida 回忆起让软件“按我的意思做”的旧愿望,单靠人工编写规则很难实现。他认为,更强的语义理解可能使不同的交互方式变得可行。
低质量生成内容、趣味实验与自动化的未来
他认为,低质量生成内容部分源自将审查成本转嫁给他人。最后,他鼓励实用自动化和富有探索精神的软件研究。
他说,不可靠的生成内容之所以变成低质量信息,是因为生产者避免承担审查成本,把负担转嫁给了其他人。他认为,如果有人真正阅读并筛选生成内容,确保质量,结果就不一定如此。他希望更好的系统也能帮助过滤不想接收的内容。
不是每个实验都必须立即有用。Almeida 提到故意设计得很糟糕的用户界面,认为这也是一种有趣的软件创作。他说,少数奇怪的想法可能最终产生价值;他希望在严肃工程之外,也能培养这种探索方式。
他请软件工程师重新思考那些被视为固定不变的边界:如果智能成为可靠的组件,还有什么不能自动化?他设想,未来更多问题将从“能否自动化”变成“实现自动化需要多少工作”。
最后,Almeida 感谢认真对待可靠性的人和探索软件边界的人。他认为,基准测试可能误导那些没有时间深入了解分数背后情况的人,并表示,要让智能像逻辑门一样可靠,仍是一个很高的目标,前方还有大量工作。
同频道的其他文章
17:31EN → 简体中文
17:31EN → 简体中文
14:00EN → 简体中文
18:03EN → 简体中文
26:49EN → 简体中文
12:38EN → 简体中文