Devin、SIMA 与 Figure：2024 年三个智能体演示说明什么

2024 年 3 月，AI Explained 比较三个智能体演示：Cognition 的 Devin、Google DeepMind 的 SIMA 和 Figure 的人形机器人。讲述者提醒，这些系统在各自领域距离人类表现仍有很大差距。

Devin 被介绍为配有代码编辑器、终端和浏览器的软件智能体系统，而非单独的模型。讲述者对其底层模型作出推测；节目没有独立确立所有组件。

他讨论报告的 SWE-bench 结果，并与早期基线比较。基准分数取决于基准版本、工具和辅助条件，因此不能直接衡量软件工程师的全部工作。

数据集由选取的 GitHub 问题及其相关的已接受变更组成。讲述者询问，筛选具有测试的问题是否会让基准较少代表更难或更难衡量的工作。

他介绍评估生成补丁的局限，以及让智能体使用工具检查代码和相关上下文的潜在价值。成功完成基准任务并不能确立通用自主能力。

视频提到其他编程智能体公司及模型能力未来可能改进。这些比较和预测反映 2024 年可用的信息，并非当前产品基准。

讲述者承认人们对就业的担忧，并说未来劳动力影响难以预测。他对人类经济仍然乐观，同时承认具体工作可能变化。

他介绍 SIMA：一种受训练在三维游戏环境中遵循指令的研究智能体，并将其与手机或计算机交互的其他工作联系起来。在选定短任务上成功，不等于能够可靠完成任意现实任务。

研究描述利用多个游戏中的经验，并测试向陌生环境迁移。讲述者强调正向迁移，同时指出任务与底层感知的局限。

他讨论视觉基准，以及准确导航或操作界面的困难。更好的基准结果可以是有用证据，但不能保证在所有环境中都稳健运行。

视频转向 Figure 的人形机器人，以及涉及物体识别和物理操作的演示。讲述者讨论视觉语言组件，但单个演示不能确立通用机器人能力。

他介绍公司关于降低劳动力成本、机器人最终制造其他机器人的愿景。这些是公司的长期预测，并非已证明的经济结果，也不能保证体力劳动会变成可选。

讲述者引用科技高管的乐观时间表和算力增长估计。这些预测依赖对硬件、效率和应用进展的假设，不能证明某种能力一定按期出现。

最后，他呼吁关注快速变化，同时反对仅凭 Devin 的基准结果就认定通用人工智能已经实现。他区分了令人印象深刻的演示与更广泛的能力主张。