Matthew Berman 对 2024 年人工智能的十大预测

在 2024 年初，我提出了十项 AI 预测，涉及新模型、机器人、智能体、合成数据和安全。这些是 2024 年 1 月 3 日作出的预测，并非对最终结果的事后总结。视频由 YouAI 的 MindStudio 赞助。

首先，我预测 Meta 会在 2024 年上半年发布 Llama 3，缩小可获取权重模型与专有模型之间的差距。Llama 1 和 Llama 2 帮助人们在本地尝试和改造强大的模型。它们的发布也附有特定访问和许可证条件；权重可获取并不等于无限制的开源。

在接受 Lex Fridman 采访时，Mark Zuckerberg 表示 Meta 对 Llama 2 的反响感到满意。他说，眼前的重点是将其纳入消费者产品，同时也在开发未来的基础模型。他希望开放发布下一代模型，但表示仍需评估和红队测试，并未给出发布日期。

我认为 Meta 支持更广泛的生态系统、为专有模型提供替代方案，对自身也有好处。Zuckerberg 还将 AI Studio 描述为一个未来让人们像创建其他用户生成内容一样创建 AI 体验的平台。这是他当时对平台的愿景，并不证明用户当时已经能够实现这些功能。

我的下一项预测是 Google 会在 2024 年上半年发布 Gemini Ultra。Google 在 2023 年底的演示引起了关注，但视频经过剪辑，并未展示一段不间断的实时对话。应将精心制作的演示与实际测试流程、论文报告的基准结果区分开来。

Google 将 Gemini Nano、Pro 和 Ultra 描述为适合不同部署需求的不同规模模型。Nano 面向一些设备端用途，而最大的模型需要大量基础设施。我预计企业会争取在其模型之上开发应用的开发者，并预测最初的错误、幻觉和漏洞会随着时间得到处理。

我预计人形机器人和其他机器人将在 2024 年进步。Boston Dynamics 在机器人领域已有很长历史，Tesla 则从真人穿着服装的概念演示发展到了 Optimus 原型。我预计 Tesla 会展示进一步改进，同时承认演示和生产计划不等同于已经部署、可靠运行的产品。

视频中的机器人讨论根据画面估算 Optimus 的行走速度，并争论工厂机器人需要多快。这些估算都是近似值；片段将每秒 1.5 米换算为略低于每小时 2 英里，但实际约为每小时 3.4 英里。有用的速度取决于具体任务，而不是这个片段确立的统一门槛。

机器人评论员预测 Tesla 会举办 AI Day，并在 2024 年第一季度前拥有几十台 Optimus 机器人；我认为这一产量估算过于激进。讨论还指出，驱动关节运动的执行器是重要的工程和制造挑战。我也预计其他机器人公司会带来竞争。

我尤其看好开放权重模型。一张图表比较了部分开放模型和专有模型随时间变化的五样本 MMLU 成绩，我将图中的趋势解读为差距正在缩小。但这只是一个基准和一组选定模型，不能确立所有任务上的通用排名。

我预计量化技术会改进，让模型更容易在消费级硬件上运行，混合专家架构也会更加普遍。每个 token 只路由到部分专家可以减少活跃计算量，但内存需求、硬件条件和准确率之间的权衡仍然重要。我声称几乎任何模型都能以很小的损失在多数消费设备上运行，以及 GPT-4 的架构已知，这些说法超出了视频所能证实的范围。

我还预计会出现更多针对特定领域的模型，包括地理空间和金融应用，并讨论了 Apple 的多模态 Ferret 研究。本地模型吸引我，因为它们可以不依赖持续的互联网连接提供帮助。我对自己的 Apple 硬件与 Nvidia GPU 的比较只是个人经验，结果取决于具体设备、软件和配置。

Jaron Lanier 提出了反面观点：即使资源开放共享，网络效应仍可能催生集中化平台，而有价值的算法或衍生数据仍可能保持专有。我依然看好开放模型，但他的论点挑战了开放必然保证去中心化这一假设。

我还担心，随着出版商和平台限制访问或采取法律行动，有价值的训练数据会越来越难获得。大公司可能更有能力支付数据费用。合成数据是一种可能的应对方式，但它能否替代特定真实世界数据来源，仍需要实证研究。

我预测 AI 智能体会改进，并在编程、研究和数据工作中找到更多实际用途。更好的模型只是其中一部分：智能体还需要有用的角色、指令、工具和协作方式。我预计，随着人们发现哪些应用有效，社区会逐步发展出可复用的工作流。

我回顾了一项让 25 个生成式智能体生活在模拟小镇中的研究，它们表现出看似社会性的行为。这种行为引出了有关人类互动和意识的有趣问题，但与人类行为相似并不能证明智能体有意识，也不能证明它们能可靠预测真人。

在一个片段中，研究者 Joon Park 讨论了智能体模拟未来是否可能帮助社会科学研究，同时强调定义和衡量行为是否可信或准确很困难。我设想可以在民意调查或心理学等领域开展初步模拟。这些只是潜在研究工具，并非经过验证、可以取代人类研究的方法。

我预计协调智能体团队的工具也会改进。其中一个难点是设计系统消息、提示词和角色，让智能体共同产生有用结果。我提到计划评测 CrewAI；此时我描述的是一种预期工作流，而不是证明它已经解决了协调问题。

我的下一项预测是，AGI 不会在 2024 年出现，尽管这个术语本身很难定义。在与 Lex Fridman 的对话中，Zuckerberg 表示自己对单一通用 AI 系统何时出现没有特别见解。他将这个问题与汇聚许多人决策的组织和市场作了对比。

我还引用了 Sam Altman 当时的说法：OpenAI 不预计在 2024 年实现 AGI。对 AGI 的预测取决于如何定义它，不能仅靠引用日期或民意调查得出结论。我当时自己的看法是，它不会在那一年到来。

我预测，随着有价值的数据集越来越难获取，合成数据在训练中会发挥更大作用。模型可以生成用于后续训练的示例，驾驶模拟也可以产生难以在实地收集的场景。合成数据是否有用取决于其质量、验证方式，以及它对预期环境的代表程度。

我提出医疗和金融可能是合成数据有助于缓解隐私顾虑的领域。但合成数据不会自动保证隐私，视频也没有证明它是实现 AGI 的必要条件。我对驾驶数据的比较是一种行业观察，并非对汽车制造商的受控比较。

我预测多模态输入和输出会越来越普遍。Stanford 的讲座片段解释了结合不同模态为何仍然困难：一种信号可能压过另一种，额外输入可能增加噪声，而数据集可能缺少完整覆盖。这些是技术挑战，并不证明未来每个模型都会支持所有模态。

在安全方面，我担心更好的生成能力会让垃圾信息、诈骗和选举相关的冒充行为更难辨认。我预测机器人账号可能变得极难检测，但这些例子并不能证明它们“无法检测”。检测与滥用会共同演变，并因系统而异。

我讨论 Elon Musk 曾提出让 X 用户付费，以提高大规模机器人网络的成本，并利用支付系统进行检查。付费要求可能改变攻击者的经济账，但片段没有证明它可以消除机器人账号，而这样的政策也可能给合法用户带来成本。

最后，我预测 GPT-4.5 会在 2024 年第一或第二季度发布，在速度、成本和质量上有所改进，但不会是 GPT-5。我还指出，早先关于 GPT-4.5 已经投入使用的说法来自猜测和模型自我描述，而非确认的发布证据。这仍是 2024 年初的一项预测。