2024 年 7 月 AI 新闻：智能眼镜、机器人皮肤与模型路由

摘要

30 秒看懂

Matthew Berman 回顾 2024 年 7 月的 AI 新闻，包括扎克伯格对眼镜的设想、Llama 3 405B 预览版、Runway Gen-3、机器人和模型路由。他还讨论 AI 陪伴带来的问题，并畅想软件的未来。文中的预测、公司演示和基准结果均放在当时的历史背景下呈现。

1AI 眼镜的愿景扎克伯格介绍了无显示屏眼镜、抬头显示以及未来全视野全息体验的构想。
2AI 陪伴与担忧Berman 讨论有关大量使用 Character.AI 的个人叙述及其对孤独感的潜在影响。
3机器人上的培养皮肤一项研究演示使用锚定结构，将活的工程化组织固定到机器人表面。
4通过路由降低成本LMSYS 报告，在特定测试中将请求分配给较强或较便宜的模型可以降低成本。

要点建议

扎克伯格描述了 AI 眼镜从无显示屏到交互式全息显示的一种可能发展路径。
研究团队展示了将培养的皮肤附着在机器人表面，而不是造出完整的人类皮肤类人机器人。
有关 Character.AI 问题性使用的个人叙述提出了值得关注的问题，但无法确定发生率或临床后果。
RouteLLM 报告了相对于单独使用 GPT-4 的特定基准成本节省，同时保留了 GPT-4 在这些基准上 95% 的测量表现。
AI 取代软件和开发者的说法是预测，而非已证实的结果。

主题Robotics AI agents 模型与训练 Generative media Model routing & gateways

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

眼镜、Llama 与生成式视频

扎克伯格介绍了可能出现的眼镜类别。Berman 讨论 Llama 预览版和 Runway 的视频演示。

在这期 2024 年 7 月的新闻汇总中，我先播放一段马克·扎克伯格谈 Meta AI 眼镜未来的视频。作为 Ray-Ban Meta 眼镜的爱好者，我对他描述的产品层次很感兴趣：无显示屏的眼镜可用于 AI、录制、音乐和通话；抬头显示可呈现消息和可视化回答；最终还有高端的全视野全息显示。这些是他提出的发展方向，片段并不能证明这些产品或能力已经实现。

扎克伯格设想人们以可互动的全息形象见面，甚至一起打牌。我认为这就是增强现实的发展方向，虽然时间表和实际可行性仍不确定。我还提到有报道称 Apple 正将注意力转向更便宜、更小的头显；我买了 Vision Pro，但发现自己现在很少使用它。

幻灯片 1 / 5Llama 模型选择预览画面中的 WhatsApp 测试版截图同时列出 405B 预览版和 70B 模型。

WABetaInfo 分享的一张截图展示了 WhatsApp 测试版界面：默认模型是 Llama 3 70B，另有针对更复杂提示词的 405B 预览版。2024 年 7 月初，我认为这可能表明 Meta 的大型模型即将推出。我预计它会缩小与前沿模型的差距，但 4,050 亿参数即使经过量化，本地部署的要求也会很高。这些是当时的预览和预测。

Runway 的 Gen-3 Alpha 文生视频模型已经向公众开放，我展示了其演示中的一些例子。画面质量让我很兴奋，我推测 AI 将来可能生成完整的电视剧集、电影，最终甚至能生成互动电子游戏。这些例子只是演示，并不能证明完整作品已经可以制作。

陪伴与模型数据

Berman 讨论有关 Character.AI 的个人叙述，并推测其社会影响。他还回顾了对 AI 生成训练数据的担忧和 Grok 2 的发布时间预测。

看到 Reddit 上一些用户描述难以限制 Character.AI 的使用后，我开始关注这个话题。AI 角色扮演过去并没有引起我的兴趣，但这些叙述提出了强迫性使用的问题，尤其涉及年轻用户。这些帖子是个人轶事，并非具有代表性的研究或临床诊断，因此无法确定成瘾有多普遍或会带来什么影响。

我担心 AI 陪伴可能在短期内帮助一些人缓解孤独，但长期来看也可能取代人与人之间的关系。这是一种假设，而非已证实的结果；影响可能因人和情境而异。我想问使用 Character.AI 的观众，你们从中获得了什么，是否遇到过问题性使用。

我讨论了一个关于模型训练中“人类蜈蚣”效应的警告：当 AI 生成文本充斥互联网，用这些内容训练的模型可能接收到越来越多衍生数据。马斯克表示 xAI 正努力从训练数据中筛除模型生成内容，并预测 Grok 2 将于 8 月发布。当时这只是公司负责人的预测，我也指出，他以前的发布时间表并不总能兑现。

机器人皮肤与工厂演示

一项实验性的皮肤固定技术引起了他的强烈反应。随后，Berman 展示 Figure 与 BMW 相关的公司演示。

东京大学的一项研究演示展示了一种利用受皮肤韧带启发的锚定结构，将活的工程化皮肤组织固定到机器人表面的方法。我觉得那张微笑的脸令人不安，并把这个想法与科幻作品联系起来。这是一项使用培养组织的实验性技术，并不是全身覆盖人类皮肤的类人机器人演示。

Figure 的 Brett Adcock 分享了一段与 BMW 斯帕坦堡工厂有关的演示。他在帖子中描述了一个采用 AI 驱动视觉和神经网络进行抓取的自主系统；视频展示了机器人操作汽车零件。我认为这是有意思的进展，但经过剪辑的公司演示本身无法证明其在工厂中的普遍表现或可靠性。

幻灯片 3 / 5Figure 的工厂演示公司帖子介绍了机器人的视觉与抓取系统。

神经网络计算机与路由

Karpathy 设想的计算机引发了对软件未来的讨论。LMSYS 的 RouteLLM 则提供了实用的路由方法，并报告了基准测试中的成本节省。

幻灯片 4 / 5设想中的神经网络计算机Karpathy 的帖子描述了一种直接接收感官输入并产生输出的假想系统。

Andrej Karpathy 设想了一台“Software 2.0”计算机：单一神经网络接收音频、视频、触觉等输入，并直接产生输出。我将它与自己的观点联系起来：模型可以根据请求动态生成或模拟软件。我推测这可能改变开发者的工作，最终 AI 还可能指导自己的研究；这两种预测都不是已证实的结果。

Karpathy 认为，系统可以从上下文中学习，之后在空闲时进行微调。有人问到 Doom 时，他表示网络或许能模拟它。更广泛的构想是一种按需生成所请求体验的界面，但这个帖子是一场思想实验，不能证明这样的通用计算机已经造出来。

LMSYS 的 RouteLLM 解决了一个更现实的问题：并不是每个提示词都需要最昂贵的模型。利用人类偏好数据训练的路由器可以将简单查询分配给较便宜的模型，将困难查询分配给更强的模型。团队报告的评测显示，与单独使用 GPT-4 相比，路由在 MT-Bench 上降低了超过 85% 的成本，在 MMLU 上降低了 45%，同时保留了 GPT-4 在这些基准上 95% 的测量表现。

幻灯片 5 / 5RouteLLM 基准测试结果LMSYS 报告，在其基准条件下，与单独使用 GPT-4 相比的成本降低情况。

我喜欢这样的可能性：将一部分请求路由到高效的本地模型，以保护隐私并降低延迟，而将更难的请求交给前沿模型。RouteLLM 报告的结果本身不能证明它已经部署到设备端，也不能保证每次查询都有 GPT-4 水平的质量。LMSYS 还报告了与商业路由器在 MT-Bench 上的比较，并公开了代码和数据；我计划在另一个视频中进一步研究。