2024 年 7 月 AI 新闻：小模型、机器手与自充电无人机

本周有各种各样的 AI 新闻。报道称，Meta 可能很快发布 400B 级的 Llama 3 模型。在这段 2024 年 7 月 19 日的视频录制时，发布时间、最终能力和发布条款仍只是报道中的预期，因此我期待它推出后再进行测试，而不会把这些细节当作已确认的事实。

Clone Robotics 展示了一只旨在模拟肌肉骨骼运动的机器手和手臂。演示包括旋转以及操作电钻、剪刀等工具。我对其协调能力印象深刻，也想象了未来可能的医疗用途，但抓取工具的演示并不能证明该系统可以自主实施手术。

OpenAI 分享了更多 Sora 示例，包括超现实动物、钢琴演奏者和室内场景。有些画面看起来很逼真，但我注意到动作僵硬、手部不完美和头发异常。另一段片中看似流畅的液体运动让我印象深刻，尽管汽车运动有明显问题；画面看起来真实并不能证明物理模拟准确。

Buildbox 4 的演示展示了如何通过提示词改变游戏环境，例如添加雾或制作太空射击游戏。我想象未来人们可以这样创建更个性化的游戏。演示展示的是特定工具和工作流程，并不能保证现在已能按需生成任何游戏。

Mistral 发布了面向数学的 Mathstral 7B，公布的上下文长度为 32K，采用 Apache 2.0 许可证。展示的表格比较了它与其他小模型在若干数学基准上的表现。这些数字有助于理解受测任务，但不能证明它在每种数学应用中都全面领先。

Codestral Mamba 是基于 Mamba 架构而非传统 Transformer 的代码模型。Mistral 描述了其推理扩展效率，以及理论上建模长序列的能力。理论说法并不意味着实际的上下文、记忆或准确率无限；展示的基准比较的是特定模型和任务。

与 Nvidia 合作开发的 Mistral NeMo 是一个 12B 模型，公布的上下文窗口为 128K，采用 Apache 2.0 许可证。Mistral 将它与 Llama 3 8B 和 Gemma 2 9B 等较小模型比较，并强调其多语言表现。我对最终可能在更多个人设备上运行的小模型很感兴趣，不过实际部署仍取决于硬件和工作负载。

一项调查对与 EleutherAI 相关的数据集 The Pile 中包含 YouTube 字幕提出了担忧。Berman 称这些数据未经授权收集并将其称为被盗，但这一法律定性存在争议。数据集包含字幕、某家公司使用该数据集，以及某个具体模型使用了哪些训练数据，是需要分别提供证据的不同主张。

Anthropic 发布了 Claude 安卓应用，作为安卓用户，我很高兴看到这一点。当时我对 Claude 3.5 Sonnet 的评价很高，不过称任何模型为最佳都取决于所考虑的任务和时期。这是 2024 年 7 月的情况，不是当今的排名。

Andrej Karpathy 宣布创办教育公司 Eureka Labs，设想由 AI 助教辅助人类设计的高质量课程材料。这个想法旨在让更多学习者获得耐心、易于获取的指导。计划中的第一门课程 LLM101n 将引导学生构建一个小型 AI 模型。

Groq 宣布推出 8B 和 70B 两种规模的 Llama 3 工具使用微调模型。团队表示，它们完全使用合成数据进行微调，并检查了过拟合；展示的 Berkeley Function Calling Leaderboard 在特定类别中比较了这些模型。Groq 还报告了较高的推理速度，但速度取决于服务配置和测量条件。

南丹麦大学的研究人员展示了一款能停在电线上充电的无人机。电缆导向装置帮助被动抓取器定位，机载传感器辅助接近，感应充电器则获取能量。我想到未经授权取电的可能性，但一个原型并不能证明它能无限飞行或已经普遍部署。

OpenAI 推出了较小、成本较低的托管模型 GPT-4o mini。一张历史图表比较了包括 Llama 和 Mistral 在内的部分模型的 MMLU 分数和价格。这只是一项基准和特定时间的价格比较；用户还需要考虑任务质量、隐私、服务成本以及是否需要本地部署。

最后，我展示了一个 2024 年的例子：改变提示词的表述方式导致不同的安全回应。解释问题不需要复现危险请求内容：不一致的防护可能让不安全的回答出现。我认为越狱会一直存在，这是对持续安全挑战的判断，并不是一次实验或随机性本身能够证明的结论。