Phi-1 与教科书级训练数据的价值

Phi-1 值得关注，不只是因为这个小模型能完成 Python 编程任务，也因为它引出了语言模型未来发展和人类水平智能时间表的问题。我与论文合著者 Ronen Eldan 交流过这些结果。以下是 2023 年的判断，并非确定的预测。

Phi-1 有 13 亿个参数，约为 GPT-3 的百分之一。论文报告它在 Python 编程基准 HumanEval 上达到 50.6% 的 pass@1。Andrej Karpathy 认为，未来对小型专家模型的创新可能更加重视数据质量和多样性，而不只是数量。

论文把数据质量作为除算力和数据量之外的另一条改进路径。此前的 TinyStories 研究用 GPT-3.5 和 GPT-4 生成短篇故事，再用精选样本训练很小的模型。讲解者将这些模型的故事结尾与参数更大的 GPT-2 作比较。

Phi-1 团队筛选了 The Stack 和 Stack Overflow 中有教学价值的代码，得到约 60 亿个 token；又用 GPT-3.5 生成约 10 亿个 token 的 Python 教材数据，以及约 1.8 亿个 token 的练习和解答。Eldan 认为，现有数据的价值远未被充分挖掘。

一张图比较了不同模型规模、算力预算和训练配方。与只使用筛选后的代码相比，加入合成代码教材提高了 HumanEval 成绩；再用练习微调，又带来大幅提升。例如，图中的 13 亿参数模型从 17% 升至 29%，再升至约 51%。

较小模型还展示了重复使用同一数据：尽管数据集本身更小，训练中见到的 token 数从 260 亿增加到 760 亿。Eldan 说，一些研究者原本以为超过一两轮训练就会过拟合。讲解者引用另一项研究，指出少量重复仍可能有用，但重复很多轮后收益会递减。

作者假设，嘈杂、有歧义且不完整的代码数据会增加学习自然语言到代码映射的难度。精选的练习及解答则提供更清晰的教学信号，就像学生从好的练习材料中获益一样。

为了筛选原始材料，研究者用 GPT-4 标注约 10 万段代码的教学价值，再利用代码嵌入训练随机森林分类器。讲解者设想把类似筛选方法用于其他任务，但这些是可能性，而不是已经证明的结果。

Eldan 说，强大的模型既能直接发挥作用，也能帮助构建更好的小模型。讲解者希望领先的 AI 实验室正视这一能力。他还指出，代码练习微调意外改善了一些未直接覆盖的任务，包括使用练习集中没有出现的库。

Phi-1 存在重要局限：它专攻 Python，对某些领域特定 API 和软件包了解不足，而且面对提示词风格变化或错误时不够稳健。作者认为 GPT-4 生成的合成数据可能改善结果；Eldan 则说 GPT-4 更慢、成本更高，他们也希望展示 GPT-3.5 的能力。

讲解者把规模大得多、通过增加训练题目难度来训练的 WizardCoder 与 Phi-1 等重视数据设计的研究相比较。他讨论 Sarah Constantin 的设想：许多专用小模型可能与更大模型的持续进步并行发展，从而改变经济激励。

谈到安全时，他质疑暂停大型算力项目是否只会促使公司从现有资源中挖掘更多能力。他主张围绕具体风险开展公共讨论，并引用研究对生物设计工具被滥用的担忧。这些是风险情景，并非已发生的结果。

在交流中，讲解者和 Eldan 推测变革性 AI 可能在几年内出现，但这取决于投入训练的资源。Eldan 提到 GPU 生产、数据中心、电力、数据质量和算法等可能的限制。讲解者承认，人们对 AGI 的定义各不相同。

一段 Carl Shulman 的访谈讨论了另一种可能：如果 AI 硬件带来很高的经济回报，或许可以支持芯片制造的快速投资，并协助工程工作。他也提出相反的情景：即使投入巨大，扩展和研究收益仍可能停滞。

Shulman 认为，经济资源向 AI 的快速转移不可能永远持续。如果当前扩张无法产生所需能力，后续进步可能更多依赖整体经济增长和人口增长等较慢的因素。他把较多概率放在未来十年的看法是一项预测，而非保证。