Peter Welinder 与 Gustav Söderström：AI 的未来十年

Joel Hellermark 问 Peter Welinder，哪些突破促成了 ChatGPT。Welinder 从 Alec Radford 的语言模型研究讲起，提到 Google 研究人员提出的 Transformer 架构，以及最终形成 GPT-1 的实验。

Welinder 说，尽管有人怀疑模型是否有用、数据是否足够，OpenAI 仍花了多年扩大模型规模。GPT-3 有 1750 亿参数；团队看到了许多潜在用途，却一时无法就产品方向达成一致。

团队推出 API，让开发者自行探索。Welinder 说，许多用户反而直接到 playground 对话、寻求建议或总结文本，这显示出开发更易用的对话界面的机会。

Gustav Söderström 说，围棋等突破曾让深度强化学习显得很有前景，但它可能消耗大量数据。他指出强化学习仍可与其他方法结合使用，包括基于人类反馈的训练。

Welinder 认为，根据 OpenAI 的经验，把简单想法做好并辅以大量工程工作，往往比复杂的附加设计更重要。Söderström 将智能工程比作飞行：解决方案不必复制自然界使用的具体机制。

Söderström 提出，词元预测并不限于文字：经过适当表示，图像和音频也可作为数字序列建模。他推测预测与人类认知可能有共同之处，这是一种类比。

Welinder 说，团队曾对下一词训练能够产生编程等能力感到惊讶，这些任务以前需要专门的网络。他提出，要准确预测文本，模型需要编码关于世界的有用规律。

Söderström 将这一观点联系到“智能是压缩”的想法：紧凑地表示复杂信息可能需要发现其中的结构。嘉宾把它作为理解模型的一种视角，而非已确定的智能理论。

Welinder 讲述了一个加法例子：GPT-4 似乎能够超越记忆的小数相加进行泛化。他将其解释为模型学到了类似算法的东西；这是他在 2023 年的观察，并不保证算术准确。

Welinder 否认 OpenAI 只是扩大模型规模。他说算法、架构改进、数据质量和工程同样重要，而规模关系有助于估计预测性能和更大训练任务的成本。

被问及智能的极限时，Welinder 将其描述为多维概念：上下文容量、速度、模式识别和并行计算是不同因素。他提到的大约 4000 词元上下文属于 2023 年特定配置，并非当前产品规格。

Hellermark 问，如果知识工作的成本大幅下降，什么会变得有价值。Söderström 质疑把 AI 比作外星智能，指出它与人类生成的材料以及受大脑启发的模型有关。

Söderström 建议不仅看经济替代品，也要看互补品。如果预测变便宜，使用预测的其他活动可能变得更有价值；他设想即使是日常请求，也可能调用大量分析和一次性计算。

Welinder 希望自动化能腾出时间用于创造、休息和家庭，而人与人的联系及照护仍有价值。他把这作为可能的结果，并未保证收益会自动惠及所有人。

谈到近期，Welinder 将与 AI 协作比作管理：明确期望结果、指定约束，并说明哪些地方欢迎创造性发挥。Hellermark 提到一个客户聘请诗人指导模型的例子。

Söderström 借鉴 Spotify 的推荐经验：界面设计应与算法表现匹配。如果五首推荐歌曲中只有一首合适，同时展示多个选择可能比只给一个答案更能容错。

他说，同样的原则适用于生成式 AI：用户需要空间修改结果并从错误中恢复。生成式界面可能适应任务，也可能不可预测；产品应避免承诺完美的一键解决方案。

Welinder 认为复杂的提示词技巧可能只是暂时需要。他期待未来系统像优秀建筑师了解客户需求那样主动提出澄清问题，而不要求用户一开始就完美说明一切。

Söderström 问智能是否有上限，或者能否超越人类理解。Welinder 认为机器可以凭速度、记忆和并行探索在某些方面超越人类，但他说自己无法量化最终极限。

Welinder 设想更强的系统可以加快疾病、气候和电池等问题的研究。他对这种变化将如何影响人的体验则不那么确定，并提出人们或许仍会把系统视为实现自己目标的工具。

Söderström 对尚未充分探索的能力带来的产品机会感到兴奋。他追问，当错误变得少见时如何校准信任：罕见错误比频繁错误更容易被忽略。

Welinder 将对 AI 的信任与人们随时间建立的信任作比较。他预计错误仍会存在，包括检索来源本身出错的情况；当重大决定取决于答案时，人们应更仔细地检查来源。

被问及 AGI 时间表时，Söderström 猜测六年半，并明确称这是一个大胆猜测，取决于定义。他认为，更好地利用现有能力可能使系统通过困难的对话测试。

Welinder 将 AGI 描述为能以人类水平或更高水平完成大多数有经济价值任务的系统。2023 年，他给出到 2030 年实现的主观概率估计为 75%，同时指出进展可能并非单一明确的门槛。

Welinder 说，这一前景既令人兴奋也令人害怕。Söderström 认为 AI 像一面镜子，让人重新思考人类身份，并表达了自己将人视为信息处理模式的观点；对谈在对未来的不确定感中结束。