Richard Socher 谈语言模型、搜索与 AGI 预测的局限

在这场 2023 年 8 月的访谈中，You.com 创始人兼 CEO Richard Socher 告诉 Harry Stebbings，他于 2003 年开始研究计算语言学，随后转向计算机视觉，后来又探索将神经网络应用于自然语言。他讲述的是自己的研究经历；有关具体发明先后顺序的主张也是他的个人说法。

他说，担任 Salesforce 首席科学家时，他学到了营销、管理以及研究对大公司的价值。他称赞 Marc Benioff 善于认真倾听并作出影响深远的决定。他补充说，初创公司较难容纳不能在相对短期内转化为产品的研究。

Socher 认为 AI 取得了重大进展，同时也存在过高的期待。聊天机器人不一定是每项任务的最佳界面：比较餐厅时地图可能更好，查看股价时实时行情可能更合适。他举了 You.com 的例子，而他与该产品有直接商业利益。

他认为，资金增加会带来人才和实验，即便部分支出效率不高。他回忆了早期深度学习研讨会的小型社群，以及当人工设计特征主导许多研究流程时，神经网络遭遇的阻力。

Socher 长期以来的目标是打造一个能够执行不同语言任务的模型，而不是分别训练情感分析、翻译和问答模型。他说，自己的研究曾探索将任务表述为问题，这也影响了他打造搜索产品的决定。

他回忆了一篇提出统一方法的论文遭到拒绝。他类比说，人们用同一个大脑完成多种任务，但这种类比不能证明某种模型架构有效。他认为大模型、数据、注意力机制和硬件让更通用的方法成为可能。

他认为模型规模和数据规模相辅相成：简单模型即使得到更多数据，也不能表示任意复杂的关系；大模型同样需要训练数据。他以线性回归说明模型容量有限。

他将下一词元预测描述为一种利用大量文本进行训练的方法。为了做好预测，模型可以学习编码了有用世界信息的统计关系。这个例子有助于理解训练，但不能证明模型能够可靠推理或拥有完整的事实知识。

谈到数据优势时，Socher 说公开数据和专有数据都很重要。拥有标注过的客服记录的公司可能更容易调整系统，以适应自己的工作流程；基础模型则让初创公司比过去更快地构建初步的通用语言解决方案。

他反对把所有 AI 应用都视为简单的封装。有些应用可能缺乏差异化，但另一些需要建立分发渠道、合作关系、销售流程或检索系统。他说 You.com 的搜索后端很复杂；这一说法来自该公司的 CEO。

对于需要准确且及时的回答，他倾向于检索相关信息并结合语言模型使用。检索可以提供来源和上下文，但这场对话并未证明它能够消除错误。他将其与仅依靠模型不完美的记忆信息作比较。

被问及幻觉是否是一种功能时，Socher 区分了创作虚构内容和事实性搜索。按要求生成想象中的故事可能有用，但回答事实性问题时编造事实就是问题。系统仍须推断用户意图，其输出也需要评估。

他预计模型将频繁更新，但认为一些通用架构可能持续存在。谈到切换模型是否构成决定性优势时，他强调应用如何微调、提示和组合模型，以及如何检索信息。他认为专业预测可能需要不同于语言模型的模型。

2023 年，Socher 预测年底前会出现与当时 GPT-4 相当的开放模型，同时承认闭源模型也可能进步。这是特定时间的预测，并非对预测已经实现的认定。他预计开放模型将服务于许多用例。

他承认开放开发面临协调和资金问题。他希望出现一个类似 Wikipedia、由大家协作改进的模型，并建立决定哪些信息可以加入的机制。这是一种愿景；仅有开放访问并不能解决治理或准确性问题。

Socher 认为政府可以帮助资助开放科学，同时承认支持结果不确定的研究存在政治和官僚方面的困难。他认为搜索是影响重大的语言应用，因为人们每天用它学习、导航和形成观点。

他描述了一种搜索界面：它可以回答问题、生成代码或逐步解答问题，而不只是展示链接。这些是他希望 You.com 提供的功能示例；生成的回答和代码仍需检查，尤其是在事实准确性重要的场景中。

Stebbings 问，如果搜索答案取代了用户访问网页，出版者如何生存。Socher 提议建立开放平台，让内容或应用提供者参与收入分成或订阅。他承认当时采用速度缓慢，因为 You.com 的受众还不够庞大。

Socher 说，分发渠道对初创公司仍然是难题。他称 Google 排名变化减少了 You.com 网站的流量，公司当时正在寻求合作伙伴。访谈提供了他的说法，但并未确定排名变化的原因。

他预计现有企业和初创公司都会创造价值。他称赞 Salesforce，并说 Bing 和 Google 推出了与 You.com 较早的搜索聊天功能类似的功能，同时承认它们可能独立开展了相关技术工作。这些竞争观察来自直接参与者。

Socher 认为，搜索巨头的广告收入可能使其难以迅速转向以聊天为主的界面。他引用了每日收入估算并批评广告体验；这里没有独立证实该估算或任何被指称的排名选择。他将此视为 You.com 的潜在机会，而非确定的优势。

他称赞 Salesforce 的 AI 工作，并说竞争加快了搜索领域的变化。他曾是 Salesforce 高管，现在又是一家搜索公司的 CEO，这些个人和商业联系与他的评价有关。他拒绝指出自己认为落后的一家大公司。

谈到 AGI，Socher 提醒人们不要无限外推近期进步。他以历史上快速改善后遭遇约束的例子说明，进步未必沿着恒定的指数曲线发展。这些类比表达的是他的不确定性，而非确定 AGI 的实现时间。

他认为，当时图像生成的照片写实效果正接近实际应用中的上限，视频则仍有进步空间。这是他在 2023 年的观点，并非已经证实的技术极限。他还认为，人类语言限制了人们对“超人类”语言能力的感知。

Stebbings 指出，技术进步与公众认知的速度可能不同。Socher 预计 AI 会更早影响更多数字化和数据丰富的任务，而非高度多变的体力工作。他预测某些实体服务可能相对变得更昂贵；访谈没有提供支持这一劳动力市场预测的证据。

两人讨论了工作岗位流失。Socher 对面临快速变化的劳动者表示同情，支持通过社会制度帮助人们获得技能、使用新工具。他认为新的工作会出现，但这是一种观点，并不保证失业者能找到同等的工作。

他说，实现 AGI 可能还需要进一步的研究突破，但突破何时出现尚不清楚。他个人质疑仅预测词元的系统是否应算作通用智能，并认为独立目标可能很重要。这些是存在争议的概念性观点，既不是公认标准，也不能证明没有研究者研究自主性。

在快问快答环节，他强调检索的重要性，希望更多人讨论 AI 的近期风险，并说自己没有签署暂停模型训练的提议。他的立场反映了他对风险和收益的判断，而不是科学共识。

展望 2033 年，Socher 希望 You.com 成为数亿乃至数十亿人寻找答案时的默认选择。这是创始人的愿望，不是已经达到的用户数量，也不是有保证的结果。对话以双方互致感谢结束。