Aidan Gomez：模型扩展、数据与企业 AI

Cohere 联合创始人兼 CEO Aidan Gomez 认为，增加算力可以改善更大的模型，但数据和方法提供了更高效的路径。他预计通用模型与专用模型会同时存在，供应商之间也会整合。这些观点来自一家参与模型市场竞争的公司。

Gomez 告诉 Harry Stebbings，他在安大略省乡村长大，使用缓慢的拨号上网。为了让连接更快，他开始学习计算机和网络的工作原理。他认为游戏能教会人坚持并在失败后重试；这是个人理解，而非游戏导致创始人成功的实证结论。

两人将游戏逐步增加难度与课程学习作比较。Gomez 说，在他描述的模型训练中，混合简单和困难材料比按阶段安排课程更有效。这是他对当时实践的描述，并非适用于所有学习系统的普遍结论。

被问及增加算力是否是改善模型的主要途径时，Gomez 说扩大规模可靠但效率不高。他称较小模型已经达到或超过一个更大的早期模型，同时指出后者报道的参数量存在不确定性。这是他在特定时间的判断，并不能证明二者在所有任务上等价。

他预计持续扩展需要指数级增加算力，才能取得线性的能力提升；经济限制则会推动更小、更高效的模型。他描述了一种常见流程：先用能力强的通用模型制作原型，再蒸馏或调整较小模型以完成特定任务。他预计通用模型与专用模型将共存。

对于没有超大规模科技公司预算的企业，Gomez 认为数据、架构和方法都提供了不依赖单纯扩大规模的机会。他将开放模型的重要进步归因于更高质量的网页提取、数据选择和合成数据。这是他的判断，并非对各因素贡献的量化分解。

他指出强化学习和搜索可能带来方法上的进步。他希望模型不必对每个难题立即给出答案，而是尝试解决、识别失败并再次尝试。他说，互联网上有很多最终答案，却较少展示推理过程，因此合适的训练数据很难获得。

Gomez 说，企业客户通常不允许 Cohere 使用其私有数据训练。他介绍公司会使用合成数据、人工标注和外部合作伙伴，并认为专注企业任务能缩小公司需要覆盖的范围。这些是 Cohere 所述的实践和商业定位。

他听说，为训练较小模型而生成合成数据占据了大量 API 使用量，但不确定这个市场能否持续。他预计，新任务所需的数据将持续来自模型或人类。访谈没有提供使用数据来支持这一市场判断。

Gomez 说，竞争对手提供低价或免费模型时，仅销售模型很困难。他预计短期利润率承压，并说 Cohere 计划在 API 之外增加产品，同时认为长期来看模型层可能具有吸引力。这是一位竞争者对市场的评估和公司计划，并非已实现利润率的预测。

他说，芯片占 Cohere 支出的很大部分，公司使用 NVIDIA、AMD 和 Google TPU 等平台。他说客户希望在芯片和云服务之间拥有选择，避免被锁定。这既是对客户需求的判断，也是对 Cohere 商业策略的描述。

Gomez 预测，随着选择增多、短缺缓解，会有更多公司开发芯片。在访谈时，他认为 NVIDIA 和 Google TPU 可用于大规模训练，并预计其他平台会逐渐成熟。这些有关硬件供应和价格的观点与预测具有时间背景。

他说，Cohere 使用数据中心合作伙伴而不是自建，因为公司的计算显示供应商价格更有利；如果经济条件变化，或者出现有吸引力但难以获得的芯片，这种选择可能改变。他回忆，公司在需求激增前就获得了算力，而 AI 热潮到来得比他预计更晚、更突然。

作为 Transformer 论文的实习生和合著者，Gomez 说自己没有预见这一架构后来的广泛采用。他曾以为语言模型扩展会更早引发关注，并认为 ChatGPT 易于使用的界面让技术走向大众。

他不认为聊天应该取代所有图形界面：有时点击按钮比输入指令更简单。他回忆早期语言模型能够生成看似可信的维基百科风格文本，后来对对话体验尤其感到惊奇。他也预计语音交互会很有吸引力。

Gomez 说，当模型接近此前提供反馈的人所具备的知识水平时，继续改进会更困难。此时需要更专业的专家，新训练信息也就更加稀缺和昂贵。他还说算力成本下降帮助更大模型成为可能；这些说法都没有明确未来成本曲线。

他估计，随着数据和算力改善，复现上一代模型的成本可能大幅下降，但认为客户往往想要更新的能力。他说去年的模型没有市场，这是强烈的商业观点，并非旧模型没有任何实用场景的证据。

Gomez 说，普通用户可能难以察觉模型在数学或物理等专业领域的新能力，而这些领域的研究人员可能受益。他认为为这些专业应用继续投资值得，但每项进步的价值和成本仍不确定。

他预测模型公司会整合，并警告依赖同时提供资本和算力的云服务商存在风险。被问及投资回报时，他预测 Cohere 的投资者会赚钱，并称赞早期投资者 Radical Ventures。这是涉及其公司和投资者的创始人预测，并非已经实现的回报。

谈到媒体报道超过 55 亿美元的估值，Gomez 承认公司需要增长以匹配估值的压力，并认为由于估值低于部分同行，Cohere 处境更好。他预计免费和低价模型带来的利润压力会改变，Cohere 的产品也会发展。估值来自访谈中引用的报道，比较和预测则来自他的判断。

他钦佩 OpenAI 对模型扩展的坚持，并回忆 Ilya Sutskever 很早就对此有信念。被问及 OpenAI 是否将长期 AGI 置于产品之前时，Gomez 认为其消费产品已成为重点，并猜测 AGI 工作可能退居其次。他对另一家公司重点的解读未经独立核实。

Stebbings 提出，不加价加入 AI 功能会增加成本。Gomez 描述了两种做法：保持原价加入 AI，以吸引和留住用户；或对 AI 功能单独收费。他认为两者都合理，并预计成本下降会帮助选择前者的公司；这是预测，并非利润保证。

Gomez 说，企业采用面临信任和安全顾虑，包括担心供应商用机密数据训练或泄露知识产权。他说 Cohere 提供在客户环境或硬件上的私有部署。这些是公司所述的产品，不应视为独立安全审计。

被问及企业是否会从云端迁回本地系统时，Gomez 说答案因行业而异。他观察到一些金融机构投资自有基础设施，而其他行业继续迁向云端。这只是有限观察，并非经过量化的市场趋势。

Gomez 承认模型会产生幻觉，并说部分基准测试显示错误率曾在下降。他将其与人类犯错作比较，认为可以设计能容忍错误的系统。他对比率的说法具有时间背景；基准测试或与人的比较都不能让模型输出自动变得可靠。

他将检索增强生成解释为让模型访问知识库、检索相关资料并引用来源。他说，这可以减少没有依据的回答，也能让模型访问用户文档等私有信息。检索和引用有助于核查，但他的讨论没有证明它们能消除错误。

Gomez 观察到企业从实验转向生产部署，认为辅助员工是常见场景。他称赞助手的理念，但认为企业需要跨多个供应商软件的工具。这与 Cohere 的商业策略一致，也是他的市场判断。

他看好可能长期独立工作的智能体，例如帮助寻找销售线索。他认为模型开发者可以针对任务修改底层模型，因此可能具有优势。这些是对未来能力和竞争格局的预测，并非已展示能够可靠自主工作六个月的证据。

Gomez 说，企业软件黏性很强，难以被替换，而消费者更容易转向明显更好的体验。他称赞 Salesforce 的领导层，并认为消费 AI 产品可能带来变革。这些是竞争判断，而非已证实的市场结果。

谈到 Google 的研究，他说该公司团队在 Transformer 论文发表后不久就开始训练语言模型，在技术研究方面并不落后。他区分了研究、产品愿景以及组织执行愿景的能力。他还称大幅增加模型训练投入是一个有风险的押注，并肯定 OpenAI 选择坚持。

他不认同 AI 进步已经停滞的说法，预测规划、推理和从失败中恢复等方面还会继续发展。他预计新能力会进入生产环境，但没有提供有关时间或可靠性的独立证据。他认为应用层和模型供应商都存在投资机会。

Stebbings 担心孩子花在与 AI 对话上的时间超过与人相处的时间。Gomez 认为，一个安全、耐心且知识丰富的系统可能具有教育价值，但不能取代人与人之间的关系。这是推测性讨论；访谈没有确立任何实际系统的安全性和影响。

Gomez 预计 AI 将增强员工能力，而非总体上导致大规模失业，同时承认局部岗位会被替代，一些客服工作需要的人可能减少。他认为，让自动化处理令人痛苦的对话可能有帮助。这些是对就业和工作质量的预测，并非已确立的结果。

他预测，随着基于模型的灵活规划改善，机器人会在原先只能执行狭窄预设任务的基础上取得进展。他设想，价格低廉、可靠的通用人形机器人可能在五到十年内出现。这是技术预期，并非此类系统已经成熟的证据。

快问快答中，Gomez 说 Cohere 内部实验让他提高了对数据质量重要性的判断。他说公司累计融资约 10 亿美元，并描述了选择保持独立、而非与大型供应商更紧密绑定的策略。这些数字和战略说法来自当时的 CEO 自述。

他称赞董事 Mike Volpi 和 Jordan Jacobs，并说自己与 Geoffrey Hinton 的个人关系更近，但在 AI 观点上更认同 Yann LeCun 的乐观态度。他对 AI 风险的评论是个人观点，对关系密切的专业人士的称赞也涉及其职业关系。

Gomez 将他所看到的英国技术乐观情绪与他认为欧洲更重监管的环境作对比，同时提到自己与两地都有联系。他说，Cohere 的线下工作更有生产力。这些是宽泛的个人判断；访谈没有提供生产力比较数据。

被问及希望未来如何发展时，Gomez 强调生产力、增加供给和资源充裕。两人用医疗保健中假设性的生产力改善说明其可能的重要性；Gomez 也担心加拿大实际人均 GDP 停滞。他们的例子和政策重点是论证，并非部署 AI 后经过测量的结果。