30 秒看懂
Surge 创始人兼 CEO Edwin Chen 与 Harry Stebbings 探讨公司建设及 AI 模型所需的数据。节目称公司未获外部融资,收入超过 10 亿美元;Chen 说 Surge 从第一个月起便已盈利。访谈未独立核实财务说法,也未说明可供比较的收入期间;他对竞争对手以及人工数据与合成数据的观点,来自一位数据供应商的 CEO。
- 1小团队与优先事项Chen 认为小团队能够减少内部开销,专注客户。他用数字进行的生产力比较旨在说明观点。
- 2数据问题Chen 将创立 Surge 的缘起追溯到在 Twitter 难以获取有用的训练数据,并说他亲手构建了初始产品。
- 3自筹资金的增长Chen 说 Surge 从第一个月起便已盈利,不需要外部资本。访谈未独立核实其财务表现。
- 4质量先于算力Chen 认为数据质量是首要瓶颈,并警告糟糕的评估可能造成进步的假象。
- 5合成数据与人工数据Chen 认为合成数据有用,但人工样本仍然重要;Surge 在这一主张上有商业利益。
- 6不同的 AGI 时间表根据对 AGI 的定义,他为自动化普通工程师的工作和治愈癌症提出了不同时间。
要点建议
- Chen 将 Surge 早期增长归因于对高质量数据的需求、直接联系客户及对产品的专注。
- 他认为,小团队减少不必要的会议并优先解决客户问题,便能更快行动。
- 他认为目前数据质量比算力和算法更构成瓶颈,这一判断与 Surge 的业务相关。
- 他认为基准测试的提升可能具有误导性,合成数据也有局限,但访谈没有提供系统比较。
- 他对 AGI 时间表的预测取决于所讨论的能力,具有推测性。
按章节阅读整理后的全文
开场与公司效率
Chen 介绍他对公司规模、优先事项和会议的做法。他与大型公司的比较是其个人判断。
Harry Stebbings 与 Surge 创始人兼 CEO Edwin Chen 讨论如何在没有外部融资的情况下建立一家 AI 数据公司,以及模型训练的未来。节目称公司收入超过 10 亿美元,Chen 则说公司从第一个月起便已盈利。访谈未说明可供比较、经审计的收入期间或利润指标;Chen 在他讨论的市场中拥有直接商业利益。
Stebbings 问及 Chen 所说的大型科技公司里 90% 的人在处理无用问题。Chen 认为,小公司减少会议、面试和进度汇报,可以行动更快,也让每个人更清楚地了解客户。他提出的百分比和生产力增长只是说明性判断,并非实测比较。
被问及如何判断什么事重要时,Chen 说,小团队更容易看清客户的问题以及同事的工作。根据他的经验,大型组织可能转而奖励给管理者留下深刻印象或支持内部扩张的项目。他举例说,有些内部工具节省的时间,原本正是花在为了扩张而招聘上。
Chen 说,管理者的雄心可能让维护和扩张组织本身成为目标。面试时,他寻找对产品提出具体问题并建议改进的候选人,而不是只关心自己会管理多少人的人。
Chen 说自己没有固定的一对一会议,并尽量保持日程清爽。他认为,已经每天沟通的同事应当在问题出现时及时提出,而不是等到预定会议。他说 Surge 会坚决取消不必要的会议。
他相信有朝一日可能出现价值 10 亿美元的单人公司。他结合现有小企业的例子与 AI 对生产力的提升提出这一论点;这是预测,并非这种企业已经出现的证据。
工程师与数据质量
他讨论生产力,并将 Surge 与其他数据供应商比较。他的竞争方面的说法未经独立核实。
谈到“百倍工程师”,Chen 设想编程速度、创意、努力程度和减少会议等优势会相乘。他认为,AI 可能尤其有利于那些想法多得来不及实现的优秀工程师。这个倍数是概念性估计,而非受控测量。
被问及 Surge 的地位反映的是自身效率还是竞争对手管理不善时,Chen 说两者都有。他将一些竞争对手描述为没有技术衡量或改善数据质量的劳动力供应商。作为竞争性数据业务的 CEO,他的描述是一项商业主张,并非对特定公司的独立评估。
Chen 说,Surge 从数据质量出发,构建技术加以衡量和改善。他认为,资历本身不能证明一个人能做好任务,系统也必须发现作弊、共享账号以及不允许使用时由 AI 生成的工作成果。他的例子是对问题的判断,并非对工作者的量化审计。
创立与早期客户
Chen 解释他在 Twitter 遇到的数据问题,以及如何构建 Surge 的初始产品。他还讨论融资、动机与客户需求。
Chen 将公司缘起追溯到自己的机器学习工程师经历。他说,在 Twitter,一个简单的情感标注项目耗费数月,结果却很差,因为标注员不理解俚语和标签;最后他亲自标注了推文。他还希望获得数据,让推荐系统朝有用内容训练,而不是奖励耸动内容的点击量。
Surge 成立于 2020 年,时间紧随 GPT-3 发布之后。Chen 说,他在几周内亲手构建了第一个版本,在博客上介绍,并直接与潜在客户交谈。此前的经验帮助他理解研究人员的需求;他说市场需求很快显现。
Chen 批评一些创始人尚未找到自己相信的问题,就把融资当成地位象征。他建议大多数软件创始人先构建并测试最小可行产品(MVP),同时承认资本密集型硬件或其他项目可能在做出可用原型前就需要投资。
Stebbings 问,创始人应该追求特别适合自己的想法,还是只需做好执行。对于有雄心建立基础性公司的创始人,Chen 倾向于前者:他希望创始人拥有独特信念,并愿意承担重大风险。这是他的理念,而非保证结果的规则。
对 Chen 而言,成就感来自客户告诉他,他们的模型发布离不开 Surge,也来自分析数据、发现改善模型的方法。他将客户的评价作为自己的经历讲述;访谈没有独立衡量 Surge 对具体模型发布的贡献。
早期客户通过电子邮件联系 Chen 或直接与他见面,有些合同需要一两周谈判。他说,Surge 同时开发产品和招募工作者。按他的说法,区别在于公司还建立了方法,识别高质量工作并向研究人员呈现数据。
Chen 希望机器学习工程师直接查看数据。他认为,当样本包括诗歌、数学问题或研究时,亲自查看材料有助于开发者理解他们正在教模型什么。他说需求从第一年就很明显,但没有披露那一年的收入。
不靠外部融资实现增长
Chen 介绍盈利、客户选择、招聘与 ChatGPT 的影响。他还谈及 Scale 交易后客户的兴趣,以及他希望保持独立的选择。
Stebbings 问,需求明确后,公司为何没有融资或雇用传统销售团队。Chen 说公司从第一个月起便已盈利,不需要这笔资金;他希望客户本身就理解并重视高质量数据。他说早期客户会塑造产品,因此与产品愿景一致很重要。
主持人质疑,过于密切地倾听少数客户是否会导致产品无法服务更广泛市场。Chen 回答说,强有力的产品愿景可以起到筛选作用:Surge 把质量放在首位,在无法保证质量时会拒绝项目。他与竞争对手的对比是他自己的描述。
被问及何时曾让质量下降时,Chen 说自己没有这样做,并告诉员工质量比截止日期更重要。他说必要时可以推迟或拒绝工作。这是他对公司做法的描述,并非每次交付都达到质量标准的独立证据。
谈到招聘,Chen 认为紧迫感可能来自原本就不重要的工作。他说公司不应仅为了增加人数而降低标准,工程团队人数不增长也不一定意味着业务失败。
Stebbings 问,行业是否转向推崇最小团队和人均收入。Chen 说自己没有足够密切地关注这场讨论,无法判断。虽然他曾在 Twitter 工作,但他重视与硅谷流行观点保持距离,并认为重要研究或产品会通过同事和其他渠道传到他那里。
Chen 没有透露第一年的收入数字,只说公司从一开始就表现良好。他认为 ChatGPT 是增长的转折点,因为它让人工数据和基于人类反馈的强化学习的价值更加明显;他说在此之前公司增长已很强劲。
Stebbings 问及 Scale 交易和客户流动后,Chen 说 Surge 获得了大量新的关注,其中包括此前使用 Scale 的团队。他称研究人员已经知道 Surge,并赞扬其数据质量;客户迁移情况和他所说的竞争排名都未经访谈独立核实。
Stebbings 问是否一切都有价格。Chen 说,即使是 300 亿美元或 1000 亿美元,他也不会出售公司,理由是公司盈利、他掌握控制权,并有资源追求自己的目标。这些是假设数字和他的个人意愿,并非披露的报价或估值。
Chen 说他的动力是帮助实现 AGI,并称 Surge 对前沿实验室的工作有所贡献。他认为被收购会限制这一使命,因此更愿意继续独立经营。他赋予 Surge 的重要性反映了其创始人兼 CEO 的立场。
AGI 与数据瓶颈
Chen 讨论长期研究、招募专业人才和衡量数据质量。他认为基准测试的提升可能产生误导。
Chen 说,如果到 2040 年 AGI 仍未出现,原因可能包括仍需算法突破和收集数据所需的时间。他以医学实验为例,思考模拟或其他方法能否加快进程,同时承认自己不知道答案。
Chen 说 Surge 平台上有受过高等教育的专家,但认为博士学位本身不能证明一个人具备创造有价值训练数据的技能。他看重创造力、实际判断力和发现难题的能力,而不只是资历或狭义测试表现。他对专家队伍规模和质量的说法属于公司自述。
他描述了在众多任务中识别最佳贡献者、同时过滤垃圾内容和作弊的挑战。他说平台可能有数十万或数百万人,以及数千个项目,但没有给出确切人数或时间范围。在他看来,快速行动的研究人员需要在数天或数周内获得新专业人才和工作流程。
被要求给瓶颈排序时,Chen 将数据质量列为第一,算力第二,算法第三。他认为,更多算力无法修复糟糕的训练数据或具有误导性的评估目标。作为数据供应商的负责人,他从这种强调中获得商业利益;这是他的排序,而非已确立的行业共识。
Chen 说,有些团队训练和评估模型数月后才发现,不良数据让表面进步具有误导性。他以聊天机器人排行榜为例:按他的说法,投票者可能不核实准确性,就偏好冗长、排版漂亮或表情符号丰富的回答。他举例说一个模型错误地称教皇 Francis 仍在世,但访谈没有提供系统性的基准分析。
Stebbings 问及 Grok 的基准测试表现。Chen 认为,狭窄的学术问题未必代表现实世界的能力。他还称赞 xAI 团队的工作强度和使命感,并披露 Surge 与其密切合作;他的印象受到客户关系影响。
合成数据与业务指标
他探讨合成数据和专业模型,随后谈到自己的财务知识盲点及希望采用的进步衡量方式。他的公司销售人工数据服务。
Stebbings 问合成数据是否威胁人工标注。Chen 说合成数据在某些场景有用,但人们高估了它的价值。他称一些客户发现,一千或几千条高质量人工样本比一千万条合成样本更有价值;访谈没有提供具体任务、比较方式或测量方法。
Chen 认为合成数据可能过于狭窄,而模型可能重复某些特有错误。他举例说,一个模型插入了不相关的俄语和印地语字符。他认为人工判断可以作为外部检查。这些例子和因果主张不能证明合成数据普遍无效;Surge 销售人工数据服务。
Stebbings 在询问专业模型与通用模型之前,披露自己是 Poolside 的大使。Chen 认为两者都有空间:大模型可能覆盖许多用途,而规模较小、目标专注的团队可能行动更快,或做出通用模型提供商无法做出的产品与文化选择。这是对竞争取舍的预测。
被问及自身弱点时,Chen 说自己难以理解财务术语,也并不总是知道公司的收入、成本或利润率。他更希望有一个指标衡量模型是否真正进步,以及 Surge 通过数据、评估和研究洞见贡献了多少。目前他用项目的多样性和复杂性作为不完美的替代指标。
工作、安全与预测
Chen 讨论工作习惯、AI 安全和对 AGI 的不同定义。他以对模型提供商及生产力的预测结束访谈。
Stebbings 认为,建立一家价值超过 100 亿美元的公司需要持续工作。Chen 同意创始人必须愿意努力工作并接听客户的紧急电话,描述了凌晨两三点收到的请求,以及数小时内交付一万个数据点的假设情形。但他区分工作时长与创造的价值,并说好主意也可能在散步时出现。
Chen 喜欢为客户发现并写下关于模型、算法和数据集的独特见解。在快问快答中,他认为 AI 安全值得重视:针对错误目标优化的模型,如今可能产生误导性的基准提升,随着能力增强还可能造成更严重的后果。这是风险论证,并非对某种具体伤害的已证实预测。
被要求在 2028 年和 2038 年之间为 AGI 选择时间时,Chen 将答案与定义联系起来:他提出 2028 年用于自动化普通工程师的工作,2038 年用于治愈癌症。两者都是推测性时间表,而治愈癌症也不是单一且定义清晰的基准。他说,对于专注困难问题的公司,现有模型还无法完成一半有意义的代码和创意。
Chen 说前沿实验室应当问自己是在提升智能,还是仅仅优化基准;产品公司则应问为什么实验室不能取代自己。Stebbings 质疑实验室能在应用领域拓展多远。Chen 同意它们无法包揽一切,但认为通用对话界面可以承担许多简单任务;他估计它已经替代了自己过去约一半的 Google 搜索。
被问及如果身处 Google 会怎么做时,Chen 说,公司面临一个艰难选择:接受短期广告收入损失,以构建更好的产品。他现在预计会出现多家前沿 AI 公司,而非一家,各有不同优势和边界;他举出了自己对 Claude、ChatGPT 和 Grok 的印象。这些是他在访谈时对产品的判断。
尽管 Stebbings 质疑所需资本巨大且现有投资者已有投资对象,Chen 仍认为可能出现重要的新模型开发者。他认为,如果真正雄心勃勃的 AGI 仍很遥远,就有可能出现意想不到的突破,其中或许有 AI 与人类共同参与。他所说距离 AGI 的进展百分比是假设,并非测量结果。
被问及 AI 能否在十年内使 GDP 或生产力提高 10% 时,Chen 说他相信可以;访谈没有提供经济模型支持这一预测。他给过去自己的建议是,关注潜在的十倍提升,而不是纠结于 10% 的渐进变化。
同频道的其他文章
23:48EN → 简体中文
1:13:26EN → 简体中文
59:41EN → 简体中文
1:19:50EN → 简体中文
1:03:05EN → 简体中文
1:17:09EN → 简体中文