30 秒看懂
Harry Stebbings 采访 Simile 联合创始人兼首席执行官 Joon Sung Park,讨论他早期的生成式智能体研究、行为数据收集、企业应用和研究型公司的建设。Park 将实验结果与公司主张、具有推测性的长期愿景一同提出;模拟结果或客户案例的描述,都不能证明该系统能够预测或因果建模现实世界中的每一项决策。
- 1生成式智能体小镇Park 描述 2023 年的一项研究模拟:25 个游戏角色拥有记忆、规划和反思能力。他们筹办派对是模拟中观察到的行为,并不能证明系统复制了真实社区。
- 2超越口头表达的偏好Park 说 Simile 收集行为和实验数据,研究不同条件下决策可能如何变化。他将反事实推理视为需要评估的目标。
- 3代表性与样本量Park 讨论如何代表总体及其子群体,同时承认收集足够相关数据的挑战。
- 4从演示走向评估Park 引述一项研究:在该研究条件下,模型重现参与者答案的一致性达到参与者重现自己答案一致性的 85%。该数字不应推广到所有行为或人群。
- 5团队与研究重点Park 解释如何平衡研究与产品公司,并重视团队能力互补和共同的严谨标准。
- 6成本与愿景Park 说复杂模拟成本更高;他提出未来单次模拟可能达到数千万美元的成本,是预测而非现有产品价格。
要点建议
- Park 早期的模拟小镇将语言模型与记忆、规划和反思结合,创造了随时间相互作用的智能体。
- 据创始人介绍,Simile 旨在模拟人类偏好和决策,而非仅仅优化理性答案。
- Park 认为实验和行为数据可以支持反事实问题,但可靠的因果结论需要适当验证。
- 代表性、对照观察结果进行评估,以及复杂模拟的成本,都是持续存在的挑战。
- 公司目前专注企业客户,Park 将更广泛的用途视为未来愿景。
- 组建团队时,Park 重视互补技能、责任感,以及短期紧迫感与长期信念的结合。
按章节阅读整理后的全文
从模拟小镇到公司
Park 回顾 2023 年生成式智能体实验及记忆、规划和反思的运用。他解释对人类偏好和行为建模的目标。
Joon Sung Park 回忆 2023 年的一项研究:语言模型能否支持虚拟小镇中看似可信的智能体?研究人员在游戏环境中放入 25 个角色,他们有日常作息、记得互动并建立关系。Park 将结果描述为早期实验,而非经过验证的整个真实社会模型。
模拟设定在情人节前夕。Park 说,这些角色通过互动组织了一场派对,并装饰咖啡馆。这个例子展示的是特定模拟环境中观察到的行为,并不能证明真实人群必然会以同样方式组织活动。
研究将早期语言模型与明确的记忆、规划和反思机制结合。Park 说,多个智能体需要记忆,才能认出彼此,而不是每次见面都当作初次相遇。这些设计帮助研究人员探索持续时间较长的互动。
起初,团队以自然语言文本保存智能体的经历。难点在于决定检索哪些内容,以及如何将不断增长的历史压缩到模型有限的上下文中。即使是一个小镇,产生的事件也可能远超智能体一次能关注的数量。
Park 将反思描述为定期要求智能体检查多条记忆,并形成更高层次的解释。例如,多次去咖啡馆可能使它推断自己有某种偏好或日程繁忙。这些是系统生成的解释,并非人类思维的直接证据。
Stebbings 询问如今的模拟公司做什么。Park 说 Simile 旨在构建人类行为模型,代表个人、子群体,并最终模拟市场中的互动。他将更广泛的生态系统目标作为愿景,而非声称已经解决。
Park 将这一目标与针对编程、数学及其他理性任务优化表现的模型作对比。他的公司希望模拟人物能够反映特定情境中的人类偏好、偏见,甚至错误。能否匹配特定人群的行为仍需实证检验。
行为数据与反事实
访谈探讨人们言行之间的差距、数据收集和因果问题。Park 讨论代表性、评估与计算成本。
被问及人们言行之间的差距时,Park 说 Simile 收集交易和观察数据,也通过客户与供应商收集数据。他认为网页文字包含大量表达出来的观点,而实际行为可能揭示不同的东西。
Park 说,观察行为有助于预测,但客户通常希望改变结果,而不只是预见结果。他以零售商应对预计销售下滑为例。在他看来,有用的工具应该比较不同决策及其后果。
他介绍了随机实验和 A/B 测试作为数据输入,用来了解不同条件下的行为变化。目标是推理反事实,而不只是依赖相关性。访谈并未证明模型能在每一种新环境中可靠推断因果效应。
Park 说,数据收集有两项挑战:招募能代表目标人群的参与者,以及提出能够揭示有意义背景的问题。Simile 寻找普通参与者,而非仅限技术专家,但代表性取决于抽样、覆盖范围和具体问题。
有些访谈从参与者的人生故事开始,包括成长地点及面对过的艰难决定。Park 认为这些背景有助于建模个人视角。讨论没有详细说明每种数据来源的隐私和同意安排。
Stebbings 质疑预测本身并不重要的说法:知道需求将下降可以影响企业采购计划。Park 同意预测信息有用,但认为根本需求是决定如何采取行动应对。
被问到 Simile 是否只是新式调查工具时,Park 说公司的愿景是更通用地代表人群,从而用于不同问题。他设想测试产品发布或多人互动,同时承认这些是更广泛的未来方向。
Park 认为模拟最终可能帮助人们思考气候政策或民主制度等集体行动问题。他将其作为研究愿景提出,而非证明公司今天就能解决这些问题或准确预测政治结果。
Stebbings 询问使用权限和潜在滥用,尤其是政府使用。Park 说强大的模拟技术确实存在滥用风险,并提出代表决策中常被忽视的观点这一目标。访谈没有说明完整的访问政策,也没有证明模拟可以替代直接参与。
谈及样本量,Park 说更多参与者有助于研究更细分的子群体。他给出约 1,000 人作为某些聚焦社会科学研究的示意数字,但所需数量取决于抽样、效应大小、研究设计和人群,并非普遍的准确率保证。
Park 预计模拟结果与实际结果的比较可以形成反馈循环,用来改进后续版本。他描述了生成假设、将其映射到可观察陈述、再检查实际发生情况的过程。能否改善表现取决于测试质量和代表性。
他将这一问题与编程系统的反馈比较:接受或拒绝建议可以提供相对清晰的信号。模拟中的许多结果需要时间才能出现,也不是每个反事实都能观察到。Park 提议以现实世界作为可回答假设的真实结果来源。
算力同样重要。Park 说,调整建模方法后,Simile 的生产模型运行成本降至早期版本的约百分之一。这是公司自述的比较;访谈没有提供足够细节,无法独立评估方法或两版质量是否相当。
客户、验证与应用
Park 描述公司对企业客户的关注、研究结果和产品主张,也概述具有推测性的未来应用及对滥用的担忧。
Stebbings 询问目标市场是否限于大企业,还是最终也包括消费者。Park 说企业客户目前能提供预算和快速反馈循环。他更广泛的愿景是让模拟技术对更多社会成员有用。
Park 回忆 Tableau 联合创始人 Pat Hanrahan 的建议:要求客户付费可以带来有价值的反馈。他将市场研究描述为 Simile 进入企业市场的最初切口,同时说触达更广泛的受众是未来目标。
Park 说,虚拟小镇演示引起高管兴趣,促使团队测试准确性。他引用 2024 年发表的研究:模型重现参与者回答的一致性,约为参与者重现自己回答一致性的 85%。这一比较仅适用于该研究及其任务,并非普遍的预测准确率。
被问及合成人群面板是否会超过当前真人面板市场时,Park 预测它们可能增加组织有能力探索的问题数量。他认为许多研究由于时间、预算或实际限制而无法开展。所提出的市场增长仍是他的预测。
Park 说模拟可能帮助团队在现实中做决定前考虑各种假设。此类测试的价值取决于模拟人群和结果是否针对具体决策得到验证;一个看起来合理的模拟本身并不能证明现实世界中的效果。
Stebbings 询问 Simile 如何平衡研究和商业需求。Park 说公司将研究人员与工程及市场领导者结合,并认为更好的模型既能服务研究议程,也能服务客户。这是他对公司战略的解释。
Park 描述离开 Stanford 后,企业销售进程比自己最初预计的更快。他说,一些大客户因为现有研究方法缓慢或昂贵,愿意在数月内尝试产品。这是他对公司经历的描述,并非普遍适用的销售周期基准。
据 Park 介绍,客户既希望速度快,也希望准确。他讲述有客户将模拟结果与现有研究结果比较,并在数分钟内得到答案。访谈没有披露相关研究、评估方案或这些案例的独立准确率结果。
两人讨论,如果工具能够影响高风险决策,公司应该如何定价。Park 说客户可能同时看重优化和避免重大失误。他举出的潜在损失避免额用于说明价值主张,并非独立核实的节省金额。
Stebbings 将模拟与预测市场比较。Park 说,他希望解释可能的路径以及干预如何改变路径,而不只是估计结果。这些解释仍是假设,需要证据和测试。
建设研究团队
Park 讨论互补的联合创始人、招聘、留任以及从学术界转向创业。他也介绍自己处理投资者关系的方式。
谈及团队建设,Park 说互补技能至关重要。他指出,企业销售是自己需要联合创始人经验的领域,而自己带来研究专长。随着组织成长,他希望在能力缺口成为瓶颈前发现它们。
他也希望团队拥有共同价值观和严谨标准。Park 借鉴自己画人物画的经历,说精心打造的团队通常会体现领导者的一些特质。他寻找愿意承担责任、在职业不同阶段都曾为成功做出贡献的人。
Park 以联合创始人 Michael Bernstein 在不同研究领域之间转换为例,说明自我更新能力。他看重将可辨识的工作标准带到新问题中的能力,而他对个人贡献的具体解读仍是自己的观点。
另一个招聘信号是将不常同时出现的能力结合起来。Stebbings 举例说,一名营销负责人可以同时拥有严谨分析和创造性想象力。Park 认为互补的优势可能让一个人特别有效。
Park 描述一位联合创始人:对眼前风险有紧迫感和警惕,同时坚信长期使命。他认为兼具这两种态度可以避免自满,又不失信念。这是一种领导理念,并非适用于所有创始人的规则。
Stebbings 回应说,短期忧虑本身可以推动准备,提高取得好结果的机会。两人认为,当团队把担忧转化为有用工作时,紧迫感和乐观可以相互促进。
被问到昂贵的 AI 研究人才时,Park 说一些同事的薪酬方案达到数千万美元,但初创公司不一定能匹配大型实验室的现金报价。他强调雄心勃勃的研究愿景和研究人员关心的问题具有吸引力。
人才留任仍是一项担忧。Park 认为领导工作包括创造能让人发挥长处、彼此信任的环境。他说自己的核心研究团队在多个项目中保持合作,前博士导师也加入成为联合创始人。
Stebbings 询问投资人如何区分学术创业公司和有趣但没有可行商业模式的研究项目。Park 寻找既受现实影响驱动、又对智力问题感兴趣的研究人员,包括愿意寻找用户和收入的人。
融资、经济性与未来系统
Park 讲述融资、计算成本及模拟技术的长期愿景,并区分原型与可以评估、可靠使用的系统。
Park 讲述公司融资:据他介绍,此前一轮融资为 1 亿美元,随后一轮为 2 亿美元,约六个月内总融资达到 3 亿美元。他说现有投资者发起了后一轮讨论,Greenoaks 随后加入。
尽管公司近期刚融资,Park 说更多资本可以用于数据收集、算力和招聘。他区分了团队可以增加的投入与无法保证的研究结果。融资数字来自公司自述,增加支出并不保证取得突破。
Park 说自己起初怀疑风投除了资本还能提供什么。作为首次创业者,他逐渐重视值得信赖的导师和引荐,其中包括认识一位联合创始人的引荐。这反映了他与特定投资人的经历。
他还了解到,融资机会可能比创始人预想的更早到来。Stebbings 询问市场是否已经过热。Park 同意部分市场存在泡沫,并说自己关注客户需求、技术进展等基本面。
Park 说模拟成本因复杂程度而异。广泛的细分研究或一系列下游情景可能需要更多计算,尽管他认为这些问题对客户可能更有价值。访谈没有独立证实这些模拟的回报。
Park 推测,两三年后,一次特别复杂的模拟可能花费 1,000 万至 2,000 万美元运行,并以 1 亿美元出售。这是关于未来高端市场的示意性预测,而非当前价格、实际交易或已证明的客户回报。
被问到三年后什么将成为可能时,Park 说关键差距不仅是构建概念验证,还包括评估系统并让其在规模化时可靠运行。早期虚拟小镇展示了一种多智能体模拟;证明它足以支持决策是另一项挑战。
Park 描述了与同事进行的一项思维练习:想象十年后令人惊讶的技术,再问现在能构建什么。这项练习帮助促成小镇实验。他说,从演示走向生产需要更好的模型、评估和可扩展基础设施。
Park 用 CPU 与 GPU 的类比,对比单一高能力推理系统和旨在代表不同人群的多个模型。他对模拟智能体互动可能产生的现象感兴趣,但将这一想法作为愿景,而非已经证实的社会复制品。
Stebbings 询问每个人最终是否可能拥有数字孪生。Park 更强调规模化代表:他设想利用不同观点的模型为决策提供信息。讨论没有证明模拟人物能够忠实代表个人或赋予民主合法性。
主持人询问金融机构是否可以利用模拟获得投资优势。Park 提出未来可能建立量化基金,并指出部分团队成员有量化背景。他将此作为想法,而非正式宣布或交易业绩的证明。
个人决定与最后的思考
对话转向亲密关系、未获充分关注的研究,以及 Park 进入 AI 领域的经历。他回忆了帮助自己进入该领域的导师。
在一个假设存在完美模拟器和先进 AI 的思想实验中,Park 说人们对市场和代表性的许多假设可能改变。该情景明确依赖讨论中目前不存在的能力,不应理解为必然结果的预测。
Stebbings 询问模拟配对。Park 说,他个人珍视自然相遇、共同经历,以及在共同旅程中建立的信任。他认为建立关系的过程本身很重要。
在快问快答中,Park 说大型实验室中许多有能力的研究人员没有得到公众认可。他担心缺乏明确影响愿景的新实验室可能成为有趣的研究项目,却没有可持续的业务。这是他的判断,并非对任何特定实验室的评价。
Park 再次强调,考虑 AI 投资时要有独特的数据策略。他认为机器人、推理基础设施和硬件是有趣领域,同时指出机器人领域已经吸引大量资本。他的评论是观点,并非投资建议。
被问到他人对自己做过的善举时,Park 回忆大学毕业后搬到 Palo Alto,当时一个早期创业项目进展不顺。他希望进入 AI 研究领域,却缺乏研究经验。Stanford 教授 Mary Wootters 花时间给他建议,并介绍他认识帮助其起步的人。
Park 说,那些早期导师愿意支持一个看起来并非显而易见人选的人。他一直感谢他们的建议和引荐。Stebbings 最后强调,不要忘记最初相信一个项目的人。
同频道的其他文章
23:48EN → 简体中文
1:13:26EN → 简体中文
59:41EN → 简体中文
1:19:50EN → 简体中文
1:03:05EN → 简体中文
1:17:09EN → 简体中文