创作智能体、AI 评估与企业信任：Forward Future Live

2025 年 12 月 12 日，Matthew Berman 和 Nick Wentz 在 Forward Future Live 开场时回顾了一周的 AI 新闻。随后，两人与 Glif 联合创始人 Fabian Stelzer、OpenAI 研究员 Tejal Patwardhan、Vanta 领导者 Christina Cacioppo 和 Jeremy Epling，以及 Amplitude 联合创始人 Spenser Skates 讨论了创作智能体、评估、合规与数据分析。

两位主持人讨论了《时代》杂志 2025 年度人物“AI 的建筑师”，以及封面与纽约高空建筑工人著名照片之间的呼应。Berman 说预测市场早已预见这一选择，而企业买家当时仍在追问 AI 投资的回报。

Wentz 指出，《时代》封面借用了 1932 年洛克菲勒中心建设期间工人午餐照片的构图。主持人注意到这一选择在网上引起强烈反应，也谈到预测市场对这一奖项的预判。

Berman 对预测市场在模型发布时间等事件上似乎展现出的准确性很感兴趣。主持人猜测知情交易者是否起了作用，但没有提供此次存在内幕交易的证据；他们对法律规则的讨论只是猜测，并非法律分析。

主持人还谈到 Nvidia 首席执行官 Jensen Huang 的预测：AI 可能使全球 GDP 从约 100 万亿美元增长至 500 万亿美元。Berman 认为这种可能性存在，但过程不会一帆风顺；Wentz 则指出，Huang 倡导各国建设 AI 基础设施，与 Nvidia 的商业利益相符。这些都是预测，而非已经测得的结果。

谈到美国和中国时，主持人讨论 AI 领导地位的竞争是否可能走向赢家通吃。Berman 说，自我改进的系统实现快速起飞只是一种可能的思想实验，而非已经证实的结果。

主持人表达了对 AI 的热情，同时承认经济转型及收益分配存在不确定性。Wentz 担心各国依赖少数技术领先者，Berman 则提出，如果自我改进的系统实现快速突破，结果可能高度集中。

Fabian Stelzer 将 Glif 描述为一个供人们构建、发现和变现创作智能体的平台。其近期重点是营销和 AI 视频：对话式智能体可以协调生成、剪辑、配音和音乐工具，让人把精力放在创意方向上。

Stelzer 说，Glif 不自行训练基础模型。不同视频模型各有所长，因此智能体构建者可以在多个供应商中选择，而不必让每个步骤都依赖同一个模型。谈话时，Glif 主要使用 Claude 4.5 作为协调模型，同时在评估 GPT-5.2。

Stelzer 认为，没有一个视频模型能在所有任务上都表现最佳。根据他的经验，某些模型更适合特定转场或视觉效果，因此组合使用很有价值；创作智能体可以替用户做出这些选择。

为了让用户不必学会每一种工具也能做出选择，Glif 正在建立有关模型能力的知识库。Stelzer 说，公司把创作者每周直播讨论的文字稿加入上下文，使智能体在技术不断变化时能够利用这些实践知识。

Glif 的 AI 视频创作者每周对话会成为智能体的素材。Stelzer 将这些文字稿视为不断扩充的上下文库，让系统利用新工具使用者的实际观察，而不必让每位用户追踪所有模型发布。

第二层指导来自设计专业智能体的人。Stelzer 发现，专门的工作流往往胜过通用智能体：创建者将可重复的流程编码进去，同时为模型留下适应空间。用户无需了解每条提示词或转场技巧，也能受益于智能体创建者的经验。

主持人问及 Disney 刚宣布与 OpenAI 的合作。2025 年 12 月 11 日公布的协议包括一项为期三年的许可，允许 Sora 视频使用 Disney、Pixar、Marvel 和 Star Wars 的 200 多个角色，Disney 还将向 OpenAI 投资 10 亿美元；两家公司表示，许可不包括表演者的肖像或声音。

Stelzer 认为，这项协议让粉丝有机会在熟悉的世界中试验创意，包括那些无法进入传统编剧室的创作者。他认为制片方可以从受欢迎的粉丝作品中学习，但他更大的预测是，便捷的生成技术可能改变媒介本身，而不只是生产更多传统电影。

Stelzer 设想，观众的实验可能为已有系列作品提供灵感，但他更感兴趣的是可能出现的全新形式。他以印刷术作类比，说明一项技术可能催生其最初使用者无法预见的新形式。

谈到个性化媒体可能是什么样子，Stelzer 提醒说，新技术常常产生人们意料之外的形式。他设想一种类似游戏的体验：权利持有者定义人物和关系，个人则在规则内创作，观众可能只有自己一人。

一种假设是，知识产权持有者设定规则，建立一个持续存在的虚构世界。Stelzer 说，粉丝可以在这些规则内创造自己的体验，既是创作者也是观众。这种形式只是思想实验，并非已宣布协议的条款。

Berman 问，如果有人绕过模型的防护，用价值很高的角色制作不当内容，会发生什么。Stelzer 认为，Disney 必须权衡这一风险和错过生成媒体转型的风险。他预计界限会随时间变化；他和主持人都不知道未公开的收益条款，也不知道 Glif 的 API 能否使用获授权角色。

参与者猜测 Disney 与 OpenAI 的交易中谁获益更多。Stelzer 说，自己对此前的法律背景了解不足，无法有把握地评价，但认为双方有可能共赢。主持人也猜测是否会有广告或费用；谈话没有证实任何收益分成安排。

Berman 问 Glif 能否通过 Sora API 使用获授权角色。Stelzer 对此表示怀疑，指出当时有些面向消费者的功能并未通过 API 开放，但他承认自己不知道协议细节。

Stelzer 认为，即使许多人都能使用类似模型，人类的想法和创意判断仍然重要。工具可以降低实现想法的成本，但独特的构思和创作者自身的背景，或许能让作品在海量内容中脱颖而出。

Berman 提问，如果人们为自己制作媒体内容，面向大众的文化品味是否仍然同样重要。Stelzer 认为，创作自己真正喜欢的东西，也可以成为寻找有共同品味者的起点。他提到正在开发的一款短视频智能体，认为它可能适合主持人使用。

Stelzer 离开后，主持人再次讨论品味。Berman 说自己的看法仍在变化：如果人们越来越多地为自己制作内容，品味让创作者区别于他人的意义也可能改变。

主持人迎来 OpenAI 研究员、GDPval 共同负责人 Tejal Patwardhan。她认为 GPT-5.2 在企业任务上有显著进步，尤其是制作幻灯片、电子表格等成果的任务；她说模型输出的呈现和格式也能使人更容易检查其工作。

谈到电子表格，Patwardhan 说格式不只是装饰。结构清晰、假设标注明确的财务模型更容易让监督者理解，因此 OpenAI 将呈现质量视为有用输出的一部分。

Patwardhan 解释了创建 GDPval 的原因：竞赛数学等学术测试很有用，但未必像人们实际从事的工作。该评估请专家对 44 种职业中定义明确的任务进行判断，比较模型输出与专业人士的成果；任务涵盖多个行业和成果类型。

她说，OpenAI 公布的表格显示，GPT-5.2 Thinking 在 70.9% 的比较中胜过或持平人类专家，GPT-5.2 Pro 为 74.1%，GPT-5 则为 38.8%。这是该公司在选定、定义明确且提供大量上下文的任务上的结果，并不意味着整个职业已经实现自动化。

Patwardhan 鼓励人们尝试自己熟悉领域中的例题，无论是会计、法律还是媒体。她对模型进步之快感到意外，并认为实际计算机工作上的表现改善，可能让以前觉得聊天机器人无用的人看到进展。

Berman 问 GDPval 能否界定 AGI 何时到来。Patwardhan 没有设定门槛：一项评估能提供某种能力的证据，却不能完美衡量一个宽泛概念。她希望未来版本让任务更贴近现实，更清楚地显示进步速度。

对于 Patwardhan，基准测试出乎意料地快速提升也具有预测价值。她原以为一项测试会在许多个月内保持挑战性，结果成绩迅速改善，这改变了她对人们何时会在工作中遇到更强系统的判断。

被问及有报道称幻觉有所减少时，Patwardhan 说自己没有参与那项具体评估，无法解释其测量方法。谈到预测市场，她指出 ForecastBench 是一项相关评估，并认为将模型预测与真实结果对照会很有意思。Berman 描述的是一个小型预测系统的实验设想，并非实验结果。

Berman 构想了一项实验：用深度研究调查预测市场问题，进行小额下注，再从结果中学习。Patwardhan 认为这个提议很有意思；主持人尚未开展实验，也没有证实这一策略有效。

话题转向 ARC-AGI，该测试通过新颖谜题检验泛化能力。Patwardhan 说，它与衡量工作中遇到的任务有不同目的；她尤其有兴趣评估模型是否能加速科学、研究和实际任务。

Patwardhan 说，人们仍在争论泛化的含义，但即使这个争论没有解决，模型也已经可以发挥作用。她预计文档、电子表格和计算机操作相关能力会很重要，因为这些成果是许多知识工作的核心。

这位研究员还谈到最大能力与推理时所花算力之间的权衡。用户在某些任务上可能希望快速得到答复，在另一些任务上则愿意多等一会儿换取更好的答案。有意义的比较既要考虑模型如何有效使用 token 和算力预算，也要考虑其可达到的最佳结果。

Wentz 问评估能否衡量创意品味。Patwardhan 建议首先明确领域，例如研究、音乐或视觉设计，再选择提示词、评分者和评估方法。她认为判断力可以通过经验提升，但主持人指出，大众欢迎程度和小众受众的偏好是不同目标。

大家讨论品味是否能有一个统一的基准测试。测试不仅需要明确领域，也需要明确受众：吸引大众的东西可能不同于小群体所看重的东西。Patwardhan 指出，GDPval 中某些电影和编辑任务的评判已经涉及专家品味。

Cacioppo 将 Vanta 介绍为一个服务于安全项目、审计和风险管理的平台。她解释说，向企业出售软件的供应商通常需要展示安全控制、政策和独立审计证据，客户才会放心交付敏感数据。

Cacioppo 具体描述了销售过程：潜在客户将重要公司数据交给一家初创企业之前，可能会要求其解释安全措施。Vanta 帮助汇集这些措施的证据，并向客户传达。

Cacioppo 说，Vanta 曾尝试用早期机器学习系统自动填写安全问卷，但答案并不理想。后来的语言模型让这一产品变得可行；这说明一个问题可能真实存在多年，技术却要到后来才足以解决它。

常见的问卷可能包含数百个安全问题。Cacioppo 说，AI 不仅可以帮助供应商填写表格，还可以帮助接收答案的人标出值得审查的问题。她将其描述为辅助人工审核的工具。

对于最早的客户，主要障碍并不是解释合规工作有多痛苦。Cacioppo 说，企业怀疑软件能否在保证质量的同时简化审计。早期销售常常要说服买家：原本依赖专业服务的流程，软件也可以胜任。

Epling 说，智能体正在改变安全攻防双方：攻击者可以使用自动化，防御方也能用智能体审查供应商、给警报排优先级。他认为 Vanta 的机会部分来自积累的数据和集成，这些资源可以帮助公司针对客户系统提供建议。

Epling 说，智能体系统高度依赖相关数据。他表示，Vanta 的集成及过去的安全项目资料有助于找出优先事项、提出改进建议，而不是让团队独自处理大量警报。

谈到不可靠的输出，Epling 介绍了公司如何让安全专家评估答案、调整系统使其在不确定时拒答，并展示引用和所用文档。他说，客户通常从人工审核和批准开始，建立信任后才逐渐交出更多责任。这些是公司的做法和目标，并不能保证答案正确。

Epling 以政策起草举例说明协作过程。系统可以用通俗语言询问小企业如何看待漏洞和事件响应，再将答案转化为审计人员能理解的材料。人参与整个过程，而不只是审查最后的文档。

Berman 追问：如果一个细微错误进入生产环境，责任应由谁承担？Cacioppo 认为，责任存在于产品使用者与产品构建者之间的关系中：供应商应让系统易于理解，提供检查工作成果的机会，并在出错后改进。她提醒说，完全发现所有错误并不现实。

Cacioppo 将验证比作审查编程智能体生成的代码。产品构建者应提供检查点，让人理解工作内容并及时纠正；即使有检查，错误仍可能漏过去，而反复出错会削弱用户对产品的信任。

Cacioppo 说，她接触的企业安全团队希望有人帮忙处理繁重工作，但也需要弄清楚能在多大程度上信任智能体。Epling 补充说，新模型可能提高答案质量或解锁计算机操作任务，因此团队会重新审视以前看似不可行的问题。

Epling 在问卷自动化中最看重的指标是人们不经修改就接受答案的比例。他说，Vanta 还通过内部平台测试不同模型，并用自己的评估体系比较它们。有时换用更适合的模型，比进一步调整提示词或检索更能改善结果。

Epling 说，审查潜在供应商时，有价值的结果不仅仅是一份快速生成的文档。系统还应收集证据，找出与客户具体情况相关的问题，让人把精力投入重要的决策和讨论。

Cacioppo 说，AI 产品需要持续评估，因为即使应用团队没有主动修改代码，模型行为或输入数据也可能发生变化。按照她的描述，这使质量监控和责任分工不同于传统的确定性软件工作流。

对于构建企业软件的创业者，Cacioppo 说，即使产品变化，人际关系和信任仍然重要。她欣赏小型独立企业这一替代路径，并认为 AI 可能帮助更多创始人选择这条路。她补充说，制作原型更容易了，但建立企业的其他环节依然困难。

Cacioppo 说，软件创建的第一阶段如今可能快得多，但把它发展为可运转的企业，仍需要完成后续所有艰难工作。在她看来，即使技术方案改变，接触客户以及通过人与人互动建立信任仍然至关重要。

Spenser Skates 解释说，Amplitude 帮助企业理解用户行为、开展实验并根据产品洞察采取行动。他回忆公司在 2015 年决定免费提供 1000 万次事件记录，借助自身数据库的成本优势吸引初创企业并扩大使用。

Skates 回忆说，Amplitude 源自一款更早的语音应用。尽管语音识别有所改善，他仍不确定语音是否会成为主流界面：延迟和缺少即时反馈可能使人与计算机的交流不如人与人对话自然。

Amplitude 最初的语音识别产品叫 Sonalight。Skates 说，人说话后等待系统响应的长时间延迟一直是语音界面的挑战；Berman 对可穿戴设备和语音保持乐观，而 Skates 认为决定性的使用场景仍不明确。

Skates 说，Amplitude 在 2024 年收购 Command AI 后加快了 AI 转型，收购既带来了产品能力，也带来了 AI 经验。他还介绍了后续收购及工程、产品和设计团队的两次重组：公司以围绕现有能力和客户需求的快速迭代，取代长期固定路线图。

Skates 说，Amplitude 已推出若干 AI 功能，并准备继续发布。他更想强调的是，产品开发现在需要不断评估模型当前能力和人们的实际工作方式，而非只是执行固定的多年计划。

Skates 说，Amplitude 的 MCP 服务器为外部 AI 助手提供查询其数据的接口。智能体可以把关于用户入门流程或热门功能的问题拆成多个查询，再返回报告。这是他对预期工作流的描述，并非对可靠性的独立测试。

被问及外部助手是否会威胁 Amplitude 的用户界面时，Skates 表示欢迎通过 ChatGPT 或 Claude 等工具触达用户。他认为持久的价值在于获取行为数据，并能够查询这些数据、据此行动，而不是将用户留在某个特定仪表盘内。

讨论将 Amplitude 的战略与数据仓库联系起来：Skates 说，公司专注于行为数据，财务数据或客户数据可能存放在其他地方。他认为公司的作用是让行为信息在不同工具中发挥价值，而不是要求每个用户都在同一界面工作。

主持人问，替人浏览网页的智能体是否已经改变网站分析。Skates 说，在他观察到的客户使用模式中，传统的人类网页和应用使用仍相对稳定，聊天机器人则表现为一种新增模式。他提醒说，广泛采用仍处于早期；这是他对客户群的观察，并非对整个互联网的测量。

Skates 认为，AI 的宣传已经跑在实际部署前面。在他看来，现有工具能够加快工作，但还不足以自主替代完整的端到端工作。他说，Amplitude 工程团队的一项自报调查显示，员工感知的生产力提升中位数为 40%；这不是受控的生产力测量。

Skates 说，Amplitude 工程师报告的 40% 提升中位数已经很可观，但与提升 1000% 有很大区别。他建议人们学习这些工具，同时区分可衡量的日常收益和关于替代人类的最宏大说法。

他认为 AI 有巨大机会呈现出目前没人有时间提出的分析需求，并预测未来两年分析领域将发生重大变化。他强调产品设计和组织采用：工具必须足够贴合现有工作，人才会使用。

在推广采用方面，Skates 倾向于适合现有工作流的简单改进。他以会议工具和代码自动补全为例，说明在要求人们采用截然不同的界面之前，应先降低使用阻力。他认为，精心打磨产品并理解用户工作，是迈向下一步的关键。

举例来说，Skates 对比了渐进式编程界面与更加自主的智能体。他认为，从熟悉的工作流入手并加入自动补全，为用户提供了容易接受的第一步。Berman 则提出反驳：朝着能力更强的自主智能体进行开发，也可能是一种有力的长期策略。

在数据分析方面，Skates 预测会有类似顺序：首先在熟悉的仪表盘和控件旁加入聊天界面，帮助熟练用户更快完成现有工作；之后，更多人可能无需构建仪表盘就能提问。他将可能出现的第二阶段称为“vibe analytics”，这是一项预测，而非已经实现的产品成果。

主持人在结束对话时再次提到，信息可以通过用户选择的任何界面触达他们。Skates 向两位主持人致谢，Berman 和 Wentz 感谢全部五位嘉宾后，结束了这场 2025 年 12 月的直播。