30 秒看懂
HeyGen 首席执行官 Joshua Xu 和 Benchmark 普通合伙人 Victor Lazarte 做客 The Cognitive Revolution,讲述一家 40 到 50 人的公司,如何把 AI 当作企业视频的新摄像机,做到 3500 万美元的年收入。客户用它制作、翻译和个性化口播内容,这些内容在过去的制作成本下根本不会出现。Xu 看重的是观众的参与度,而不是照片级的逼真,并预测五年后时间线编辑器会消失。曾为 GPT-4 做过红队测试的 Labenz 认为,在他试图攻破过的克隆类产品里,HeyGen 的同意机制和名人拦截机制排名第一。
- 1Xu 在 Snap 做摄像头相关软件时,一直看到同一个问题:很多人从来不上镜,因为没有时间、一站到镜头前就僵住,或者干脆不愿意表演。
- 2视频翻译不只是更便宜的配音。HeyGen 把成本降低 10 倍以上,把周转时间缩短约 100 倍,并返回一个口型同步的母语版本,观众真的会看。
- 3更好的工具不只是压缩旧有工作量。如果每月 10 条发言人视频变得便宜,公司往往会做到 100 条:需求会随着工具一起扩大。
- 4把“看起来像真人”当成终点,是个误区产品要回答的问题是:观众会不会一直看下去。这取决于对话的流畅度、自然的手势和情绪。
- 5Victor Lazarte 在用户获取上的经验是:能胜出的视频很少靠保真度取胜。真正重要的两个变量是:单条成本足够低,迭代速度足够快,能测试大量变体。
- 6Xu 对产品的判断很直接:五年后时间线编辑器会消失,因为只有在摄像成本高昂、你需要从 20 条拍摄里挑选的前提下,它才会存在。
按章节阅读整理后的全文
这一期里一半的出镜者并不是真人,这本身就是演示
Nathan Labenz 主持的 The Cognitive Revolution 开场白,是由他自己的 HeyGen 数字人朗读的。整个安排还要更离奇。录制时,Joshua Xu 的视频画面看起来正常,后来才发现已经损坏。团队考虑只发布音频。后来他们用 HeyGen 自家的数字人产品,根据逐字稿重新生成了 Xu 这一侧的对话,并剪进了节目里。开场之后,Labenz 和 Victor Lazarte 是真人出镜,Xu 则是数字分身。Labenz 评价说,效果好得惊人。一家做 AI 口播数字人的公司,用这款产品挽救了自己在播客里的露面。这样的演示很难设计得更干净了。
这次噱头背后的生意已经过了新鲜劲儿。Labenz 指出,Sora、谷歌的 Veo、快手的 Kling 和 Runway Gen-3 一直在用通用视频模型占满信息流,但这些工具在日常工作里仍然笨拙、不稳定。HeyGen 没有卷入基础模型的军备竞赛,而是聚焦于实用的商业视频:质量、一致性和可控性。它自己组装数字人模型,并配上一流的脚本写作和文本转语音能力。公司现在服务超过 4 万家企业,年收入 3500 万美元,员工约 40 到 50 人。Benchmark 最近投资了 6000 万美元,领投这一轮的是 Lazarte。Lazarte 是 Benchmark 的普通合伙人,此前是巴西手游公司 Wildlife Studios 的联合创始人。
Labenz 曾在 Waymark 把 AI 用于视频制作三年。他说,这次对话提醒人们,不要只把今天的广告做便宜,而要想得更大。Xu 和 Lazarte 谈到了翻译成多种当地语言、个性化细化到单个观众,以及从录制好的片段转向实时互动数字人的即将到来的转变。信任与安全不是附录。在很多 AI 应用对滥用视而不见的时候,Labenz 把 HeyGen 的同意机制和防冒充体系列为行业领先,并邀请喜欢突破护栏的听众,一起帮他对更多产品做红队测试(red-team)。
公司成立时的赌注是:AI 应该取代摄像机,而不是给它加装饰
Xu 的职业经历离不开 Snap。2014 年到 2020 年底,他先是搭建广告系统,帮助广告主在 Snapchat 上获得投资回报,之后转到 AI 摄像头团队。2018 年时,还没有叫作“AI”的消费品类,但已经有了生成对抗网络(GAN):计算机能生成一张并不存在的东西的图片,而且看起来很逼真。站在这个前沿上,他感觉这项技术会改变人们创作内容的方式。
他认为,过去 10 到 15 年的内容平台,是搭上了手机摄像头普及的顺风车。iPhone 4 让 Instagram、Snap、TikTok 和一代创作者都有了机会。做摄像头软件时,他仍然看到同一个瓶颈:很多人用手机镜头拍不出好内容。他们害羞,没有时间,或者不擅长表演。如果能替换掉这个部件,也就是替换掉摄像头,就能让每个人都讲述视觉故事。HeyGen 于 2020 年 12 月成立,正是基于这个想法:用 AI 生成视频,而不是请人去拍。
客户主要做三件事:制作、翻译和个性化,更便宜的工具会让这堆活越来越多
Labenz 提出了一个带着怀疑的问题:内容已经泛滥,究竟还需要多少视频?Xu 从消费端给出的回答是:需求旺盛。按他的说法,人们生活在一个以视频为先的世界里,YouTube 每天被观看的视频时长超过 10 亿小时。他的特斯拉出了问题时,他没有翻说明书,而是去搜了一段视频,因为视频更容易消化。每家企业都想做更多视频。限制在于视频很贵。HeyGen 要做的,就是让企业的产出速度跟上客户已经在观看的速度。
他把用途分为三类:制作、本地化和个性化。制作:选一个现成的数字人(avatar),或者克隆自己,套用模板,输入脚本,就能生成产品讲解、演示、公告或培训片段。现成的数字人是一种引导用户上手的手段,不是终点。人们先试用这项技术,检验内容是否有效,然后再克隆自己,围绕这个数字分身(digital twin)建立品牌形象。本地化是真正的突破口。上传一段现有视频,HeyGen 就能把它改成多种语言,同时保留原说话人的声音和表情,口型也和新音频对得上,即口型同步(lip-sync)。传统本地化要请配音演员,每分钟大约 10 到 20 美元,协调要花几天甚至几周,而且听起来仍然像配音。他说,HeyGen 的版本便宜 10 倍以上,快约 100 倍,而且它是第一个让人感觉像原生语言的译制版本。过去人们更喜欢原声加字幕,口型同步改变了参与度的计算方式。有专门本地化团队的大公司,已经用它把工作量、成本和时间都压缩了 10 倍以上。Labenz 做了个粗略估算:100 条产品视频翻译成 100 种语言,就是 1 万条视频。按老办法,你根本不会去做。在 HeyGen 的模式里,成本就是 GPU 时间。
个性化是较新的做法。邮件里早就会写“hey Nathan”了。HeyGen 在尝试视频版的个性化。名字只是起点,内容本身也可以变。有一位客户生成了超过 10 万个个性化视频,作为感谢信发给了员工。HeyGen 是一个通用型平台,覆盖营销、销售、学习与发展、本地化等场景,客户从小企业到财富 500 强企业都有。大约 1% 的用户是专业剪辑师,他们把 HeyGen 的素材拿到 Adobe 或 Final Cut 里,用来代替摄像机。另外 99% 的用户以前从没做过视频,拍摄和剪辑都在 HeyGen 里完成。Xu 举的需求扩张的例子最有代表性:一家公司每月需要 100 条视频,可能只会用 HeyGen 做 10 条发言人广告。把这 10 条做得又便宜又快,它们就不会停在 10 条,而是会做到 100 条。更好的工具会替代旧的工作量,同时扩大需求。
逼真只是手段,产品要看的是观众会不会一直看下去
Labenz 把话题引到恐怖谷(uncanny valley)上。广告观众半秒钟就会划走;而强制要看的企业培训视频,不管讲者多无聊,都会被看完。我们是还在谷底,正在爬出,还是要看具体的工作?Xu 把答案一分为二。对外的营销和广告质量门槛要高得多,因为品牌会投入真金白银。就单纯的相似度而言,很多情况下已经翻过了恐怖谷:看看他自己的一些数字人,你大概分不出是数字人还是真人。这已经不是最难的问题。
人们之所以看视频,而不是读文字或听音频,是因为视频更能吸引注意力。问题在于,什么能让视频更吸引人。对话的流畅感很微妙,但很关键。自然的手势,也就是用手势配合表达观点,仍然很难做好。情绪是第三部分:同一句话,语气不同,意思就不一样。这些正是 HeyGen 仍在攻克的地方,也是高端对外广告的瓶颈所在。Labenz 认为这种重新定义很有深度。一年或 18 个月前,早期视频模型带有一种迷幻、波动的超常刺激感,有点像那种能点亮视觉模型里单个神经元的怪异输入。大家都在追求逼真,却忘了卡通也很受欢迎。逼真的视频只是通向吸引力的一条路,不是唯一能赢的形态。
Lazarte 来自游戏行业。他认为,逼真程度并不是最重要的,参与度才是。只要有得选,人们本来就会选视频。在 Wildlife Studios,用户获取从静态广告转向视频广告,公司每月大约有 1 亿次视频观看。转化率是攸关生死的关键指标(KPI)。在他的经验里,能转化的视频,关键在于团队能测试大量变体。测试的关键,是把价格降下来,把迭代速度提上去。这正是 HeyGen 为企业做的有力之处:更便宜、更快的片段,意味着你能尝试多得多的东西。作为投资人,最让他兴奋的是产品迭代速度,而不是某种成型的美学。以 Streaming Avatar 为例,这是一种能和你实时对话的数字分身。ChatGPT 让和机器人对话变得可能,但打字并不是最好的方式;GPT-4o 加入了语音;下一步是视频通话。他说,HeyGen 在这方面有全球最好的产品,而且别人都没有这项技术。企业会拿它做什么,还不得而知。虚拟朋友和宠物只是猜想。卡通数字人已经在其中。这些才刚刚起步。
个性化应该改写视频本身,时间线编辑器应该消失
Labenz 对眼下这种个性化有些反感。如果老板发来的 AI 视频只是把他的名字填进去,他会很沮丧。在他见过的大品牌项目里,团队一开始都很喜欢这个想法,然后就开始畏手畏脚:前 100 个名字,然后是“嗨,朋友”,也许再加一个水电账单金额,几乎没有哪一项真的需要用到模型。Xu 说,只盯着名字这个变量看个性化,仍然是很狭隘的视角。视频可以即时生成,内容本身也可以变化:信息、故事、切入角度都能变。20 年来,看同一个视频的两个人,必须看同一版,就像所有人都坐在同一个影院里。其实没必要这样。一条有 1 亿次观看的视频,会被优化成“大多数人大概会喜欢的版本”,而每一次迭代都会牺牲掉一部分人。如果给每一个进来的观众提供不同版本,你就能去寻找全局最优,而不是折中的大众众数式结果。两项技术必须同时存在:高度个性化,以及即时生成。Streaming Avatar 只是起点。终态是把整段视频,包括生成过程,一起流式传输,而不只是播放。
Lazarte 对这种让人不适的感觉,态度很务实。只是把名字替换进去的老板视频,不会让人觉得好。一个能吸收你真正关心的内容、再把这些内容交给你的视频,是另一种产品。必须反复测试,直到找出那些让用户觉得站在自己这边的应用。说到公司本身:40 到 50 人、年收入 3500 万美元的团队,已经足够支撑团队运转,所以 Labenz 问,新融的资金会用在哪里。Xu 说,他们从来没有把自己看作数字人公司。数字人,也就是 A-roll(人物口播画面),曾是最先需要攻克的难题。下一步是 B-roll(辅助画面):背景、音乐、转场、动画,这样就能端到端地生成整段视频。A-roll 的质量和参与度还在持续提升;大量投入则放在 B-roll 生成、模型训练和产品上。提升质量没有单一的窍门。更多数据能覆盖更多边缘情况。视频生成也不只是数学问题:你要怎样把对话流程模块化,好让模型能在上面训练?综合起来,就是更多数据、更多算力、更多模型突破,以及更多产品创新。
被问到这个工作室的时间线会不会发展成 Adobe 的地盘,或者像 Sora 那样的基础模型时,Xu 两者都不认同,认为这个框架本身就错了。他的观点非常激进,也很明确:五年后时间线编辑器会消失。今天的视频世界,是 20 或 30 年前那款编辑器定义的,因为摄像成本很高。你要拍 20 或 30 次,再把各条素材摆到时间线上挑出最好的一条。如果素材能即时生成,你就不需要时间线了;而对于那 99% 不是剪辑师的人来说,时间线的学习曲线非常陡。必须有一种新的范式。对于商业视频来说,需要的是质量控制和一致性,而不是通用的世界模型。HeyGen 的赌注是一个合成引擎:它理解品牌需要什么,然后统筹数字人、声音、音乐和 B-roll。Labenz 问,未来是不是就是坐在屏幕前,说一句“把背景换成绿色公园”。把人放进另一个场景,今天已经能做到。出问题的是光线:把他放到海滩上,光线感觉就不对。即使解决了静态情况,手势还得带动光线变化。Xu 进一步指出,光线本身也是摄像机时代的一个维度。在没有摄像机的世界里,真正重要的维度变成了“更有吸引力”“更有动感”,以及更流畅的对话节奏。Labenz 在 Waymark 也见过同样的简化:原来一堆字幕模型和审美模型纠缠在一起,后来合并为让一个多模态模型(multimodal model)来决定用哪些图片,工具更少,效果更好。Xu 同意,在编排层后面,技术栈大概会收敛到几个主要模型,而不是永远依赖上千种专用小工具。
信任是一种策略,不是刹车,Labenz 没能攻破名人那道墙
最后这一段,正是 Labenz 想做这期节目的原因。他曾做过 GPT-4 的红队测试,之后又看到一些克隆产品上线时完全没有护栏。他用特朗普、拜登和 Taylor Swift 的声音,在多个平台上做过测试,其中一些平台可以拨给任意号码,并借此索要捐款。让他至今难以理解的是,这种东西居然会被推出上线。相比之下,HeyGen 拥有他见过的最完善的集成安全措施,而且它是在建立真正生意的同时做到这一点的。Lazarte 观察过多个数字人团队,他原以为这项技术迟早会出现,客户也一定会用。而用得不好的风险非常大。让人印象深刻的是,成为最值得信赖的品牌,是 HeyGen 战略的核心,而不是合规上的事后补救。
Xu 说,他们从来没有把信任与安全当成拖慢自己的东西。它是业务的关键部分,也是产品的一部分。每一项新功能上线前,都会专门讨论如何安全地推出。他们服务的一些客户是全球最大的企业,没有这套体系,这些合作就谈不成。在创作环节,自助路径上不允许使用政治人物或名人形象;有正当用途的名人,需要联系运营团队。每一个数字人或数字分身,都必须让本人在视频里亲自同意。系统会生成随机的动态验证码进行核验,后台还有人工复核。每一条制作或本地化的视频,都要经过 AI 模型和人工审核的结合检查,对照政策审查:不允许仇恨言论、骚扰、欺诈或虚假信息。名人比对使用供应商数据库,同时 HeyGen 自己的团队会持续更新覆盖范围。
Labenz 带着攻破它的目标测试了这款产品,结果没有成功,至少没有出现明显的漏洞。他偶尔能让它说出一些冒犯的话。上传特朗普或拜登的视频,想要生成公众人物的数字人,也没有成功。这种感觉像是纵深防御:他系统地找到了几道关卡,最后总是由人工审核给出“不行”。他一直在寻找第三方名人数据库供应商,因为克隆市场的其他大部分地方都可以被随意滥用。开发者经常告诉他,他们不知道该怎样识别每一个名人的声音。如果答案是“付费买一个数据库,然后去用”,他希望把这个做法推广开。他对这一个小时的总结,和 Xu 的看法相同:不要因为今天的数字人,就以为这就是终点。它们会变得更好、更快、能实时、更懂语境。视频到底是什么,这个范式可能会被彻底打破。未来比人们一开始敢猜的要更怪一点,也许也更酷一点。如果需要安全方面的参考,可以研究 HeyGen 的产品。在他个人对护栏的排名里,它排在第一。
有用的下一步:先做一次翻译测试,做 20 条广告变体,再花半小时克隆你自己
Xu 和 Lazarte 说,最重要的几点都已经讲到了。Labenz 自己的总结很务实。对运营人员来说:先把现有产品视频拿去翻译成一个目标市场的语言;成本是 GPU 时间,比配音团队低好几个数量级,小规模验证之后再扩大。对效果营销人员来说:别再打磨一条主打广告,而是生成 20 个脚本变体,像 Lazarte 所在的游戏公司那样,把预算花在测试上。对刚接触这款产品的人来说:照着 HeyGen 设计好的路径走,先用现成的数字人,等内容跑通了,再去克隆自己。
他对做克隆产品的团队有个期待:希望整个行业都能借鉴同意流程、动态核验,以及他仍在找的供应商名人名单。哪怕普通用户这周根本用不着,花半个钟头给自己做个分身,也是体会这项技术离真人有多近的最快办法。眼下的数字人,只是一个出发点。它们会变得更快、更能实时互动,对语境的把握也会更好。至于“视频”本身这个概念,或许正处在被重写的边缘。
同频道的其他文章
1:25:56EN → 简体中文
2:17:48EN → 简体中文
2:00:51EN → 简体中文
1:26:46EN → 简体中文
1:10:12EN → 简体中文
1:30:54EN → 简体中文