相隔数百英里，扎克伯格与 Fridman 近得能看清皱纹

Lex Fridman 戴着 Quest 头显，待在奥斯汀的一间昏暗房间里。扎克伯格在数百英里外的另一间会议室里，也戴着头显。两间屋子里都没有其他人。两人看到的都是对方逼真的编解码器虚拟形象，坐得很近，并配有空间音频。Fridman 为自己挤占了扎克伯格的私人空间而道歉。扎克伯格说，在 Fridman 戴上头显之前，他就已经把虚拟形象往后挪了几英尺；而且他们练巴西柔术时，哪怕离得比这感觉上还远，也照样能把对方勒住。Fridman 说，这是他见过的最不可思议的东西。他的声音有些哽咽，说自己的心跳很快，几乎要动容了。

线路上传输的都不是这个房间的视频。两人都做过扫描，参与的是 Meta 的一个研究项目，扎克伯格称之为编解码器虚拟形象。转写稿里的 “Kodak” 是语音识别中的常见错误。他们做了大量表情样本。系统为每张脸和每个身体建立了计算机模型，再把它压缩成一个编解码器。戴上头显后，摄像头读取实时表情，发送的是一段编码，描述你应该呈现出什么样子。扎克伯格说，除了逼真，这种方式比传输完整视频省带宽得多，更不用说三维沉浸式场景了。最反直觉、却常被忽视的一点是：脸部越依赖本地模型，需要传输的内容就越少。

真正打动 Fridman 的，是那些瑕疵：雀斑、细微的肤色变化、皱纹、不对称、眼角，以及笑起来时眼睛的变化。“让人沉浸的，靠的不是完美，”他说。扎克伯格先说出了“皱纹”，又说出了“不对称”，然后指出眼睛是其中很重要的一部分。多项研究一再表明，即便人们在说话，大部分沟通的信息也不在话语本身里。卡通风格的富表情虚拟形象，也能做出其中的一部分表情。扎克伯格认为，正是逼真的画面，让临场感显得神奇。

照他的说法，这正是虚拟现实和增强现实这笔赌注的核心：无论你实际身在何处，都能让人感到“仿佛在一起”的临场感。两人身处两个不同的州，相隔大半个美国，但看上去 Fridman 就像坐在他面前。Fridman 首先想到的是亲人。他说，和亲人这样交谈，会改变一切。他还认为，他们已经跨过了恐怖谷：看上去像扎克伯格，感觉起来也像扎克伯格，并不觉得怪异。

Fridman 飞到匹兹堡做了完整扫描。硬件和软件都很复杂，坐着扫描的时间也很长。扎克伯格对近期的设想，并不是所有人某天醒来都拥有编解码器虚拟形象。先做这种高精度扫描的，只会是少数人，部分原因是团队仍在多采集表情样本，直到摸清能外推到什么程度。目前正在推进的，是手机扫描：让摄像头在脸前扫上两分钟左右，说几句话，做一批表情，两到三分钟就能完成，得到的效果达到他们在这间屋子里看到的水平。眼下，如果你能坐上好几个小时，他们就能为你做扫描。让扫描结果在已经上市的 Meta 头显上驱动，这一点已经解决。扫描的高效量产，是他们仍需要攻克的最后几个环节之一。

播客用一间昏暗的房间没问题，但那不是元宇宙的重点。手机上已经可以视频通话了。扎克伯格说，手机做不到的，是让人们真正地待在同一个地方：一起玩游戏、开会，还有，等混合现实和增强现实普及之后，走进同一个房间，里面有人是血肉之躯，有人是逼真的叠加影像。他预计未来几年会逐步推出：先是更多的扫描，然后集成进 Meta 的应用，首先是工作和远程会议。Workrooms 已经能让人感觉大家围坐在一张桌子旁，问题在于卡通形象不够真实。他认为，这类技术放在那里会很重要。Quest 3 即将成为第一款主流的混合现实产品，编解码器虚拟形象则还不是主流产品。

还需要调校。人们表达情绪的程度各不相同。你的笑容能有多大？你又想让它有多大？有些人可能更希望虚拟形象比他们的真实面孔更有表现力。扎克伯格因为表情相对僵硬，没少挨批评。他可能内心很高兴，笑起来却只有很小的弧度。对他来说，一个值得探索的方向是：虚拟形象能比他的身体更好地表达他此刻的感受。不过，他们仍希望从人们真实的表情方式出发。Fridman 预言会出现一个梗：两个最面无表情的人，在元宇宙里聊天。他认为这只会让演示更难做，因为信号都在眼睛里。他之所以不做远程播客，是有原因的。他说，这次体验打破了这些理由。

Quest Pro 去年上市，售价 1500 美元。Quest 3 定价 500 美元，在某些方面，扎克伯格认为它的混合现实比他们访谈时戴的 Pro 还要好。混合现实所用的摄像头和传感器，分辨率高出好几倍，这个瓶颈是他们用了一段时间 Pro 之后才完全看清的。Meta 参与定制的高通下一代 VR 与 MR 芯片，今年可以用在 Quest 3 上，却用不到 Quest Pro 上。所以，虽然 Quest 3 不是 Pro 产品，它的芯片却比去年的 Pro 系列更强，而价格只有三分之一。它也能完成 Quest 2 的全部 VR 功能，显示屏和芯片都更好，而且厚度薄了 40%。

他拿手机做了个对比。各家公司每年都推出新手机，但和前一代几乎分不出什么差别。到目前为止，每一代新头显都带来了一项重大的新能力。这一代的能力是混合现实：把数字人物和物体叠加到现实世界上。在这个发展仍然如此之快的品类里，一年后搭载新芯片上市的型号，可以胜过当初只能用旧芯片首发的昂贵型号。这是产品节奏决定的，与品牌营销无关。

业界推销混合现实，常说的是客厅里的全息影像。扎克伯格的推销词则更朴实：安全。如今很多 VR 内容并不需要完全沉浸。玩射击游戏或做健身时，人们担心挥手会打到台灯。把这些体验放进混合现实，人们既能获得三维的沉浸感，又能看到真实的物理世界，感觉上就安全多了。Fridman 和朋友们在房间里摆着家具的情况下试玩 Quest 3。他能看到沙发，看到人，也看到朋友们在他挥动手臂时努力忍住不笑。扎克伯格的版本是：有人朝你开枪，你就躲到真实的沙发后面。在一个没有窗户的房间里，你可以加一扇窗，欣赏窗外的风景，同时还有僵尸朝你跑过来。真实的房间不再是游戏的敌人，反而成了游戏的一部分。

透视（passthrough）不只是在小小的头显前面装几个摄像头。多个摄像头需要采集三维空间，然后由 AI 和计算栈把画面重新映射到你的视角上，因为摄像头并不在你眼睛的位置，而且每个人的眼睛位置也都不一样。这种变形处理必须实时完成，并且看起来要自然，然后才能把数字物体放进场景里。手部追踪也依靠同一批摄像头，它的进步比扎克伯格预想的更快、更远。Fridman 提到了钢琴演示：真实的桌面上出现琴键，手指落下，就有声音发出，不需要手柄，也没有明显的延迟，同时系统还能追踪房间里的其他人。编解码器虚拟形象则是并行推进的另一条线：把超逼真的人物副本，放进同一个混合空间里。

扎克伯格正在朝着外形就像普通眼镜的设备前进，戴上后仍能看见物理世界，同时也能看到全息影像。他的一个设想是：也许到这个十年结束时，你走进一个房间，里面的全息影像和实物一样多。人们把物理世界称作真实世界。他认为物理世界非常重要，真实世界其实就是二者的结合。在这项技术出现之前，二者是割裂的：你只能通过口袋里的小屏幕，或是桌前的大屏幕，才能进入数字世界。他说，屏幕、书籍、艺术品、桌游、卡牌、乒乓球，其中很多东西做成全息影像，效果一样好，甚至更好，因为你打个响指，客厅里就能生成一张乒乓球桌，再打一次响指，它又消失了。实体物件既有沉没成本，也要占地方；数字物件则两样都没有。

再叠加上编解码器虚拟形象，会议就会变成另一副模样。你现在戴着头显走进会议室，大约五年后则可能只是戴上一副普通的眼镜。有些同事人在现场，另一些同事则坐在其他椅子上，以逼真的全息影像出现，感觉就像他们本人。然后，扎克伯格又加上了第三类参与者：你也可以让 AI 以具体的形象参会。于是，会议里有你本人、几位以全息影像出现的同事，还有 Bob。Bob 是团队里的一名工程师，实际上是一个 AI，以逼真的虚拟形象出席。文本框里的聊天机器人只是一种工具。一张有座位、有声音的脸，就是一种存在感。这很高效，但他没有多谈的是，它也带来了另一种信任问题。

为什么不用 Meta 已经有的卡通虚拟形象，而要做逼真形象？眉毛、眼睛和脸颊的动作，卡通形象同样可以做到。扎克伯格认为，逼真形象是一座桥，能让人们从他们已经信任的物理世界出发，把混合会议当真。长远来看，他其实也不确定。人们可能会坚持逼真形象，只做些调整；也可能在习惯这些房间之后，更愿意使用不那么依附于现实的自我形象。内部测试一直让他感到意外：逼真的人物身后放一个卡通背景，感觉很正常；逼真的人物旁边站着一个表情丰富的卡通形象，感觉也很正常。他预计两种风格都会留下来，但具体会怎么搭配，他并不清楚。眼下，Fridman 想要的是一个在海滩上喝啤酒的朋友，不要假帽子，真实程度要和他眼前这间昏暗的房间一样。

Fridman 说，他已经快忘了扎克伯格并不是真人。扎克伯格反驳说：他是真人，这只是他的虚拟形象版本。接着，他举了一个小例子，说明身份有多难把握。当天早上他戴上头显时，注意到虚拟形象的头发比自己真实的头发短了一点。他大概该理发了。他那天正好刮了胡子，但如果没刮，逼真的虚拟形象仍可能是刮干净的。虚拟形象的逼真，指的是你在扫描时的样子，不一定与此刻的你在时间上一致。

Fridman 继续追问。人们会节食，会做发型，会为了扫描而以夏日海滩上的好身材版本出现。如果别人大多只在数字版的你身上见到你，那么哪个才是“真正的你”？是操控它的人，还是虚拟形象？扎克伯格并不把这看作全新的故障。实体的身体本来也会起伏，体重也会变。他怀疑很多人会把自己想象成最好的那个版本，而不是最差的那个，而日常生活中的自己，两个版本都不完全对应。他说，社会学家和心理学家将需要花很大力气去研究，这种变化会如何改变我们对自己和他人的看法。这场讨论没有得出结论。这可能是这一小时里最持久的一个问题。

Fridman 戴上头显后的第一个感受，是他很想和亲人交谈。接着想到的，是那些已经不在的人：父亲、祖父、祖母、母亲，以这种形式坐在那里，开口说话。扎克伯格的回答还不够周全。他说，这里大概需要一种平衡。如果有人失去了亲人、正在悲伤，能与逝者互动，或是重温某些回忆，可能会有帮助。但这也可能变得不健康。他说自己不是专家，这需要专门研究。

Meta 每天都在处理死亡的问题。家人会希望保留个人主页。已经有相应的规程：部分账号会被设为纪念状态，以免消失；包括私信在内的私人内容则不会交给他人。他认为，这些做法会延续到新的场景中。编解码器虚拟形象仍会改变这个类别。一个会微笑、会回应的分身，是动态的，而不是静态的档案。它会生成逝者从未说过的新话语，呈现逝者从未有过的新表情。这更像是在延续这个人，而不只是纪念。扎克伯格随即把话题转到同一种渴望的“在世版”。他不想做一个单一的超级智能，他想做的是帮助人的工具。一个需求多于时间的创作者（Fridman 和他的听众就属于这种情况），可能会打造一个 AI 版的自己。这件事不必等到他去世之后，他还在世时，它就可以出现在 WhatsApp、Messenger 和 Instagram 上，最终以一个大家都知道是 AI 的虚拟形象出现。他们还没有准备好推出“创作者自己打造自己”的产品。他们从推出一批人们可以用其他方式与之交谈的 AI 开始。

扎克伯格早期的 AI 人设是一套组合，而不是单一的机器人。Meta AI 是朴素的助手：没有脸，就是基础款，讲事实，待在你的聊天对话里。接下来是商业场景。小店不想专门安排人接电话，你也不想在电话那头一直等。一个能处理产品问题、预订或订单的自然语言智能体，对双方来说都比网站或排队更好。再往后是好玩的那类：群聊里讲笑话的角色，体育、时尚、问答，以及游戏里更像样的非玩家角色。内部最受欢迎的原型，是一个文字冒险的地下城主。他们已经请了一些文化界人物来扮演其中一部分角色。扎克伯格说，让 Snoop Dogg 来当地下城主，效果非常好笑。那个 Snoop 是演员，他并不是 Snoop Dogg 本人。他们还做了 Jane Austen 和 Marcus Aurelius，他很想看看这些角色的效果如何。

新角色更容易做，因为它们不必遵循某个真人希望如何被呈现。一个代表真实创作者的 AI，必须不说创作者本人不会说的话，并且要用创作者本人的方式去理解事情。这种东西不能像普通软件那样编程，而要靠训练。它得足够可预测，才能设定参数；即使不完美，也要大体待在这些边界之内。比起虚拟形象的脸，这才是真正的创作者分身难得多的原因，也是他预计明年才会推出这类产品、今年不会的原因。角色、助手、游戏，以及一些小企业的实验，他们今年就能做，并会在 Meta Connect 之后陆续推出。

他们会先推出一批，然后开放 AI Studio，让任何人慢慢都能像创建其他用户生成内容那样，创建这类 AI。扎克伯格认为，在整个社区都能参与创作之前，没有人能看到它的全部潜力。要做对的事情很多，所以他希望分阶段推进。他还认为，没有别人在做这样的组合：虚拟形象与表现力、跨应用互动、个人主页，以及在 Instagram 和 Facebook 上的互动。Fridman 已经在琢磨和 assistant-Lex 做一期播客，还有一个超现实的时刻：把自己的编解码器虚拟形象定格，然后绕着它走一圈，就像猩猩第一次照镜子。

Fridman 经历过互联网之前的生活，也经历过语音和视频的时代，他原本以为这已经到顶了。这次会面让他觉得，物理世界与数字世界的融合，可能才是真正的未来。那些说互联网不是现实、应该关掉它去户外走走的人，也许会喜欢这个，因为它感觉真实，瑕疵也都在。扎克伯格说，新电脑设计的一大重点，是它们应该是物理的。手机和电视让人一直坐着不动，但人本来就不该这样。他和 Fridman 都喜欢体育和武术。人是要动的。“我们不只是缸里的一颗大脑。”人的体验是物理性的。现在数字的东西太多，不能把它们全都关在一块小屏幕里；而物理世界又太重要，不能整天坐在桌前。

元宇宙里应该允许什么？那里能做的事情，有些在现实中是违法的，在游戏里却是家常便饭。扎克伯格从伤害出发来谈这个问题。社会应当让人们尽可能自由地做事，除非会伤害到别人。在数字世界里，伤害的形式不一样。他和朋友们进入一个世界，马上就互相开枪，这在房间里是不会做的；即使在游戏大厅里，这也只是个玩笑。他不认为这是问题，因为在那个世界里并没有造成伤害。一些现实中的限制应当放松。新的伤害也随之出现。他特别点出的是匿名问题。在餐馆，规矩靠的是最后买单，因为你只有一个身份。如果你吃了霸王餐，生活就是一场重复博弈。在网上，你可以匿名，甚至以另一个人的身份出现。做好公民的动力就会下降。这会催生恶劣的言行，必须加以解决。

还有一个“物理红利”。飞过去坐在一起要花好几个小时。戴上头显，就像瞬间传送进一个感觉上可以共享的空间。所以他认为，这更接近远程工作的梦想：你可以住在想住的地方，同时仍有足够的“在一起”的感觉，从而建立文化、关系和信任。这些是视频通话无法完全还原的。他并不认为，单靠第一性原理就能列出所有影响。他们会一年一年地建设，观察开发者做什么，把其中出色的部分放大，同时设法减轻其余的问题。

在上一期播客里，他们还在争论要不要开源 Llama 2。扎克伯格很庆幸他们这么做了。在他看来，像 Llama 2 这样的基础模型开源，其价值远大于风险。他们花了大量时间进行严格评估和红队测试。下载量和使用量甚至超出了他最乐观的预估。Llama 3 并没有确定的上线日期，总有另一个模型在训练中。眼下的重点，是把 Llama 2 及由它衍生的分支做成消费级产品，也就是人们真正会与之交谈的 AI。Llama 2 本身是基础设施，并非消费级产品。他希望数亿人用上这些产品，将来还要数十亿人。

下一个版本同样需要类似的讨论和红队测试，以确保它是安全的。他希望到时候，下一版在准备好之后也能开源。他们这个月离这件事还很远，目前仍处在比较早的阶段。Fridman 感谢他发布这些模型，也感谢他愿意公开谈论；他认为，把各种人设交到大众手里，社会才能了解哪些情况会出问题、哪些方向很怪异，以及多少个性化是好的。扎克伯格也同意，在人们真正尝试之前，他并不知道什么会行得通：文字冒险、群聊里的喜剧演员、历史人物，都是如此。这就是首批推出的角色如此多样的原因，也是 AI Studio 要排在后面的原因。

他们已经聊了好几分钟 AI，而 Fridman 仍被一件事困扰着：他正在和扎克伯格交谈，而扎克伯格不在房间里，却又让人感觉他就在那里。他过去做过很多私密的一对一对话，这次感觉和那些很像。有很长一段时间，他都忘了两人并不在同一个地方。能够随时与任何人这样连接，就像我们现在打一通浅层的二维视频电话一样，这是他还无法完全预见的文明层面的变化。扎克伯格对元宇宙的核心论点一直是临场感。在他这边，他确实就在这里。他们并不在同一个物理地点。Fridman 也不是在和 AI 说话。新奇之处在于，借助技术传递一种近乎物理的临场感。真正不是物理意义上真实的，是共享同一个地点。其余的，某种程度上都是真实的。

这就是他对现代真实世界本质的回答：物理世界，以及我们所感受到的临场感，加上能力日益增强的数字世界。数字这一边正在获得越来越多的力量。物理这一边则很大程度上塑造了我们作为人的样子，所以他不希望人们逃离它、整天盯着屏幕。尽管目前的形态是头显，他认为这将是迄今为止最具人性、最具社交属性的计算平台。Fridman 想把“真实”的含义从时空转向意识体验。扎克伯格则把话题拉回到社交层面的事实上：以前要见面，就得飞去奥斯汀，才能获得亲密、信任和非语言的交流。他们相当于在抄物理定律的近路。

最后，他谈到公司的发展轨迹。Facebook 最初几乎全是文字，偶尔配一张照片，再加上兴趣列表；后来是照片；现在主要是视频。这一趋势让内容越来越丰富、越来越生动。他认为，沉浸感和临场感显然是下一个前沿。而这恰好极其困难，需要新的计算平台和新的软件栈。他说，这正是他们作为一家公司在做的事情。Fridman 感谢他，也感谢 Meta 的工程师们，并表示自己的心跳到底飙到了多高，他都没法测出来。Fridman 开玩笑说，扎克伯格说不定其实正在海滩上。扎克伯格说不是，他人在会议室里。他声称，Fridman 倒是在海滩上，而且没穿裤子。接着两人说了再见，依然像是待在同一个昏暗空间里的两个人。