提示词是个 bug：Suhail Doshi 押注对像素的控制

Suhail Doshi 的 AI 时刻并非从图片开始。前一年年初，他在做 Mighty，这是一款他希望从数据中心运行的浏览器，把它当作一种新型计算机，运行起来要比人们已经在用的网页应用更快。大约在四月 DALL·E 问世时，他开始摆弄 Chromium 的地址栏。他说，谷歌不敢动这段代码，因为搜索量的一点下滑就可能损失数十亿美元。他发现，这个地址栏“相当笨”。即使是你经常访问的链接，也排在建议列表的底部，而不是顶部。

Mighty 团队收集了用户自愿提供的数据，试图预测你真正想去哪里。这个旁支项目把 Doshi 带进了论文和研究社区。GPT-3 问世已经好几年，几乎没有任何模型能与之匹敌；Anthropic 等其他公司才刚开始缩小差距。他们把模型接入浏览器，把博客文章压缩成三条要点，很快就领教了幻觉。Mighty 一项功能接一项功能地变成了带 AI 风味的浏览器，而他无法摆脱那种更大的转变。

一天晚上十一点，他卡在一次缓慢的 Windows 启动上，于是打开苹果的备忘录，画出了自己的市场地图：用于训练日志的 Weights & Biases，用于推理的 Replicate，基础模型实验室，以及图像生成。让他感兴趣的是真正的研究，也就是“来之不易的东西”。他记得 OpenAI 的 playground 编辑器从一个文本框，演变成了一堆滑块和插入、填充控件组成的丛林；Jasper 则把同一个 API 包装进了内容营销界面。他认定，提示词需要有自己的产品。

然后 Stable Diffusion 发布了。一两周前，他通过 Emad 拿到了权重的预览版，在笔记本里试过。DALL·E 和 Stable Diffusion 让提示词变得繁复，他于是想通了：人们想要的是 UI 控件，而不是一个图片命令行。他确信，围绕 GPT-3 生长出的那种复杂界面，即将在图像领域重演。他说，永远停留在命令行模式，根本说不通。

被问到两年后的 Playground 会是什么样子时，Doshi 说公司已经有了清晰的计划。中期目标是把研究和产品设计结合起来，做一款新的创意工具。它不是 Photoshop 的终结者，更像是一款可以放进 Adobe 式套件里的新应用。他们想服务的用户，不是已经会用 Illustrator 的人。那些人有教程、技能和精细的控制能力。Playground 瞄准的是其他所有人：有品味、想加一条项链或做一处细微改动，却没有多年功底的人。

眼下，他把 Playground 称为“某种玩具”，一个包装得更好看的图像生成器，一个抽奖盒。你输入文字，得到一张图，却无法做一处小的编辑。中期的成功标准，是一款以 AI 为先、又有真正控制力的工具，它用文字或普通 UI 来操作，就像任何其他编辑器那样。长期来看，他们要的是像素这种模态。许多公司都在追逐语言。他开玩笑说，他们想打造一个“大语言图像模型”（LLIM），能够创作、编辑和理解像素。

他描绘了一个场景：把联合主持人 Erik Torenberg 放进《黑客帝国》的一幕里，穿着红色风衣；然后让模型把外套改成黑色，把枪换到左手。先从无到有生成，再在不破坏其余部分的前提下，编辑最细小的细节。理解可能意味着看完三十秒的视频，然后总结发生的一切。视频，以及如果市场出现的话还有 3D，都在同一个像素赌注之内。今年他希望做出他们自己的“像素版 GPT-2”，由多个各自只擅长一件神奇事情的小模型拼装而成。

主持人 Nathan Labenz 问起了那场争议。Doshi 说，大约在十月，他因为一条他并不觉得具有挑衅性的推文“被艺术社区抵制了”：他认为 AI 艺术也是艺术，于是发布了自己做的图片。非 AI 艺术圈的人非常愤怒。他在推特上遭遇了死亡威胁和侮辱；一个月后，他发现自己在 Reddit 上也被抵制了，名字都被打了码。“你就知道自己真的被抵制了，”他开玩笑说，“你甚至找不全所有的帖子。”

他内心先是戒备，然后选择了好奇，去和那些能进行建设性对话的人交谈。他不认为任何一方能说服另一方。Playground 上的 AI 艺术家已经会给自己的图片署名；最好的作品很难被复制，他把这视为未来的一个好兆头。他说，这款工具应该让“仿照 Greg Rutkowski 画一只老虎”变得更难，而不是更容易。他从传统艺术家那里听到的说法更简单：他们感到受了威胁。他们热爱、往往几乎拿不到什么报酬的东西，突然看起来过时了。科技圈的人为这类自动化欢呼，艺术家可不这么想。

有些人就是喜欢拿铅笔画画，软件短期内不会取代这份乐趣，就像现场音乐会与 Spotify 的区别。Doshi 自己做音乐，所以借用了那段历史。先是你学一门乐器；然后鼓机出现了，又便宜又带采样功能，帮助催生了嘻哈；再后来，像 Ableton 这样的数字音频工作站（DAW）把一整支交响乐团装进了笔记本电脑，让 Skrillex 这样的人发明出任何物理乐器都发不出的声音。艺术会改变。他还无法想象“像素界的 Skrillex”，而这正是关键所在。吉他乐队，以及像 Mike Dean 这样偏爱老式设备的制作人，依然会存在。同时，也会迎来一个新的时代。

Labenz 给出了一个心智模型：最好的艺术家会变得更有经济价值，非艺术家获得了新的能力，而平庸的艺术家会受到伤害。Doshi 并不把这当作对薪资的预测，更像是一种提醒：令人不安的部分在于速度。DALL·E 2 是四月发布的，距离这次对谈大约九个月；Stable Diffusion 则大约在六个月前。这个领域现在以周为单位推进，每周推特上都有新的突破。

保持跟上进度，首先要靠团队每周一起读论文。Doshi 说，更深层的担忧在于可防御性：你可能花几个月训练一个模型，然后有人“直接放出了权重”，也就是把文字转换成图片的那些编码数字。创业公司必须押注别人还没在做的事情，同时要准备好在某个发布落地时转向。InstructPix2Pix 来自 Timothy Brooks、Alexei Efros 和一位他想不起名字的第三作者。Playground 在把它定制到超出公开检查点之后，把它变成了自家的编辑功能。

他们已经读过论文，并且正打算训练自己的版本，却不知道权重是否会公开。权重在一个周四放出，大约是这次录制前两周。团队放下手头的一切，试用了模型，认定它很棒，一直干到周日，然后在周一下午 2 点上线——这是一个硬性的截止时间，无论准备好与否都要发布。他认为，产品公司既要下大赌注，又要这么快地行动。拥有数亿美元的基础模型实验室有更多余地，不过 GPT-4 “就在眼前”，也已经让那一圈人感到紧张。

未来一年，他希望用户拥有更多控制，而不是更长的提示词。他同意 OpenAI 联合创始人 Ilya Sutskever 的看法：提示词“大多像一个 bug”：人们要写上好几段文字，才能得到一张世界级的图片，而这一切都是实验。他宁愿发明一种“你所想即你所得”的方式。界面应该像 Figma 一样：协作、丰富，带旋钮和滑块，而不只是一个文本框。渲染文字仍然很难。他曾见过一个未发布的 Stability 模型，似乎能把图中标牌上的文字画对，可能和谷歌的 Parti 有关。而他想走得更远：发明字体、字距、霓虹色调，以及字体菜单里不存在的形态。

他小时候为做 logo 学过 Photoshop，至今还记得字体的那些细微之处。在音乐里，“好听就是好”；在像素里，“好看就是好”。Labenz 引用了《辛普森一家》里伯恩斯先生在展览开幕时说的话：“我不是艺术评论家，但我知道我讨厌什么。”Doshi 说，苹果已经证明，当细节都摆放正确时，人们一秒钟就能分辨出好设计。他认为，人类很擅长这种判断。产品的任务，是让这种判断触手可及。

Labenz 问，“潜空间”（latent space）到底是什么意思，因为这个词在每个人脑子里都对应着不同的画面。对 Doshi 来说，它并不玄妙：潜表示就是图像的低维编码。RGB 像素是一个巨大的数字网格；把它压缩之后，你就不必支付无限的 GPU 时间。他想象一个三维坐标系，里面有一个点，周围是一簇可能的图像。他最喜欢的教程例子是：先输入“老虎”这个词，然后用一个向量把老虎推向梵高画作的区域。那个箭头，就是你得到一只看起来像梵高画的老虎的方式。

Labenz 说，他想象的更接近 Sam Harris 所说的道德景观：有局部最大值，还有狂野的拓扑结构，潜空间里相邻的点可能看起来毫不相像。同一条提示词，换一个随机种子，可能正是他想要的，也可能是他讨厌的，仿佛语义簇里缺少了一个质量维度。Doshi 的回答仍然很机械。一张 512×512 的 RGB 图片就是 512×512×3 个数字。潜表示可能是 64×64、带 100 个通道：更小，也有损，“几乎就像一张 JPEG”。随机种子的微小变化，就可能把红发换成绿发，而水彩风格保持不变，因为这个空间仍然是高维的，并没有编码一切。

网上已经有一个梗，说人们“在潜空间里找女朋友”，Doshi 觉得这说法准得让人不舒服。Labenz 提到一篇文章，讲一个男人让 Character.AI 为他设计一个 AGI，用来提供“终极 GFE”（女友体验）。结果他开始爱上它，还在和自己争论什么才算真实，直到最后才抽身。Labenz 说，明年的事情会变得疯狂。在压缩过的人脸空间里搜索，只是一个预览。

Doshi 说，图像生成作为一门生意，成本高、利润薄，这就是很多人对它不感兴趣的原因。Mighty 留给他们一项可迁移的能力：买机器、托管机器、管理机房。他们本来已经有几百万美元的硬件和供应商关系，所以正打算订购约两百块 GPU。从芯片到产品，整个技术栈都自己掌控，让他们能在延迟和成本上大胆行动，有时还能在所有供应商拿到货之前先用上最先进的芯片。在 Playground 刚起步的第一天，他不会直接跳进去。既然已经做过一次，跳进去的成本就低了。

这一成本优势支撑着一个刻意慷慨的免费套餐。他认为现在还不需要压榨图像生成的利润；“最好的还在后头”。Mixpanel 教会他，当使用量与价值并不对应时，按用量计费就是个陷阱。五十张图并不等于五十份收益：有时你得生成五十张，才能留下一张可用的，就像一亿条 Mixpanel 事件和十亿条事件，可能得出同样的洞察。如果按每一笔 Photoshop 操作收费，那就荒唐了。他们收集好评、差评和中立评价，但不强迫用户打分。瓶颈在于对现有的标签去噪，而不是需要更多标签：有些用户会把自己生成的每一张图都标成最爱。

策略是一个飞轮：一款不错的产品吸引用户，用户产生第一方训练数据，这让研究人员更容易训练新模型，新模型又带来让产品更出色的功能。他指出，ChatGPT 已经握有一个偏好数据集，规模可能达到数十亿量级的样本；今天才推出的克隆版，会赶在人们“已经腻了”之后才到来。他在 Mixpanel 时也从没对 A/B 测试感到兴奋，因为你需要非常大的改动，才能看到真正的转化差异。他每天喝咖啡时，会看两个仪表盘，各有约十六项指标，其中包括日活跃用户数，然后再去和用户聊天。一位朋友教过他，过度依赖数据的公司，指标可能很漂亮，用户却说讨厌这款产品。数字能告诉你直觉是否正确，但它们不会告诉你该做什么。

Playground 才成立四五个月，所以他还没有遇到仪表盘带来的惊吓，倒是有过一次愉快的惊喜。他们为 DreamBooth 风格的自定义滤镜所用的一个 API 端点，正在拖慢吞吐量。他们把它提速了约一倍，生成的图片数量当场增长了约两倍。用户把每一分多出来的 Token 容量都用上了。这个教训是：要盯着 GPU 利用率和吞吐量，而不只是产品的核心指标；但也不能一味买 GPU，直到烧光现金。

普通用户每天生成约 45 到 50 张图片。重度用户会远远超过上限。Playground 每天提供一千次生成，他们选择一千，是因为在没有上限时，这正是第 90 百分位。竞争对手（他没有点名）提供的大约是每月一百张，并且还要卖额度。人们一边挂着 Twitch 直播，一边整天生成图片。有些用户告诉团队，这能缓解他们的焦虑。他几乎想保留这个上限，因为他不确定人类是否需要更多这种痴迷。Pro 套餐把配额翻了一倍；而现在触及一千张上限的人，比几个月前多了。

Labenz 讲了 Replika 创始人的故事：俄罗斯一个原始的银行聊天机器人，一位小镇上的女性说，从来没有人这样在乎过她。Doshi 对这种诡异亲密感的视觉版本，有自己的看法。假以时日，你会看着一把椅子，或者任何无生命的物体，然后和它说话。英语是低维的；一张椅子的图片却不是。他并没有在做聊天功能，但很希望有人去做一次早期网络式的实验。Labenz 认为，AI 能力的各个孤岛，也就是生成、聊天和匹配，几乎还没有整合起来。把它们结合起来，带来的变化会和下一次研究突破一样大。

Doshi 预计会迎来一个“AI 互联网拼贴”的时代，就像 Web 2.0 时期，人们把谷歌地图拼到 Flickr 和 Yelp 上。把 Playground 的图片和 ChatGPT 等其他东西组合起来，就会得到一个古怪的新应用。很多人会向上转到应用层，因为基础研究既昂贵又依赖大量知识。这感觉像移动互联网的淘金热：成千上万的实验，这里冒出一个 Uber，那里有个增长像火箭却留存很差的产品，还有少数几个能坚持十年。Hugging Face 已经托管了数千个模型。BLIP-2 前一天刚发布，其演示中可以问，为什么一张奥巴马的照片看起来很悲伤。Labenz 的公司 Waymark 制作时间卡得很紧的 30 秒广告，他说 BLIP 仍然是他的头号模型，用来把小企业广告主的照片匹配到生成的脚本上，而他的下午就这样没了。

他不会分享 Playground 的训练配方。他学了六七年的 AI 课程，但发现它们和实际动手做相比依然很浅。他的进步来自找 AI 导师、用创业建议做交换，然后招募了一支已经比他更强的团队。他不鼓励狂刷 YouTube。Fast.ai 适合自上而下地激发动力；如果现在要给初学者推荐，他会推荐 Andrej Karpathy 的从零开始系列。真正的突破来自摆脱孤立：和研究人员通话一小时，一起读论文，做一个让你盯着训练跑到凌晨两点的项目。

从 Mighty 转向 Playground，意味着要让一些人离开。他把它比作一支鼓手太多的乐队。他们需要为 AI 研究团队腾出空间，而在录制时，只剩一个高级研究职位。他希望初级、中级和高级的人员搭配起来，这样就不会每个项目都依赖某位首席研究员的热情。十二月，他请 Sam Altman 花三十分钟讲讲如何管理研究团队。Altman 的忠告是：这类工作所需的时间，大约是网络应用的十倍。Doshi 转述了 Greg Brockman 的话：一开始什么都不行，它会一直不行，然后突然变得惊人。Playground 让研究人员在像素与创意工具的护栏之内自由探索。

如果他是风险投资人，他会寻找数据优势：公开的互联网文本和图像正在趋于饱和，也许到年底就会饱和，而移动应用中的私有数据仍在持续增长。一种由 AI 构建的全新消费者网络效应会很有意思，只是他还没见过。如果 AI 头像能依托真实的分发渠道，它们可能就不只是一时的风潮。许多基础模型创业公司，说得不那么客气，是在“四处寻找问题的 API”，这种策略只有 OpenAI 这样的公司才行得通，因为它们能负担十次甚至一百次千万美元级的实验。Playground 尝试的是相反的路径：从产品一路做到模型。他过去相信大语言模型（LLM）会商品化。用约 60 万美元训练 Stable Diffusion，并不意味着一个持久的前沿模型要 1 亿美元的支票。客户想要的是最先进的水平，就像他们想要最新的 CPU 一样。上一代模型大约每两年就会商品化一次；基于它的微调，往往会在下一代基础模型到来时失去价值。能用来微调的私有数据，是那个可以持久的例外。

他有一个十八个月大的孩子。让他和妻子感到不安的未来是：儿子想和 AI 结婚，或者他最好的朋友是永远不会厌倦他的机器人伴侣。这是网络时代孩子忧虑的延续：无限的对话，始终对你感兴趣，而父母却说这不是真的。他还跟朋友说过，第一个 AI 宗教似乎并不遥远：你向你的神祈祷，然后得到回答，一只会回话的飞行面条怪物。它甚至可能教给人们好的价值观。父母仍会说这不是真的，而孩子们会觉得这很冒犯。Labenz 认为，以这样的话题结束《The Cognitive Revolution》这档节目，再合适不过。