2023 年 3 月 AI 新闻：Firefly、Gen-2、Bard 与工作任务暴露

2023 年 3 月，我回顾了一连串快速出现的 AI 动态：Adobe Firefly、Runway Gen-2、有关 Apple 语言模型工作的报道、Google Bard，以及对就业潜在影响的研究。我还尝试了文本生成视频和单图视角合成演示。这里描述的可用性、名称和能力反映的是当时情况，不一定与当前产品相同。

Adobe 的 Firefly 公告展示了上下文感知图像生成：选择一个区域，描述要替换的内容，或者扩展图像。其演示还展示了生成矢量图、画笔和纹理、风格化文字、视频修改，以及从 3D 构图生成图像的构想。部分例子是作为未来可能性展示的；我当时加入了测试版候补名单，但尚未亲自测试产品。

Adobe 的例子包括改变视频中的季节、创建清晰可读的文字效果，以及将简单 3D 布局转成照片般逼真的图像。考虑到早期图像生成器处理文字时常遇到困难，我觉得这些演示很令人兴奋。这些都是公司演示和提议中的功能，不能独立证明每种工作流都已开放或能按展示效果运行。

Runway 新宣布的 Gen-2 展示了文本生成的视频片段，例如空中俯瞰山脉和纽约阁楼里的阳光。当时使用权限有限，我还没有直接测试。示例确实是生成的输出，但这不能证明模型没有受到训练中习得内容的影响。

展示的其他 Gen-2 模式可以使用图像加提示词，或者仅使用图像生成视频。虽然我觉得这些早期技术的运动效果令人印象深刻，但也注意到面部变化等伪影。Runway 还展示了风格化，即将参考风格转移到已有的原始视频上。

分镜示例将用笔记本搭建的模型转换为风格化城市场景。其他例子展示了对选定区域进行修改，以及将无纹理渲染转换为更真实的图像。这些是 Runway 对拟议模式的演示；我的回顾并未证实使用权限或实际生产表现。

我讨论有关 Apple 工程师正在研究语言生成 AI 以及名为 Bobcat 的项目的报道；据称该项目在 tvOS 测试版中进行测试。我设想更擅长对话的 Siri，并表示有兴趣测试。这是截至 2023 年 3 月的一则报道和可能的产品方向，并非已宣布由 ChatGPT 驱动的 Siri 功能。

Google 当时已为 Bard 开放候补名单。Bard 是基于轻量化、优化版 LaMDA 的对话模型。示例界面生成阅读建议，提供“Google it”链接，并提醒回答可能不准确。我欣赏这种尽早收集反馈的方式，也喜欢可以从多个回答草稿中选择。

我推测，Google 自有的云和硬件可能影响它与依赖合作伙伴的竞争者之间的性能比较。这只是一个假设，并非已经证实的性能优势。当时我已加入 Bard 候补名单，但尚未亲自评估它。

Sam Altman 在一次采访中表示，AI 可能消除一些现有岗位，同时创造新岗位。我还研究了 OpenAI 与合作者的一篇论文，该文估计语言模型可能如何影响美国不同职业的工作任务。论文评估的是潜在暴露程度，而不是将消失的岗位数量。

作者估计，在考虑模型能力和配套工具时，大约 80% 的美国劳动者至少有 10% 的任务可能受到影响，约 19% 的劳动者至少有一半任务可能暴露于相关能力。这里的暴露指的是在质量相当的情况下更快完成任务的潜力；它不是这些劳动者会被取代的预测。论文也没有预测采用时间表。

暴露评估标准区分了直接使用模型、通过围绕模型构建的应用产生的暴露、图像能力可能涉及的任务，以及没有识别出暴露的任务。人际互动、体力工作和细致的视觉判断都可能影响哪些活动会受到影响。技术上可行并不能单独决定采用、工资或就业结果。

我尝试的第一个工具是 Hugging Face 上的 ModelScope 文生视频演示。它可以为骑马的宇航员、吃竹子的熊猫等提示词生成短片。我注意到类似图库标志水印的伪影，并推测训练来源；但伪影本身不能证明训练数据集的来源或存在法律违规。

我提交另一个提示词时，公开演示有时会提示系统繁忙。我当时成功运行了几个例子，但可用性取决于服务负载；这段视频不能证明同一服务今天仍然可用或免费。

第二个项目是 Zero-1-to-3，研究人员包括 Columbia University 的团队。用户改变相机角度或缩放时，它可以从一张图像合成新视角。我用汽车和鞋子尝试了不同角度。这些生成的视图会推断未见过的细节，不能当作对物体隐藏面的实测图像。

该项目还将单视角 3D 重建结果与真实参考和其他方法并列展示。我注意到，在示例中，其重建结果没有参考结果清晰。新视角合成与 3D 重建相关，但属于不同的输出；演示生成的图像并不能自动证明已经恢复了精确的 3D 模型。