Daniel Miessler 与 Matthew Berman 谈 AI 隐私、编程和生成式世界

Matthew Berman 主持了这场 2024 年 8 月的直播，与 Unsupervised Learning 的 Daniel Miessler 讨论 AI，Melissa 和 Alex 协助直播。他们谈到隐私、AI 编程、生成游戏、成本和观众问题。预测及产品细节均反映对话时的情况。

Berman 介绍了 Miessler 的开源项目 Fabric，它收集用于增强人类工作的可复用提示词或模式。Miessler 过去从事信息安全工作，后来转向独立 AI 工作。

Miessler 说自己经常使用提取智慧的模式，还创建了一个将复杂材料解释成故事的模式。Fabric 当时主要基于命令行，也有图形界面和 Raycast 等社区集成。

第一条新闻是 Microsoft Recall，它原本计划记录屏幕活动，让用户搜索此前看到的信息。2024 年，Microsoft 在安全与隐私争议后推迟推出；两人讨论了当时计划向测试者开放的消息。

Berman 喜欢这样一种能力：仅凭模糊印象找回邮件或其他内容，不必知道它位于哪个应用。他支持本地处理，并认为用户应当自行决定是否启用记录屏幕活动的功能。

Miessler 希望拥有这种能力，但也理解安全研究人员的担忧。两人讨论了有用的记忆功能与收集敏感活动详细记录之间的权衡。

Berman 认为本地存储很有吸引力，同时也承认截图可能包含密码。本地处理并不能完整解决安全问题：访问控制、加密、保留期限和捕获范围同样重要。

Miessler 认为大型平台公司可能比小型初创公司拥有更多安全资源，但他批评了 Microsoft 最初的沟通。公司规模和加密措施本身都不能保证安全。

两人讨论了选择启用还是默认启用方面的混淆，以及明确选择的重要性。Berman 表示想测试这一功能；他们描述的是 2024 年拟定的推出安排，并非当前设置。

两人将 Recall 与 Rewind 及计划推出的 Limitless 吊坠进行比较。记录现实互动的设备也会引出存储、同意和所收集数据敏感性的问题。

Miessler 说，他没有使用初创公司的产品记录全部桌面活动，因为截图可能包含 API 密钥。不过，他仍看好个人记忆工具的潜力，认为不同人会以不同方式权衡能力与隐私。

话题转向有关 OpenAI“Strawberry”和“Orion”的报道。Berman 介绍了改进推理和合成数据的说法，也明确承认当时很多信息仍是传闻。

Berman 问及政府进行安全测试的报道。Miessler 结合自己的军方背景和对国际竞争的看法，认为合作有战略理由；Berman 则更担心访问权集中。

Berman 倾向于广泛开放模型权重，并介绍 Meta 认为很难保密先进模型权重的论点。Miessler 同意安全防护很困难，但希望在发布可能强大的系统前保留一定谨慎。这是不同的政策判断。

两人认为开放开发可以促进检查和实验。更多人查看并不自动保证安全，而开放权重也不一定包含训练数据、代码或不受限制的许可。

Miessler 认为，如果新模型的能力出现重大跃升，可能应该暂缓发布。Berman 怀疑单一参与者会突然取得压倒性领先；这是一种预测，而非既定事实。

他们提到与美国 AI Safety Institute 达成的发布前测试协议，并讨论政府参与。Berman 提出监管俘获的可能性；公告本身并不能决定监管的实际效果或未来能力的发展。

讨论转向基于 VS Code 的 AI 编辑器 Cursor。Berman 介绍自然语言编程演示，Miessler 认为熟悉的界面和与代码库更紧密的集成使产品具有吸引力。

他们讨论开发者的热情以及人们借助 AI 构建应用的例子。Berman 指出，类似功能也可以在其他编辑器中组合，但集成和用户体验可能产生实际差别。

Berman 展示了一些例子，包括孩子制作的聊天机器人和 AI 辅助制作的视频编辑器。这些演示展示的是特定创作者报告的成果，并不能证明复杂软件总能在没有编程知识的情况下安全构建。

两人都预计 AI 工具会降低创造门槛。Berman 推测，长期来看传统应用层可能逐渐消失；Miessler 则认为更多人将能通过软件表达想法。

他们描述了一个通过语音请求改变界面的原型。Miessler 设想用户通过反复对话引导系统，而不必编写每一行代码；这是一种可能的未来界面。

Berman 设想为个人即时生成应用，而不是从商店安装。Miessler 则认为，有用的能力仍可能作为服务或 API 托管并共享。

Miessler 描绘了许多创作者发布能力、个人助手从中选择的场景。Berman 更强调高度定制的界面。两人是在探索可能的架构，并非宣布产品。

Berman 想知道，AI 编写的代码最终是否可能让人类难以阅读。Miessler 将这一想法与 Andrej Karpathy 的“Software 2.0”联系起来：模型学习到的权重可以编码行为，而不是由人手写所有行为。

他们介绍 GameNGen：这项研究使用神经模型交互式地模拟 Doom。屏幕上的论文描述了一个利用游戏记录和操作训练的扩散模型，而非通用语言模型独立发明整个游戏。

Berman 引用论文报告的结果：在一块 TPU 上每秒超过 20 帧，以及针对短片段的人类比较。这些结果针对特定研究环境，不能证明任意游戏或完整软件系统都能可靠生成。

他们简短讨论了在各种特殊设备上运行 Doom 的传统，包括笔记本电脑触控栏。这是文化趣谈；研究演示则根据先前画面和操作生成新画面。

Miessler 对实时生成印象深刻，并设想更多人无需传统制作所需的资源就能创作电影、故事或互动世界。这是演示引出的可能性，并非已经展示出的完整电影制作系统。

Berman 问，如果每个人收到的内容都不同，共享文化会怎样。Miessler 设想许多人共同参与同一个持续变化的故事，将个性化与共同体验结合起来。

两人回到开发者的角色。Miessler 设想实现变得更容易后，创意方向会变得更重要。Berman 说他重视新颖的想法，还没有看到模型达到自己最欣赏的创意体验。

Miessler 担心创意工作也可能改变，并推测未来规则可能要求人类参与。两人都承认，不确定这些能力或保护措施会多快发展。

Berman 介绍 Andrew Ng 关于推理价格下降的计算。在假设每百万 token 的混合价格为 4 美元、每秒使用 100 个 token 时，算术结果为每小时 1.44 美元。这只是给定假设下的 token 支出，并非劳动者的完整成本或生产力。

Miessler 认为更便宜的推理可能对知识工作产生重大影响，并担心就业。仅凭 token 价格下降，不能证明整份工作可以自动化；可靠性、集成、监督和其他成本也很重要。

Berman 对人们借助更高生产力创造新工作更加乐观，并引用过去的技术转型。Miessler 则认为，如果 AI 越来越多地执行认知任务，这种类比可能不完整。

他们同意这个问题值得进一步讨论，包括可能的基本收入政策。两人都没有对工作替代的规模或时间给出确定答案。

在观众问答中，Miessler 介绍自己使用 Neovim、Copilot 和自建的 Fabric 集成。他用解释模式将不熟悉的 Go 代码与 Python 比较。

他说，Fabric 转向 Go 的部分原因，是与管理 Python 依赖相比，安装和升级更简单。Berman 表示自己使用 Zed 的经验不足，无法将其与 Cursor 比较。

被问及 AI 生成应用的安全性时，Miessler 指出人类编写的代码也有漏洞。他担心生成代码和 API 数量扩大，会放大错误的后果。

他希望 AI 有助于提供保护措施和审查，Berman 则强调测试。自动审查和开源检查都是有用的环节，但都不能保证软件安全；独立验证和适当权限仍然重要。

一位观众问，电影或教学内容是否可能为每个人生成。Berman 设想根据具体问题定制视频；Miessler 设想用观众喜爱的老师风格进行讲解。

两人指出，合成形象会带来身份和同意问题。生成的教程也可能出错，因此不能因为它的外观或熟悉的声音就认定内容准确。

被问到 AI 的能源需求时，两人讨论数据中心电力、分布式训练和可能的能源来源。Miessler 支持太阳能；能源系统的实际可行性还取决于储能、输电、土地和当地条件。

Berman 描述拉斯维加斯附近的一处太阳能热发电设施和一个轨道反射器设想。Miessler 对宣传演示提出质疑，两人都认识到该方案只是面临重大障碍的想法，并非已经实现的能力。

一位观众问 Doom 模拟器如何训练。Berman 解释，智能体运行原始游戏并生成训练记录，随后这些数据被用于训练模型。

谈到 AI 编写代码的质量保障，Miessler 描述了一个多重检查流程，包括独立来源、安全和质量审查。更多检查可能有帮助，但必须评估覆盖范围和相关失败。

Berman 想知道较小模型是否能帮助验证较大模型。两人讨论分层检查，也指出人类专家同样会意见不同；他们并未提出 AI 能完全验证所有输出的具体保证。

他们以自动驾驶为例，认为应将 AI 系统与人类表现比较，而不是要求完美。他们给出的数字示例和个人经历不是受控安全比较；有意义的比较需要匹配条件和独立数据。

Miessler 描述了一次良好的 Waymo 乘坐体验，Berman 则回忆使用 Tesla 驾驶辅助时需要高度注意。个人经历不能证明整个车队的安全性；驾驶辅助功能需要按照运营方规定进行监督。

被问到 AI 生成内容是否应有水印时，Berman 支持披露，但承认恶意行为者可能省略标记。Miessler 设想通过签名验证媒体来源，让平台检查从相机到观众的链条。

他们简要讨论 Worldcoin，作为一种拟议的人类身份验证系统，并推测其未来用途。验证、隐私和治理之间的权衡仍是独立问题；他们的描述并非对未来结果的背书或证明。

Berman 感谢 Miessler、Melissa、Alex 和观众。讨论结束时也提醒我们，这场 2024 年对话中的许多愿景仍是假设，而非既定结果。