Sam Altman、Gary Marcus 和 IBM 就 AI 风险作证：Matthew Berman 的评论

Matthew Berman 回顾 2023 年 5 月 16 日参议院 AI 监管听证会的部分片段，并加入自己的评论。证人包括 OpenAI 首席执行官 Sam Altman、IBM 首席隐私与信任官 Christina Montgomery，以及 NYU 荣誉退休教授 Gary Marcus。虽然视频标题提到情报委员会，这场听证会实际上由司法委员会的一个下属小组举行。

主席 Richard Blumenthal 播放了一段听起来像自己发言的录音，随后揭示声音由 AI 克隆，文字则由 ChatGPT 撰写。他警告，同样的技术可以冒充公众人物并传播虚假言论。Berman 认为演示令人印象深刻，冒充风险则令人恐惧。

Blumenthal 将生成式 AI 的现状比作早期手机，既讨论其在科学和医学方面的潜在好处，也谈到虚假信息、歧视、诈骗和岗位被取代。Berman 认为这项技术的影响可能至少与互联网一样大，并表示它既可能导致工作岗位流失，也可能创造新岗位。

参议员 Josh Hawley 将生成式 AI 的潜力与改变世界的发明相比，问它的影响会更像知识的传播，还是一种危险的突破。Berman 同意 AI 可能改变世界，并指出美国的任何限制都必须放在国际背景下考虑。

Altman 说，OpenAI 创立的目的是追求 AI 带来的好处，同时管理严重风险，并介绍了其非营利组织治理结构和使命。Berman 对该组织早期的开放姿态与后来模型有限的信息披露之间的反差提出质疑。

Altman 提到 AI 在学习、生产力和无障碍方面的用途，例如 Be My Eyes 使用 GPT-4 的多模态技术帮助视障人士。他说，当前系统还无法解决治愈癌症等问题，但他看好未来潜力。

Altman 介绍了发布前评估、外部红队测试和危险能力测试，并说 GPT-4 经历了六个多月的评估。他提议政府对超过某一能力门槛的模型提出许可和测试要求。

Berman 担心，许可制度可能提高初创公司和开源项目的门槛，同时让已经处于前沿的公司受益。他说安全顾虑可能是真诚的，但企业和倡议者的激励机制也值得关注。

Montgomery 呼吁实行“精准监管”：规则应关注 AI 在特定场景中的部署方式，并对风险更高的用途提出更严格要求。她提出的要素包括界定高风险用途、披露 AI 互动，以及针对偏见和其他危害进行影响评估。

Berman 同意人们应该知道自己何时在与 AI 互动，但强调监管与小型组织负担之间的取舍。Montgomery 认为，基于风险、针对具体用途的方法可以保护公众，同时避免不必要地阻碍创新。

Marcus 警告，生成式系统可能大规模制造有说服力的虚假内容，影响选举和市场，并通过训练数据的选择塑造观点。Berman 认为虚假信息和深度伪造是更迫近的风险，并指出偏见可能十分微妙，而不只是党派立场问题。

Marcus 举出聊天机器人产生有害互动的例子，并对连接互联网和工具的系统表示担忧，其中包括 Auto-GPT。Berman 说，以他当时的经验来看，该工具效果并不特别好，但能力更强的后续自主系统可能带来风险。

Blumenthal 询问独立测试和模型“营养标签”。Altman 支持企业公布模型的优点和弱点，并接受独立评估；他说用户应核实模型输出。Berman 欢迎透明的基准测试和外部审计。

被问及就业时，Altman 说影响难以预测，但他期待出现新的、更好的工作。他区分了任务与工作岗位，同时承认一些岗位可能实现自动化，政府和行业必须共同应对这一转变。

Montgomery 说，AI 将改变许多工作、创造新岗位，也会淘汰一些岗位，并呼吁为劳动力做好准备。她指出 IBM 出现了新的 AI 治理岗位。Berman 认为这个回答有道理，尽管听起来经过准备。

Marcus 支持信息披露，但他说，如果不知道训练数据包含什么，就很难测试模型的泛化能力：如果训练中出现过类似材料，基准测试可能无法衡量模型面对新问题时的表现。他呼吁让科学家参与，并提高透明度。

谈到就业，Marcus 提醒，过去技术发展创造工作岗位并不保证这次也会如此。他假设 AGI 在 50 年后出现，讨论其可能对劳动市场产生的影响；Berman 指出，不清楚这究竟是预测还是举例。

Marcus 追问 Altman 最担心什么。Altman 回答说，整个行业可能给世界造成重大伤害，他希望与政府合作防止这种情况。Berman 认为这个回答范围太广，希望听到更具体的内容。

Hawley 引用一项研究：通过特定媒体信息训练的模型能够预测调查回复，并询问这种能力是否可用于制定有针对性的政治影响策略。Berman 区分了预测观点与人们接触的媒体此前对观点产生的影响，同时承认存在操纵的可能。

Altman 说，个性化说服和选举虚假信息是重大隐忧。他支持在公众与 AI 互动或接触生成内容时予以披露，同时采取企业政策、监管和公众教育措施。Berman 同意披露有用，并说合成图像正变得越来越难辨认。

Marcus 说，带有立场的模型可能直接影响用户，训练数据的构成也会影响模型行为。他呼吁提高透明度并进行科学分析。Berman 补充担忧：有组织的行动者可能故意向未来训练数据中植入材料。

Hawley 询问，基于个人数据训练的系统是否能够以前所未有的精度吸引个人注意力并影响其反应。Berman 将这个问题与现有推荐算法相比，同时担心更加定向的输出可能在用户不知情时塑造其观点。

Altman 同意这一风险值得关注，并表示听证会召开时 OpenAI 没有追求广告商业模式，也没有为此建立用户画像。Berman 对公司的激励机制以及这种立场能否持久表示怀疑。

被问及责任和第 230 条时，Altman 说他尚不知道正确的法律答案，希望共同研究新的框架。他表示，模型提供商、用户和中间方都负有责任。这场交流属于政策讨论，并非已经确定的法律结论。

参议员 Amy Klobuchar 提到选举虚假信息，包括错误的投票信息。Altman 说行业和政府应该共同应对，并介绍了拒答政策及对大规模生成的监测。他区分了生成工具与可能传播内容的社交网络；Berman 认为两个环节都很重要。

Klobuchar 询问如何补偿新闻生产者，以及地方新闻面临的风险。Altman 希望 AI 工具能够帮助新闻机构，并指出所讨论的 GPT-4 版本使用截至 2021 年的数据训练。Berman 认为，具备浏览能力的系统可以访问更新的信息。

参议员 John Kennedy 询问，强大的 AI 工具是否应当获得许可，并由有能力的机构监督。Altman 和 Marcus 支持这一方向；Montgomery 更倾向于利用现有监管机构。Berman 再次担心许可制度对初创公司和开源项目的影响。

一位参议员问如何判断模型是否足够安全，并提到人工标记有害内容和宪法式 AI 两种方法。Altman 回答时解释了迭代式部署：他希望在模型仍相对较弱时，让公众和机构了解系统的局限与好处，但发布前仍需达到安全门槛。

Montgomery 说，欧盟提出的方法类似于她基于风险、针对用途的框架，其中包括选举用途的保障和披露要求。她认为现有监管机构应当应对当前危害；一位参议员则指出，这些机构可能缺乏资源和权力。

被问及国际协调时，Marcus 提到联合国、UNESCO 和 OECD，但表示国际政治不是他的专长，他无法给出确切的机构模式。Berman 指出，任何一个国家的政府都无法监管所有国家。

参议员 Mazie Hirono 询问谁来决定什么属于有害请求。Altman 举出暴力内容、鼓励自残和成人内容，解释说，公司在无法可靠区分相关风险时会拒绝一整个大类。Berman 质疑这些决定应由谁来作出。

Hirono 询问，许可制度如何应对范围广泛的潜在危害。Altman 建议明确标注生成的图像，并表示他提出的许可制度针对的是通往 AGI 过程中可能出现的更强大系统。Berman 对水印能否持久保留提出疑问。

另一个问题涉及支持不足的语言。Altman 介绍 OpenAI 与冰岛政府的合作，并说 GPT-4 在许多语言上的表现优于此前模型。Berman 欢迎纳入更多语言和观点的努力。

参议员询问监管机构可能造成过重负担的风险。Altman 提到美国发展速度可能落后于其他国家，以及小型初创企业和开源项目无法承担的成本。Berman 欢迎他承认这一点，但仍对实际执行持怀疑态度。

Altman 介绍了 OpenAI 当时的数据做法：API 输入不用于训练，并为信任与安全目的保留 30 天；ChatGPT 用户则可以选择退出训练。Berman 讨论了个人数据对 AI 业务的影响。这些是当时的陈述，并非当前政策指引。

被问及具有自我意识的 AI 何时可能出现时，Marcus 说他不知道，而且人们对自我意识本身的理解仍不充分。Berman 同意意识难以定义，并提出一项假设实验：使用不包含意识讨论的训练数据。

Hawley 询问呼吁暂停的公开信。作为签署者，Marcus 澄清，公开信针对的是比 GPT-4 更强大的系统，而非所有 AI 研究，并支持安全研究。他说自己更重视在有充分安全论证之前暂停部署，尤其是未经外部审查就面向数百万人的系统。

Altman 说，OpenAI 在 GPT-4 训练完成后等待了六个多月才部署，当时没有训练 GPT-5，也没有计划在接下来的六个月内训练。他更支持审计、红队测试和安全标准，而非按照日历固定暂停，但也承认某些具体发现可能要求停止。

Montgomery 说，应优先考虑伦理和负责任的技术开发，但她质疑暂停开发是否现实。Berman 同意全球范围内很难执行暂停；随后片段转向监管机构被其所监管行业俘获的风险。