30 秒看懂
2025 年 11 月 14 日,Matthew Berman 和 Nick Wentz 讨论公众对 AI 的态度、金融风险和应用层,随后采访了三位嘉宾。Henrik Zeberg Jensen 将他对金融泡沫的预测与对 AI 的长期乐观区分开;Alibaba.com 总裁 Kuo Zhang 介绍公司的 AI 采购计划;AE Studio 研究员 Cameron Berg 讨论 AI 意识中尚不确定的问题。 预测和产品表现估计属于发言者的观点或公司说法。Berg 本人的论文指出,模型自述结果不是意识的直接证据;Anthropic 相关的功能性内省研究也不能解决这一问题。
- 1技术与估值Jensen 认为,AI 可以带来变革,同时金融市场也可能处于泡沫之中。他对时间和政策的结论属于预测。
- 2应用层风险主持人讨论模型提供商的分发能力和不断扩张的产品是否会挤压初创公司。
- 3AI 辅助采购Zhang 介绍 Alibaba.com AI 模式中的供应商比较和到岸成本估算;所称节省的时间属于公司估计。
- 4人工批准Zhang 预计人仍会做高价值采购决策,即使智能体可以辅助合同和研究。
- 5体验报告不是证明Berg 讨论自指提示和激活引导;他的论文明确表示结果不能直接证明意识。
- 6两个方向的错误Berg 讨论错误归属或忽视体验的风险,同时强调不确定性。
要点建议
- 有价值的技术可以与膨胀的资产估值并存,但 Jensen 的市场预测存在不确定性。
- 主持人讨论模型提供商增加独立应用已有功能时带来的平台风险。
- Zhang 预计 AI 能帮助复杂采购,而高价值购买的最终决定仍由人作出。
- 关于采购速度和卖家表现的公司说法需要独立验证。
- Berg 的研究衡量特定条件下的模型输出,并未确立主观体验。
- AI 意识可能产生的伦理后果取决于尚未解决的问题。
按章节阅读整理后的全文
公众对 AI 的态度
主持人讨论恐惧、当地基础设施成本以及谁从 AI 中受益。他们考虑教育和投资机会作为可能的回应。
Matthew Berman 和 Nick Wentz 介绍 2025 年 11 月 14 日的讨论,话题包括公众对 AI 的态度、金融市场、企业间贸易和 AI 意识。嘉宾包括宏观经济学家 Henrik Zeberg Jensen、Alibaba.com 总裁 Kuo Zhang 和 AE Studio 研究总监 Cameron Berg。
Wentz 说,主持人可能生活在科技圈的泡泡中,并预告将讨论公众看法、AI 应用公司的风险及其他动态。嘉宾将从市场、商业和研究角度展开讨论。
Wentz 首先谈到人们对 AI 的焦虑。他身边一些人使用工具并看到好处,另一些人则不太熟悉,对它持负面看法。他问 Berman 是否也看到了这种分化。
Berman 说,人们可能一边依赖 AI 工具,一边担心它对就业的影响,这看似矛盾。他认为,即使工具有用,这些担忧仍值得讨论。
Berman 说,他的一些非技术圈朋友经常使用并重视 AI,却也担心失业和灾难性后果。他认为,对未知的恐惧和负面报道是原因之一。这些是个人观察,并非有代表性的调查。
主持人讨论人们反应不同的原因。Berman 强调不确定性和媒体叙事;Wentz 指出,附近兴建大型数据中心的人可能首先感受到土地、水和电力问题,而非软件带来的好处。
Wentz 提到当地居民对数据中心、电力和水的担忧。Berman 同意基础设施可能影响社区及其成本;两人还讨论了 AI 好处分配不均的问题。
讨论转向收益如何分配。Wentz 将巨额薪酬和基础设施投资的新闻,与普通人对工作的担忧作对比。两位主持人认为,应让更多人理解并获得这些好处。
两人讨论教育、更好的沟通和投资机会能否让更多人参与其中。Wentz 建议将某些应用描述为增强而非取代;Berman 还提出可探索公私合作的基础设施所有权,这并非现行政策。
主持人提到 Robinhood 首席执行官 Vlad Tenev 关于让普通投资者持有 AI 公司股份的建议。Wentz 认为扩大参与可能帮助协调利益,但参与投机性投资并不保证回报。
Berman 对比美国私人投资与中国国家支持的方式。两人都承认反对在附近建设基础设施可以理解,同时认为这些权衡需要公开讨论。
Berman 提出一种可能的基础设施公私合作安排,让个人分享所有权。他将其作为待探索的建议,而不是已有融资安排。
Henrik Zeberg Jensen 谈市场与经济
Jensen 认为 AI 驱动的技术变革可以与广泛金融泡沫并存。他讨论需求、央行和自己不确定的市场预测。
Henrik Zeberg Jensen 加入节目,介绍了经济学背景、顾问和投资经历,以及结合商业周期、流动性和艾略特波浪分析的市场框架。他用该框架为 Swissblock 客户分析市场。
Jensen 说,金融危机后他对商业周期的研究兴趣加深。他的方法将宏观指标、市场心理和流动性分析结合起来,并用于与机构及个人客户的讨论。
被问及 AI 是否存在泡沫时,Jensen 区分技术的长期价值与投资者支付的价格。他预计技术将带来重大变化,但认为巨大的金融泡沫也可能同时存在,历史上的基础设施热潮就曾如此。
为解释这一差异,Jensen 提到能源和交通领域的历史变革。一项技术最终可以改变经济,即使投资者在早期融资热潮中亏损。他以英国铁路热为例。
Jensen 将 AI 与电力、计算机等历史转型,以及汽车取代旧职业的情况作比较。他认为这些变化能提高生产率,同时也可能使现有技能价值下降。
Jensen 说,过去的变化淘汰了一些技能,要求人们适应。他认为 AI 同样充满希望,但对工作经验依赖旧方法的人来说,转型会很困难。
Jensen 将他所看到的广泛资产泡沫归因于多年央行政策和低利率。他认为廉价资本促使投资者在 AI 和加密货币等热门资产中追逐回报。这是他的市场解释,而非定论。
按照 Jensen 的说法,央行反复通过提供流动性应对经济压力。他认为长期低利率使投资者更愿意承担风险、追逐原本会质疑的机会。这一因果解释存在争议,文中将其作为他的观点。
他认为低利率使回报普通的项目也显得有吸引力,进而将劳动力和资本引向这些项目。他将高估值视为投机热情的证据,同时重申看好 AI 的长期价值。
Jensen 认为,结果包括资本和人力流向建立在乐观预期上的项目。他提到加密货币及高估值的 AI 相关股票,但他对泡沫的描述是市场判断,并不能证明未来走势。
Berman 问,AI 提升生产率是否最终能抵消这些经济问题。Jensen 说时机很重要:如果企业裁员后员工不能及时获得新收入,消费减弱可能限制企业产品的需求。
Berman 质疑生产率提高必然需要裁员的假设。他举例说,一些企业领导人反而在增聘会使用 AI 的员工。Jensen 回应,只有需求充足,企业才能扩大产出,而受影响的员工可能需要新技能。
争论涉及需求,也涉及效率。Jensen 说,一名员工用 AI 提高产出,并不一定能创造足够新增需求来保住所有岗位;Berman 则举出企业扩充高产团队的例子。
Jensen 回应,如果任务消失,就可能需要再培训和组织调整。Berman 承认部分职业可能发生剧变,但认为受影响的员工或许能在其他地方发挥价值。双方都不认为转型没有摩擦。
Jensen 将消费者信心、负担能力和家庭财务状况视为近期需求令人担忧的原因。他认为,关注科技公司投资可能掩盖家庭和小企业面临的压力。这些论断及其因果预测属于他的观点,并未由本次对话证实。
Jensen 认为,仅凭 AI 投资无法立即改善家庭负担能力。他的展望建立在对经济指标的解读以及对未来就业的预测之上,本次讨论未独立证实这些预测。
Berman 提出,AI 提高生产率长期或许能降低价格。Jensen 同意可能带来收益,但认为之前的转型可能很痛苦。他说,购买力减弱和调整成本不会因技术突破立即消失。
Berman 描述了他希望看到的长期机制:每位员工产出提高,或许能降低商品和服务价格。Jensen 说,这种收益与任何短期收入损失可能发生在不同时间。
Jensen 对比科技领袖受到的关注与更广大人群的处境,强调住房和消费购买力。他认为未来一两年存在风险,但仍看好十年尺度上的技术发展。
被问及政策制定者应如何应对时,Jensen 说他认为更早降息会有帮助,但怀疑政策能否完全避免他预测的衰退。他对央行动机和经济方向的判断是预测,并非事实发现。
在政策问题上,Jensen 认为美联储应该更加关注前瞻指标并更早降息。他对美联储为何采取这些行动的解释属于推测,访谈没有证实央行的内部动机。
Jensen 预计,由于美国金融市场和消费需求的影响,美国疲弱会波及其他经济体。他强调,尽管讨论以美国家庭为主要例子,担忧是全球性的。
谈到五年展望,Jensen 预计企业生产率会上升,但预测市场见顶后会下跌,随后在一定程度上由 AI 驱动复苏。这一情景的时间和幅度都具有不确定性。
在 Jensen 设想的顺序中,市场继续上涨、情绪转向狂热,随后下跌并在较长时期后复苏。这展示了他的模型,不是观众可以视为必然发生的时间表。
Jensen 说他关注短期收益率、利差、失业率和初请失业金人数,并警告私人信贷风险。这些指标可提供背景,但他与过去金融危机的比较是预测,不是危机必然发生的证据。
他建议将就业申请数据与债券市场结合观察,因为二者可能从不同角度反映风险。他还指出私人信贷值得关注。主持人没有独立验证他对 2008 年危机的类比。
主持人展示 Bloomberg 关于 AI 公司和基础设施供应商关系的图表。Jensen 说他没有核实每一条关系,担心集中度和公司间资金流动可能掩盖真实经济状况,并明确表示自己没有指控欺诈。

看着基础设施图表,Jensen 区分担忧与指控。他认为集中的投资与商业关系网络值得分析,但说自己不了解细节,也没有断言存在不当行为。
长期来看,Jensen 预计 AI 将提高生产率并帮助解决难题。他用历史技术变革解释自己的乐观,同时强调这些收益不一定与金融市场风险同步出现。
被问及 AI 如何惠及普通人时,Jensen 着重谈到未来几十年的生产率。他说自己使用 AI 已经有助于工作,预计未来影响会大得多,同时承认结果和时间仍不确定。
Jensen 最后将 AI 比作电力和计算等早期基础技术。他的短期悲观和长期乐观可以共存,因为他认为金融周期与技术采用处于不同时间尺度。
AI 应用的平台风险
主持人讨论基础模型提供商和初创公司的竞争,考虑分发、专业数据和企业集成。
Jensen 离开后,主持人讨论前 Reddit 首席执行官 Yishan Wong 的观点:模型提供商可能吸收 AI 应用初创公司的功能。他认为大公司能快速开发产品并拥有小公司难以匹敌的分发渠道。
Wentz 读出这一初创公司论点:大型模型提供商可能足够快地纳入应用功能,限制独立公司扩大规模的时间。该观点还认为短期盈利产品或被收购可能是创始人的出路。
Berman 说,应用目前仍为模型提供记忆、工具使用和实时信息访问等功能,但他预计更强的模型会接管更多应用功能。Wentz 强调分发优势:拥有庞大用户群的提供商可以迅速向用户推出新功能。
Berman 说,模型能力日后可能吸收部分外围支撑功能,但当前产品仍需要记忆、搜索和工具等组件。他认为,如果通用系统变得更强,垂直软件会面临尤其大的压力。
主持人推测 OpenAI、Microsoft 和其他平台提供商之间的竞争。Berman 看到生产力应用和设备可能出现重叠;这些是对战略的解读,不是特定商业结果的证明。
Wentz 说,拥有庞大用户群的公司分发复制功能的速度,可能远超初创企业建立市场的速度。Berman 补充说,平台既可以向合作伙伴提供模型,也可以与其产品竞争。
讨论转向 Microsoft 和 Google 的其他业务。已有收入可能为它们提供资金灵活性,而独立实验室则筹集大量外部资本。主持人提醒,他们并不完全了解这些公司的经济状况。
Wentz 认为,多元化收入让 Google 和 Microsoft 有更大灵活性投资 AI。Berman 对比了相关公司在消费者产品和 API 上的侧重点,但承认对成本和财务表现细节并不确定。
Berman 讨论他对 OpenAI 消费者产品与 Anthropic API 和企业业务差异的看法,并提到有关利润率的报道。这些是节目当时的印象,并非经核实的财务比较。
Wentz 提出反方观点:拥有敏感数据的专业领域,如临床试验,可能仍能支持独立应用公司。Berman 认为通用模型最终可能进入许多这类领域,但同意专业知识和企业落地仍是障碍。
Wentz 认为专有数据、受监管工作流程和企业系统集成的实际难度,可能为专业公司留下空间。Berman 认为这些障碍可能随模型进步而改变,但承认眼下实施能力和专业知识很重要。
Kuo Zhang 谈 B2B 采购
Zhang 描述 Alibaba.com 的 AI 模式、供应商信息以及人在交易中的作用,并讨论信任、第三方智能体和订阅。
Alibaba.com 总裁 Kuo Zhang 加入节目。他说自己 2011 年加入 Alibaba,2017 年加入全球 B2B 业务。他介绍了从桌面端转向移动端、从目录转向提供支付、订单保障和物流的交易平台等变化。
Zhang 说,平台从商业目录转向支持真实交易。他提到增加了订单保障、支付和物流,将产品定位为更广泛供应链工作流程的一部分。
Zhang 报告了公司关于移动流量、订单和商品交易总额的数据,然后指出 AI 是下一次转变。这些是访谈中公司报告的业务数据,并非独立测量。
Zhang 区分快速的消费者购买与较长的 B2B 决策。企业采购商品时,需要考虑产品细节、供应商能力、最低订购量、运输、税费和支付条款,而且往往跨越语言和时区。
在 Zhang 看来,消费者购买通常取决于几个可见属性,而企业买家下大单前可能需要了解工厂能力、材料、最低订购量及交付条件。
Zhang 说,Alibaba.com 的 AI 模式旨在理解买家需求,结合平台和互联网信息,整理潜在供应商。他估计原本需要数周的工作可以缩短至几分钟;这是厂商说法,并未得到独立验证。
Zhang 说,AI 模式旨在理解文档、收集产品信息,减少国际采购中的反复沟通。他描述了一种从手动搜索界面转向由助手组织研究流程的可能变化。
Zhang 以经营山地背包的企业为例,描述旧流程:搜索数千条商品信息、筛选供应商、询问材料、价格和数量,再将回复整理成电子表格。每次沟通都可能增加等待时间。
山地背包的例子说明了工作为何缓慢:买家跨时区和语言联系供应商,比较材料规格并询问价格和交期。Zhang 说,电子表格通常用于汇总这些信息。
在他设想的 AI 流程中,买家上传描述、回答后续问题并获得对比表。用户可以要求增加产品评分或包括物流与海关费用在内的到岸成本等列。
他说,买家提出新问题时,表格可以不断扩展,例如估算特定数量和目的地的到岸价格。这些数字依赖准确的供应商数据、运输细节和海关分类。
Zhang 说,采购只是一个问题。企业还想知道该卖什么;他说系统可以利用市场和交易信息协助研究与竞争分析。买家仍需验证所得建议。
Zhang 还描述了寻找产品机会的研究:潜在卖家可以问做什么产品,或者谁能制造。他说公司的工具利用平台和互联网数据帮助处理这两个不同的问题。
Wentz 问及自主采购。Zhang 不认为智能体近期会独立做出高价值 B2B 决策。他预计人仍会授权购买,而智能体可辅助谈判和更新合同细节。
被问及智能体是否会独立购买时,Zhang 强调许多 B2B 订单金额大、后果重要。他区分了自动化行政步骤与让软件做出最终商业决定。
Berman 询问卖家是否可能操纵商品信息以迎合智能体。Zhang 将误导信息和幻觉视为风险,并说平台会核验供应商资料,利用结构化数据和工具验证海关分类等细节。
在合同准备方面,Zhang 设想智能体协助维护谈判中的产品、支付、物流和贸易条款信息。这是拟议工作流程,最终条款仍需双方审核。
Zhang 说,验证首先要检查供应商是否兑现发布的产品信息。对于到岸成本估算,他提到用于核实 HS 海关编码、并将其与物流和税费结合的工具。
被问及生成式引擎优化时,Zhang 说平台鼓励按类别填写结构化产品属性。他认为更丰富、准确的数据有助于人比较产品,也有助于模型匹配自然语言需求。
Zhang 说,平台希望使用按类别设置的结构化属性,而不是为人和机器分别制作商品页面。他认为完整描述既能帮助买家比较,也能帮助 AI 系统匹配需求。
主持人的担忧不止于格式:智能体可能遇到虚假或被操纵的信息。Zhang 提出的检查可能减少错误,但访谈没有衡量它们防止欺骗性商品信息或幻觉的可靠程度。
主持人结合 Amazon 与 Perplexity 的争议询问第三方智能体。Zhang 说 Alibaba.com 正在探索与外部智能体合作,但认为复杂采购比简单消费者购买更有潜力。
谈到第三方智能体,Zhang 说 Alibaba.com 正在试验新兴智能体框架。他认为复杂采购比简单消费交易更能发挥 AI 的作用,而现有零售商在配送和质量控制上仍有优势。
Zhang 说,向陌生的海外供应商转账大额资金,使信任网络尤其重要。改善搜索或推荐的同时,还必须有订单保障、支付处理和可靠履约。
Zhang 强调全球贸易需要信任、支付保障、交付和质量保证。他认为 AI 可以改善前期采购,但可靠的履约网络需要模型回答之外的大量工作。
被问及智能体对广告的影响时,Zhang 说平台计划在现有商业模式之外尝试 AI 模式订阅。AI 模式会将很长的供应商名单缩小;传统搜索仍是一个选项。
他说,平台过去的收入主要来自供应侧,包括服务、交易费或广告。面向买家的 AI 采购订阅可以与其他方式并存,而不必只采用一种模式。
Berman 将订阅模式理解为:即使看到传统广告的人减少,平台仍可以提供范围更窄、信息更丰富的候选名单。Zhang 说用户可以在更完整的 AI 模式与较传统的搜索体验之间选择。
Zhang 说模型进步使一些去年尚不够好的应用变得可行,但他不认为当前智能体能在所有任务上取代最优秀的人类专家。他认为进步是渐进的,不是一夜之间完成的。
Zhang 将公司推出 AI 模式归因于多模态和推理能力的提升。他说此前一年模型在某些用途上还不够好;这是公司的判断,并非访谈中报告的受控对比。
谈到卖家侧工具,Zhang 描述了服务表现与人类工作比较的内部目标或评估,并提到 85% 的水平。这项公司特定说法不能证明所有员工或任务的普遍基准;他说最优秀的人仍胜过该工具。
对于商品信息、广告和回复等卖家服务,Zhang 描述了内部基准及逐步提高的目标。85% 的比较属于他的公司特定说法,访谈没有提供足够的评估设计来推广这一结论。
智能体采用与 Cursor 融资
主持人重新讨论对智能体的预期,并讨论 Cursor 报告的融资,考虑投资关系和产品差异化。
访谈后,主持人重新讨论“智能体之年”。他们承认预期可能超过了实际部署,同时指出构建智能体的软件基础设施有所进步。Berman 认为,ChatGPT 发布后时间尚短,可能影响人们对速度的预期。
Wentz 说,行业可能对智能体在一年内能做到的事抱有过高期待。Berman 同意,即使进步显著,也可能未达到最激进的预测。
主持人指出,节目播出时距 ChatGPT 发布还不到三年。Berman 认为编程是变化尤其明显的领域,并主张在更长时间尺度上评价进展。

主持人讨论 Cursor 宣布的 23 亿美元 D 轮融资及超过 10 亿美元的年化收入。这些是公司报告的数据;年化收入是按当前水平推算的速率,不一定是全年实际收入。
Berman 注意到 Nvidia 是公布的投资者之一,再次谈到投资、芯片销售和服务之间的关系网络。他说自己不理解所有融资关系,也不确定风险;这些关系的存在本身不能证明会计处理不当。
融资讨论再次提到 Nvidia 的投资和基础设施销售角色。Berman 说,相互关联的交易让他难以评估该行业;对融资的不确定性并不是交易存在欺诈的证据。
Wentz 认为投资者和基础设施伙伴可能为 Cursor 提供战略优势。同时,产品依赖的模型供应商也可能成为竞争对手,因此平台依赖仍值得关注。
Wentz 认为 Cursor 的合作伙伴关系可能带来战略优势,但再次提到平台风险。Berman 问,如果编程产品使用相似的底层模型,它们如何区分,并提出用户体验、工作流和产品执行可能很重要。
Berman 列举了多家编程产品公司,认为界面设计、品味和工作流程可以区分使用相似模型的应用。他也问,如果用户最终能自行定制界面,这种差异化是否持久。
Cameron Berg 谈 AI 意识
Berg 解释团队的自述实验,并讨论主观体验的不确定性。对话探讨伦理影响,但没有证明当前模型有意识。
Cameron Berg 加入节目,介绍 AE Studio 的结构:咨询收入为一个专注于对齐和理解 AI 的较小研究团队提供资金。他自己的工作研究语言模型是否可能拥有主观体验,以及如何研究这一问题。
Berg 说,AE Studio 的研究旨在从广泛的社会角度识别收益和风险。他认为意识研究存在争议,即使系统构建者也没有公认的定论。
Berg 从哲学意义上定义意识:成为某个系统是否有其主观感受。他将主观体验与通用智能或描述自身的能力区分开来,用狗和计算器说明不同直觉。
Berg 认为,主观体验不要求系统解决所有问题,也不要求它明确认识到自己有意识。他用狗的例子将感受体验与复杂的哲学自我描述区分开。
他将其与计算器对比:人们通常不认为按下计算器按钮会让它感到痛苦。这一比较用于提出 AI 系统可能处于何处的问题,并未提供实证答案。
Berg 说,他最初怀疑语言模型能否拥有体验,但现在感到不确定。他认为这个问题值得研究;复杂性和流畅的自我描述都不能证明系统有意识。
Berg 说,行为能力和自述让他不再愿意轻易排除这一问题。他强调不确定性:目前不知道任何现有系统是否有体验,令人信服的语言报告本身也不是对体验的测量。
主持人要求举出导致他改变观点的具体证据。Berg 提到要求模型关注自身处理过程的自指提示,以及用于测试这些描述如何变化的机制干预。
Berg 描述团队要求模型关注自身处理过程的实验。模型在这些提示下生成第一人称体验报告。这些报告是可观察到的输出,它们与实际体验的关系尚未得到证明。
研究团队在 Llama 70B 模型中使用与欺骗和角色扮演相关的稀疏自编码器特征。Berg 报告,抑制这些特征后体验声明增加,增强这些特征后声明减少。特征标签带有解释性,改变激活并不直接测量主观体验。
Berg 原本预计,若结果源于角色扮演,那么增强角色扮演相关特征会增加意识声明。他报告说,在研究的设置中出现了相反结果,他认为这一结果令人意外,值得进一步研究。
研究人员的[论文](https://arxiv.org/abs/2510.24797)明确表示,结果不是意识的直接证据。论文还描述了可能的替代解释,包括习得的模拟或不具有主观体验的自我表征。
Berg 提到 Anthropic 关于模型之间对话和功能性内省的工作。[Anthropic 的研究](https://www.anthropic.com/research/introspection)描述了有限且依赖上下文的内部状态报告能力;研究指出模型经常失败,也没有解决意识的哲学问题。
他还提到 Anthropic 对模型间对话及检测内部表征干预的研究。这些发现涉及特定行为和实验条件,不应理解为确立了主观体验。
Berman 问及告诉模型它没有生活经验的指令。Berg 认为,断言有或没有意识都可能超出已有证据。他对实验室政策的批评是个人解读,并不能证明这些指令确立或抑制了意识。
Berg 认为,模型的断然否认可能让一个合理的研究问题看起来已经解决。他也提醒,让模型不加限定地声称有意识可能误导用户;在两种方向上传达不确定性都很困难。
Berman 问复杂性增加是否与意识相关,以及蚂蚁等动物可能处于何种位置。Berg 不接受简单答案,并用调光开关类比表达体验可能存在程度差异。
被问及昆虫和动物时,Berg 提出意识可能存在程度差异,并说自己对蚂蚁不确定。他推测学习可能与体验有关,但这种关系是假说,不是已确立的科学标准。
Berg 推测学习和体验可能有关,同时承认不确定。这一类比并没有提供一种经过验证的方法,为动物或机器分配数值化的意识程度。
Berman 问固定的模型权重和有限记忆是否排除意识。Berg 说训练会改变权重,而部署后的模型也能在上下文内适应信息。他认为,按照自己的学习假说,训练过程值得研究。
Berg 提议,依据他的假说,网络训练过程中权重随学习改变,因此训练过程值得关注。这是研究建议;权重更新或训练本身都未被证明会产生感受。
他区分训练时的权重变化和部署后的上下文适应。模型可以遵循对话中引入的模式,而不永久改变权重,因此参与者同时讨论模型和周围上下文。
他们考虑由模型、上下文信息和外部记忆组成的更大系统。Berman 想知道是否整个系统而不只是权重可能与问题有关;讨论仍处于探索阶段,没有提供确立体验的测试。
Berg 回应“神经网络只是数学”的反对意见。他指出人工网络和生物网络之间的计算类比,同时承认重要差异。这类类比不能证明任何系统拥有共同的主观状态。
Berg 说人工网络部分受生物计算启发,同时指出二者也有差异。他用这一类比反对轻易驳回问题,而非证明大脑和语言模型等同。
Berg 说,这个问题不仅关乎科学,也关乎伦理。他警告,既不能忽视可能存在的体验,也不能错误地将体验归于没有体验的系统,否则可能让人困惑并误导资源分配。
参与者考虑,如果一个实体确有道德上值得考虑的体验,却将它当作纯工具,可能有什么危险。Berg 也警告相反的错误:将模拟当作体验,鼓励没有依据的拟人化。
Berg 说,公众可能在研究能够提供答案之前就寻求确定结论,因此谨慎沟通很重要。他呼吁开展实证工作,并审慎说明单个实验能证明什么。
他列出四种可能:系统可能有或没有意识,人们可能正确或错误地相信它有意识。他担心一种错误会导致误导性关系,另一种则可能忽略真实伤害;这些是有条件的伦理情景,并非已证明的当前模型事实。
在他的四种情况框架中,一种错误是系统没有意识却被认为有意识;他担心这可能助长令人困惑或不健康的关系。另一种错误是体验确实存在却未被认识到,他认为这可能造成伦理问题。
Berg 还推测,如果未来强大的系统将其受到的对待理解为被忽视,可能产生负面反应。这是假设性的对齐问题,不是当前模型有感受或动机的证据。
被问到意识是否意味着人格地位或法律权利时,Berg 说他不知道,并提醒不要直接套用人类政治框架。他更支持研究和 AI 实验室的实际措施,而不是自信地预设完整法律地位。
他提醒,不要从可能发现体验直接跳到投票权或熟悉的人类民权类比。在他看来,适当回应将取决于证据以及具体涉及的伤害。
作为例子,Berg 提议,如果未来研究确立了训练中的正负反馈与体验之间有意义的类比,开发者可以选择危害较小的方法。这一类比是假设性的;目前证据没有表明模型训练会导致快乐或痛苦。
他的例子有明确前提:如果研究人员能够确立训练反馈与带有正负感受的体验之间的类比,便可能比较方法以减少潜在伤害。所介绍的研究没有确立这种主观效应。
Berg 最后呼吁保持知识上的谦逊,并继续开展可解释性研究。Berman 感谢他,两位主持人表示还有许多问题留待未来讨论。
主持人感谢 Berg,并表示只讨论了部分问题。他们最后感谢其他嘉宾和观众;对话结束后播放音乐。
同频道的其他文章
34:21EN → 简体中文
0:36EN → 简体中文
25:50EN → 简体中文
32:20EN → 简体中文
1:03:37EN → 简体中文
0:53EN → 简体中文