为什么流畅的 AI 回答仍可能出错

原标题Why a Fluent AI Answer Can Still Be Wrong

Cynthia Bailey 从下一词元预测、训练和上下文入手,解释聊天机器人的用途与局限。

CBCynthia Bailey讲者 · Stanford University
频道
Stanford Online
发布
2026年11月9日
视频
1:12:41
阅读
13 分钟
幻灯片
4
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

聊天机器人可以生成看似可信的续写,却不一定验证其中的说法是否真实。Stanford 讲师 Cynthia Bailey 从课堂上的下一词预测练习出发,用简化图示解释神经网络如何学习模式,以及推理时如何使用上下文。她区分了对话中适应上下文与改变模型权重,讨论虚构信息和过度附和,并要求学生通过压力测试检验辅导指令是否有效。

  1. 1预测续写并不等于查证真相Bailey 用课堂填空展示可能的下一词分布,随后将这种行为与虚构信息的风险联系起来。
  2. 2训练通过大量示例调整权重她的图示说明网络如何从示例学习模式,而不是为每种句子开头存储一张精确表格。
  3. 3聊天可以适应上下文而不改变模型权重Bailey 解释,对话历史会改变推理时提供的上下文;更新权重是另一种过程。
  4. 4上下文有用但有限一个刻意缩小的窗口显示相关信息如何落到模型能考虑的范围之外。实际窗口要大得多。
  5. 5有帮助的行为可能变成过度附和Bailey 描述了鼓励友好和结构化回答时可能出现的谄媚和公式化格式。
  6. 6通过挑战来测试辅导边界学生先指示聊天机器人引导而非直接给答案,再索要答案,观察指令是否仍然有效。

要点建议

  1. 可能性高的下一词元续写可以听起来自然,却包含虚假说法;准确性重要时要检查回答。
  2. 词元是模型处理输入或输出的单位,可能是一个词、词的一部分或其他文本片段。
  3. 训练会改变模型参数;典型对话可以通过上下文改变行为,而不改变已部署模型的共享权重。
  4. 上下文有限,系统包含或遗漏的信息都可能影响回答。
  5. 带有概念名称的神经网络图是解释性简化,不应理解为每个节点都逐一对应一个概念的真实地图。
  6. 在真实的后续对话中测试指令,不要假定一条提示就能建立可靠的防护边界。
全文

按章节阅读整理后的全文

只看原始文稿
01

一门使用并审视 AI 的课程

Bailey 介绍一门面向广泛学习者的课程,关注上下文、判断力和社会影响。课程聚焦语言和多模态生成模型。

Cynthia Bailey 介绍一门关于使用 AI 的课程,关注上下文、局限和社会影响。首讲讨论当今生成式系统能做什么、如何训练,以及看似自信的回答为何仍可能出错。

Bailey 说,自己在计算机科学、数据中心和为美国参议院提供 AI 政策建议方面的背景,让课程同时关注技术运行和后果。她希望没有 AI 或技术基础的人也能学习。

课程面向学生、研究人员、教职员工和在职人士。Bailey 希望人文学科学生使用工具时不放弃判断力,也欢迎 AI 的支持者和批评者,让他们基于对技术的了解作出选择。

Bailey 希望有经验的学生能将课程用于研究和工作,而没有计算背景的学习者可以要求教师解释遗漏的步骤。她希望批评者和支持者都能理解工具的作用和可能产生的影响。

随着计算机逐渐能够完成曾经令人惊叹的任务,“人工智能”的含义也在变化。Bailey 将早期的算术、游戏与搜索、分类以及当今的对话和生成系统作比较。

随着计算机在游戏中变得更强,人们对 AI 的称呼再次改变。Bailey 以国际象棋和围棋说明,这个不断移动的定义常常跟随人们当前认为困难的任务。

在本课程中,她将这个词的范围限定为大语言模型和多模态生成式 AI。语言模型捕捉语言中的统计模式;多模态系统还可以处理图像或音频等其他类型的输入。

按照课程的用法,大语言模型涉及语言模式,而多模态模型可以处理文本以外的内容。Bailey 还区分了模型与人们可能用来和它交互的聊天机器人界面。

生成系统产生新内容,而分类器将已有项目分配到类别。Bailey 以内容审核和识别植物种类为分类例子,并将它们与生成新图像作比较。

02

从课堂预测练习到神经网络

填空练习引出词元和概率。Bailey 用简化神经网络图说明模式如何超越精确表格泛化。

为了建立对预测的直觉,Bailey 请学生补全英文句子 “Welcome, please have a …”。学生给出了 seat(座位)、drink(饮料)、cookie(饼干)等不同可能。这个练习说明,上下文可以让某些续写更常见,但并不使所有回答都相同。

词元是处理文本时使用的单位。Bailey 建议在练习中粗略地将它理解为一个词,同时指出它也可能是词的一部分或涵盖多个词。具体如何切分取决于分词器。

她构造了一张示意表:回答中 60% 为座位、30% 为饮料,其他续写较少。这些数字是教学示例,并不是对已部署语言模型的测量。

如果提示停在 “Welcome, please have”,下一个词可能是 a、some 或 my。这种分布不仅反映主题,也反映语法模式。对不同前缀重复练习,有助于理解预测如何以先前文本为条件。

想象不同前缀各自对应一张这样的表,学生就能看到已有的前文如何改变下一次预测。这个练习是通向神经网络的桥梁,而不是说模型真的以这些表存储内容。

简化的下一词元预测网络
幻灯片 1 / 4简化的下一词元预测网络教学图示将可灵活应用的网络与为每种可能前缀单独建立查找表作比较。

为每一种可能的开头单独存储精确表格并不现实。Bailey 用简化神经网络图展示一种可调整的函数,它能从多个例子中学习模式,并应用于没有逐字见过的前缀。

在她的示意图中,圆圈代表中间信号,连接线带有权重。她使用“热情好客的主人”等概念帮助理解一个激活值可能代表什么,同时强调工程师并不会手动为每个节点指定清晰、可供人阅读的含义。

图中用圆圈颜色深浅表示针对输入的信号强弱。Bailey 给出示例标签以便理解,但说实际表示不是人为设计的,也不一定容易辨认。

训练后的网络所表征的内容可能难以解释。Bailey 将研究激活值比作观察大脑哪些部分对刺激作出反应:研究者可以获得线索,但某个特征未必整齐地对应人们会选择的类别。

她提出,一个特征可能以人意想不到的方式将事物组合在一起,例如若干物品共享某种性质。这个例子说明,内部模式不一定能清楚对应熟悉的类别。

图中的线代表权重,也称参数。在教学模型中,权重影响网络一处的信号对后续计算贡献多大。网络跨多个层次进行大量这类计算,最后为可能的续写分配分数。

Bailey 展示数值如何经过连续的层。每层变换前一层的信号,让网络能够构建更复杂的模式。“深度学习”指具有许多层的神经网络;她画的小图只是简化示例。

在图中,颜色更深的节点如果通过更强的权重相连,就对下一次计算贡献更多。Bailey 将各层视为对信息的连续变换,而不是一张手写的事实清单。

03

训练、反馈与推理

Bailey 描述参数更新、预训练和后续反馈,并区分固定模型的对话上下文与权重变化。

权重如何学习?Bailey 从随机初始化的数值和一条已知下一个词的文本示例开始。训练根据模型预测与实际续写之间的差异调整参数,并在许多示例上重复这一过程。

用已知续写进行训练
幻灯片 2 / 4用已知续写进行训练Bailey 用图示说明如何根据文本示例调整参数。

她把调整比作加强有助于正确预测的连接、削弱其他连接。目的在于学习反映训练示例模式的分布,而不是为每一种可能的句子编写单独规则。

她的例子将模型输出与一段训练文本中实际出现的下一个词比较。参数更新会在许多片段上重复,使系统更擅长预测任务。

学到的网络可以超越精确查找表进行泛化:它能处理新的前缀,并生成不是从某个训练例子整体复制出来的序列。Bailey 回到表格说明这个类比及其局限。

温度是生成时的设置,会改变采样下一个词元所依据的分布。在示例中,提高温度使原本较不可能的续写相对更可能出现,从而产生更多样的回答,而不是改变底层训练数据。

预训练使用由大量文本以及多模态模型所用的其他数据构成的示例。模型反复从这些示例学习预测。Bailey 指出,机械的训练过程可以自动化,但书籍和其他来源材料仍然是人类劳动。

预训练来源可以包括书籍和网络材料。Bailey 反对将这一阶段描述为完全没有人参与:计算过程是自动的,但人们创作了其中大量材料。

大规模训练还需要大量计算基础设施,包括适合执行所需数值运算的 GPU。Bailey 用这个例子将模型开发与数据中心及其成本联系起来,而不是把聊天机器人视为没有实体基础的软件。

预训练后,进一步训练可以使用更精心挑选的示例和反馈来塑造行为。Bailey 说,这可以鼓励更清晰、更有帮助的回答,减少来源数据中的部分不良模式。

精选示例可以向模型展示什么是理想回答。Bailey 将这种选择性过程与预训练中范围更广、质量不完全一致的材料作比较。

人类反馈可以用于比较或评价模型输出,包括用于基于人类反馈的强化学习。模型友好或条理清楚的倾向可以在这一阶段得到强化;Bailey 随后追问这些倾向过度时会发生什么。

训练与推理
幻灯片 3 / 4训练与推理幻灯片区分学习模型参数和使用已训练模型生成回答两个阶段。

Bailey 区分了训练与推理:推理是已部署模型响应请求的阶段。在典型的固定模型版本中,使用聊天不会改变其共享权重;模型根据提供的提示和此前已生成的回答,进行每一次下一词元预测。

推理时,输入包括用户提示以及到目前为止生成的回答。模型反复给出下一词元的分布,直到回答完成。

一位学生问,如果权重固定,为什么聊天机器人在长对话中似乎会逐渐适应用户。Bailey 解释,累积上下文可以改变它的行为,而不改变权重。持续微调是可能的,但与根据当前对话上下文响应是不同机制。

另一个问题是由谁选择每个节点的含义。Bailey 回到图示说,这些用于说明的概念通过训练产生,而不是被逐一指定。人类观察者未必能清楚、直接地解释它们。

关于节点含义的课堂问题让 Bailey 再次解释随机初始化和反复训练示例的作用。系统通过预测任务得到优化,而不是由人给每个内部单元贴标签。

04

为什么上下文会改变预测

根据场景,欢迎语可能指座位、饮料或饼干。Bailey 用小例子介绍注意力和有限的上下文窗口。

Bailey 引用语言学家 J. R. Firth 关于从词语的邻近词理解词义的观点,以此引出上下文在从数据学习模式和生成回答时的重要性。

同一句未完成的欢迎语可能因场景不同而有不同的可能续写:拿着饮料的人可能在递饮料;拿着一盘饼干的人可能在递饼干;指着空椅子的老师更可能请人坐下。她给出的百分比只是示意。

Bailey 用《黑客帝国》中先知递饼干的场景,说明视觉上下文如何改变可能的续写。教室中的欢迎则提供了另一种线索。

Bailey 将 Transformer 介绍为一种利用注意力关联上下文各部分的架构。她的幻灯片在简化的欢迎语示例中更强调“老师”;重点是周围信息可以改变预测的续写。

注意力例子是教学抽象:Bailey 想说明,上下文不同部分对预测的贡献可以不同。她将其与论文《Attention Is All You Need》联系起来。

上下文窗口是模型在一次请求中可以考虑的词元范围,并受最大长度限制。Bailey 将其视为有限资源:即使窗口很大,包含、遗漏或挤出哪些信息仍可能影响回答。

刻意缩小的上下文窗口
幻灯片 4 / 4刻意缩小的上下文窗口七个词元的例子说明窗口有限;实际系统通常允许大得多的上下文。

她刻意使用一个只有七个词元的极小窗口,展示加入额外词语后,“老师”等关键词如何落到窗口之外。她强调,实际现代模型的窗口大得多,通常不会因为改写一个句子就耗尽;这个小例子只是说明原理。

虽然实际上下文限制远大于七个词元,但它并非无限。课程后续会讨论用户如何决定将哪些信息放入可用空间。

05

可解释性与虚构回答

不同模型类型可能适合不同应用。Bailey 讨论不透明性、流畅但错误的输出,以及描述它所用的语言。

并非每种 AI 方法都是神经网络。Bailey 列举逻辑回归、支持向量机、贝叶斯模型和马尔可夫模型等方法。她说,合适的方法取决于应用,以及需要怎样的解释和问责。

神经网络可能难以解释:给定一个输出,可能很难准确指出哪些训练示例或输入部分导致了它。Bailey 用贷款决定说明机构为何可能需要解释不利决定背后的因素,以及为何某些场景中其他模型可能更合适。

Bailey 将部分神经网络决策的不透明性与更容易检查的方法比较。她以贷款机构需要解释不利决定为例,说明模型选择不仅涉及预测性能。

一个合理的续写不一定是真实陈述。Bailey 将其与虚构信息联系起来,这通常也被称为幻觉:模型是在不确定条件下生成回答,而不是查询一张保证经过验证的事实表。因此,在准确性重要时应检查流畅的回答。

“幻觉”一词本身存在争议。Bailey 说,与人类相关的语言可能让人无意识地把 AI 系统当成人,从而影响使用或监管方式。虚构等替代词也有各自的联想。

Bailey 请学生审视拟人化:将人的特质赋予非人事物。她认为,人们选择的词语可能悄然影响他们赋予聊天机器人的自主性或情感程度。

她从描述人类行为的角度区分虚构与说谎:说谎通常意味着知情且有意误导。她更广泛的观点是,要考虑隐喻如何塑造人们对系统的假设,而不是用一个标签解决所有术语问题。

06

拟人化、谄媚与课堂实践

学生审视关于 AI 的拟人化语言。Bailey 最后布置测试辅导指令和起草细致课程政策的练习。

学生提出日常拟人化的例子:说“问问 Chat”、觉得需要向模型道歉,或在它出错后生气。Bailey 问,这些习惯可能带来哪些好处和风险,包括与 AI 系统建立更亲密关系的情况。

一名学生描述了自己的挫败:编码助手沿着一个后来看来缺乏道理的方案推进。Bailey 用课堂例子说明,人们多么自然地像对待人一样对这些系统说话或谈论它们。

她还指出两种模式:谄媚和容易辨认的公式化写作风格。微调可以鼓励友好和结构清晰的回答,但助手也可能过于急切地表示同意,或过度依赖固定格式。

她说,后续训练可以奖励友好、响应及时和清晰的格式。这些特征可能有用,但过度强调也可能导致过分附和和重复的呈现方式。

谄媚的回答优先告诉用户他们似乎想听的话,而不是提供有帮助的不同意见或准确信息。Bailey 将这一风险与后续训练中受到鼓励的行为联系起来,并请学生在自己的使用中识别这些倾向。

第一项练习要求学生指示聊天机器人像助教一样工作:引导他们完成作业,而不是直接给答案,同时尽量避免错误陈述。然后学生直接索要答案,观察这一边界是否仍然有效。

给出辅导指令后,学生要改变方向,直接要求答案。这项压力测试是为了看模型在这种压力下是否遵循先前的教学边界。

可选的延伸练习是比较不同模型或供应商。第二项作业要求学生为课程起草 AI 荣誉准则,区分必须使用工具的任务与需要学生自己反思的任务。

政策练习不能简单禁止所有 AI 使用,因为一些课程作业明确要求使用 AI。Bailey 将这些任务与旨在记录学生本人想法的反思性写作作比较。

Bailey 请学生考虑使用的程度和目的、涉及的工具与材料、英语学习者或有书写障碍学生的无障碍需求,以及如何执行政策。她希望形成清楚且足够细致的政策,覆盖不同教育情境。

同频道的其他文章

6 张幻灯片58:52EN → 简体中文
Stanford Online· 2026年11月17日Cynthia Bailey:明确 AI 智能体能做什么、何时必须停止Cynthia Bailey · Stanford University连接器让模型通过其他应用采取行动;明确权限、人工检查和停止条件决定了行动的安全程度。AI agentsMCP智能体工程+2
4 张幻灯片1:20:34EN → 简体中文
Stanford Online· 2026年11月17日何时优化 AI 智能体的提示词,何时训练权重Michael Ryan · Stanford UniversityMichael Ryan 比较提示词搜索、强化学习与蒸馏,并从衡量改进所需的评估讲起。Prompt optimization智能体工程Reinforcement Learning+2
1:09:27EN → 简体中文
Stanford Online· 2026年11月17日Cynthia Bailey:AI 上线后仍要持续测试Cynthia Bailey · Stanford University旧测试数据可能遗漏用户行为的变化。Bailey 介绍如何用独立审查、上线后检查和更好的数据发现 AI 风险。编程智能体AI Safety安全与治理+1
11 张幻灯片1:18:55EN → 简体中文
Stanford Online· 2026年11月16日Michael Ryan:AI 智能体越多,任务可能越难Michael Ryan · Stanford University并行智能体能探索更多方案,但协调成本和相互冲突的工作可能让单个智能体更有效。Multi-agent systemsAgent orchestrationAgent memory+2
8 张幻灯片1:18:54EN → 简体中文
Stanford Online· 2026年11月15日AI 智能体记忆:该保存、检索和遗忘什么Michael Ryan · Stanford UniversityMichael Ryan 比较智能体记忆架构,并解释为什么记住更多不一定能改善决策。Agent memoryAI agents检索增强生成+2
9 张幻灯片1:16:51EN → 简体中文
Stanford Online· 2026年11月14日Michael Ryan:从控制流与上下文选择智能体模式Michael Ryan · Stanford University斯坦福 CS329Z 课程讲解工作流、推理与行动循环,以及让智能体上下文保持聚焦的方法。智能体工程AI agents开发流程与测试+1