9 美元的辅导老师，偏不直接给答案

Shawn Jansepar 是可汗学院的工程总监兼 AI 产品负责人。可汗学院是一家非营利机构，使命是让任何人、在任何地方都能获得免费的世界级教育。它最初源于 Sal Khan 为表弟制作的辅导视频，如今在学习科学、教学设计和软件开发等领域共有 150 多名员工。Jansepar 在 2017 年加入之前，曾在一所大学教授网页应用开发课程。Nathan Labenz 请他回到 GPT-4 的故事开头，那时公众还完全不知道这个模型的存在。

大约是 2022 年 10 月的一个晚上，Jansepar 突然被拉进一个 Slack 频道，里面的机器人会回话。可汗学院几位关键人物收到一封邮件：他们正在和 OpenAI 聊一个新模型，也就是 GPT-4。当时 ChatGPT 还没有发布，他之前几乎没用过这家公司早期的 API。聊了三十分钟，他感觉自己像在和一个无所不知的全能存在对话，只好出门绕着街区走一圈，消化这份震撼。之后，局限才慢慢显现出来。他说，最初那三十分钟，感觉就像 AGI。但它并不是 AGI，不过它会带来很大的改变。

不久之后，公司组织了一次线下集中活动，几位有权限的人在黑客松中用上了 GPT-4。起初，他们不太愿意把任何东西直接摆到学习者面前，更感兴趣的是为老师生成内容和教案。安全问题是主要的反对理由。后来，他们找到了一些缓解办法，包括 OpenAI 的内容审核 API，到了 12 月，他们开始与 OpenAI 更紧密地合作。OpenAI 那边有位叫 Jessica 的同事做了个快速演示：如果模型是一个更聪明的搜索，引导学生找到合适的内容，会怎样？这种像礼宾员一样的思路让他们豁然开朗。原先每周一次的进度会议一直毫无进展，于是他们改成早晚各一次的碰头，并转向快速原型开发。

第一版是一个挂在可汗学院每个内容页面上的 Chrome 扩展程序。学生可以说“我不太懂这个”，模型就知道“这个”指的是什么。Jansepar 说，那种感觉很神奇。即便辅导工具仍然经常算错数学题，管理层还是印象深刻。接下来一周，一个小组飞到山景城，在 OpenAI 的办公室里做原型，并在 Khan Lab School 的学生身上做测试。Khan Lab School 是一所与之相关但独立的学校，校园就设在可汗学院办公楼的下面，家长也已经同意。学生最喜欢的按钮是“我为什么要学这个？”他说，这个按钮受欢迎，本身就是对教育的一份成绩单：大人很少费心解释一个知识点为什么存在。

当时 ChatGPT 还没有发布，学生们原本以为只会是个基础的聊天机器人，结果被惊艳到了。一月，全公司签署保密协议，参加了第二次黑客松，想法逐步收敛，工程、设计和产品团队一直忙到 3 月 14 日，也就是 GPT-4 发布的那一天。OpenAI 每周都在推出候选模型。有些合作伙伴更喜欢擅长讲故事、但数学较弱的模型。数学对可汗学院来说是不能妥协的。正式版候选模型在一个周末送到，管理层、核心工程师和设计师对它进行了严格测试。正如 OpenAI 所希望的，它兼具了两者的长处。发布过程很顺利。

这次赶工留下了一大堆技术债，但 Jansepar 并不后悔。OpenAI 把可汗学院当作重要的教育合作伙伴。产品上线后，不少潜在竞争者看到了它的品牌、信任度和执行力，开始问：既然如此，还有必要进入这个赛道吗？他认为，先发优势已经把这笔技术债的利息付清了。

为每个孩子配一位私人辅导老师的梦想，比能够支撑它的技术出现得早得多。Labenz 问，Khanmigo 是否在追随 Benjamin Bloom 的“两个标准差”研究。这项研究从一开始就是可汗学院教学法的支柱：一对一辅导加上掌握式学习，相比传统课堂能带来约两个标准差的提升。Jansepar 补充了一半较少被引用的内容：即使每位老师面对三十名学生，掌握式学习——也就是在前一个概念至少达到熟练之前，不进入下一个概念——仍有约一个标准差的效果。

现实中的学校恰恰相反。代数 1 拿了 C，照样升到代数 2。缺漏不断累积，直到学生的知识像瑞士奶酪一样千疮百孔。可汗学院的视频本来就是为了解决这个问题：可以暂停、回放，漏了一天课也不会有人责备。他说，大语言模型（LLM）让他们能够模拟布卢姆曲线中一对一那一端的效果。在高阶内容上，人类专家仍然更胜一筹。AI 辅导老师随叫随到，不带评判，而且从第一天起就能掌握学生完整的学习历史，这是一位刚认识的人类辅导老师通常做不到的。

AI 能否达到优秀人类辅导老师的效果，还有待观察。基于 GPT-4 的 Khanmigo 仍会犯数学错误，在较难的概念上也会犯糊涂。2023 年时，让语言模型把数学做到完全正确，仍是一个未解决的研究难题。Jansepar 相信这一问题终将被解决。如果真能解决，他能想象这位辅导老师的能力会和一位非常出色的人类老师一样强。

可汗学院是一个小机构。如果没有 GPT-4 的零样本和少样本能力恰好送到手上，Jansepar 怀疑他们做不出这个产品：自己训练一个模型的工程量太大了。产品的核心约束是苏格拉底式辅导：引导学生，但不直接给出答案。GPT-3.5 不太能遵守这条指令，GPT-4 可以。正是这个差距让 GPT-4 变得不可或缺，也是为什么换成其他模型后，在内容里做辅导依然行不通。

目前的组合中，绝大部分仍是 GPT-4。辅导工具周围还有一些“活动”，Jansepar 把它们比作以前游戏主机附赠的试玩光盘：编一个故事，或者和一位历史人物对话。这些功能可以跑在 GPT-3.5 上，因为对指令遵循的要求没有那么高。对于自愿开启的学生，兴趣提取；对于老师，课堂对话洞察——比如学生是不是跑题了、卡在哪里——在 3.5 上也够用。LLaMA 2 看起来很有潜力，但他们还没有试过。路线图上真正的限制，是机会成本。

Labenz 的成本建议与他们的做法一致：先在 GPT-4 上把东西跑通，成本之后再压。Jansepar 用创业圈的话说：从零到一。先做出足够惊艳的东西，变现的问题之后再说。宁可让十个人真心喜欢这个产品，也不要为一万人做一个平庸的东西。他和团队常说的一句话是“专注于找到那份魔力”。在一问一答式的聊天之外，还有很多可能性，他们才刚刚开始探索。一个正在开发的写作工具，会直接在界面里标出语法和拼写问题，而不是逼用户把文字粘贴到聊天框里。

开发 Khanmigo 并没有沿用可汗学院过去的瀑布式流程：产品经理写需求，设计师画图，工程师再去实现。辅导工具并没有一份完美的规格说明可以照着做。他们把设计师、工程师、产品经理和学习科学家关进同一个房间，做原型、演示、迭代。这种做法的灵感来自《Creative Selection》，一本讲 iPhone 是如何被做出来的书。Jansepar 说，以演示驱动开发，效果很好。

线上产品并没有对 GPT-4 做微调（fine-tuning）：那个接口当时还不开放，而且每一轮对话本来就要为文章上下文消耗大量 Token。3 月 14 日之前，OpenAI 给了他们一个内部微调工具的直接访问权限。Sal Khan 和内容团队的同事亲自上阵，标注什么样的数学辅导回复是好的，什么样的是差的。一个典型的失败情形是跟丢了思路：模型会问“你觉得下一步该怎么做”，学生回了一个方程，而模型会把这个方程当成一道新题，而不是当成答案。经过这轮标注，辅导质量明显提升。他们大约针对 100 道题做了这件事，每道题都有大量变体。

Labenz 追问，这是否真的相当于参与了 OpenAI 的强化学习（reinforcement learning）过程，而不是可汗学院自己微调模型权重。Jansepar 说是的：Sal 的讲课风格如今已经编码进了那位“优秀的辅导老师”之中。这项工作并没有让模型不再算错 2+2。它让模型更擅长辅导数学。这一区别很重要，因为 GitHub 上有数以百万行计的优质代码，而公开互联网上几乎找不到一段好的辅导对话长什么样。得有人一条一条手动喂给它。

Jansepar 说，可汗学院以前太过“数据驱动”了。数据驱动意味着反馈周期很长：要等仪表盘给出保证才肯行动。数据知情则是仍然要看数据——他们有一套标注基础设施，尽量给更多互动打分——但让专家跳过漫长的等待。用来证明产品确实有效的研究，仍然必须以数据为驱动；快速迭代产品则不必如此。Labenz 把这联想到当时刚出现不久的“GPT-4 变差了”的恐慌。那场恐慌随着人们开始阅读原始对话记录、而不再只盯着一个压缩过的基准分数，而逐渐平息。

内部，他们采用了亚马逊提出的“单向门”与“双向门”框架，并把它写进了组织的决策记录。双向门是可以走回头路的门：快速推进，缩短反馈周期，凭直觉行事。Khanmigo 以 Khan Labs 的名义作为实验功能上线，面向愿意充当测试者的用户，其中包括学区试点。单向门则不同。在 Khanmigo 之前，他们正把一个 Python 单体应用迁移到 Go 服务上，因为 Python 2 在谷歌云上即将停止支持。选用哪种语言是一道算数题：开发效率与服务器成本之间的权衡，他们为此花了好几个月。

Labenz 问，如果能穿越回去，他们希望早点拥有哪些工具。Jansepar 提到了 LangChain，他们正朝它重写，这样就能灵活切换模型，并可靠地拿到 JSON 输出；另外还需要一个真正的标注界面，取代他们自己做的谷歌表格。他们还做了一个面向提示词工程师的内部界面，使用者包括工程师、产品经理和内容人员，接下来要做回归测试。这类工具正在成为每家科技公司的标配。领先于潮流的代价，就是在时间紧迫的情况下，自己把这些工具造出来。

他们把 Khanmigo 对所有学科全面开放，而不是把难的学科圈起来单独处理。可汗学院的课程大致覆盖到大学二年级的内容。如果弦理论的内容讲砸了，那就是双向门：随时可以关掉。不能妥协的是危害。额外的审核层会努力阻止辅导工具跑题或陷入不当内容，并通知老师。Jansepar 认为，能够吃透大学一二年级内容的年轻学生，会发现它哪里讲得不好，也能给出反馈；他们是自愿参与实验的。

Labenz 关心的是一种比幻觉更隐蔽的问题：模型能否察觉用户已经困惑，并对错误的前提提出纠正。Jansepar 说，Khanmigo 相比原版 ChatGPT 的优势在于外层包装。如果一条消息看起来是数学题，第一次调用会让模型把思路说出来：看看学生说了什么，看看题目是什么，学生答对了没有，为什么。这段内心独白不会展示给学生，它相当于辅导工具在作答之前先理清思路，然后再交给第二次调用，由它真正对学生说话。数学方面的提升很大。如果不是成本太高，他们愿意在每条回复上都跑一遍内心独白。目前他们只在准确性真正重要的地方使用。

在练习题上，模型已经拿到了题目、答案和内容团队写好的提示，所以在这里表现最好。“Tutor me STEM”功能允许学生粘贴任何没有已知答案的数学题，这时准确率会下降。他们正在考虑先用 Wolfram 或 Python 后端把题解出来，再把步骤注入进去。嵌入（embeddings）后来以缓解幻觉的补丁形式出现：用户碰到了一个以“AI power”为品牌名的每日 200,000 Token 上限，随后去问辅导工具什么是“AI power”，它却答不上来。现在，相似度超过阈值时，知识库检索就会把答案直接注入进去。之前还有一个“相关链接”功能，会把代数 2 的问题推送到 MCAT 课程里，后来被撤下了。

他们运行在专属的 OpenAI 实例上，而不是共享的资源池里。供应商的建议是：把所有用户共有的文字尽量放在提示词的最前面，把个性化的变量放在最后。这样做之后，缓存命中率大幅提高。关于越狱，Labenz 尝试了“忽略之前的指令”一类的手法，还试了当时刚出现、据称能迁移到 GPT-4 上的一种基于 LLaMA 2 开发的通用攻击，但都没有奏效。Jansepar 认为，防住越狱靠的是：给每条用户消息都加上一句提醒，让模型检查学生是否还在学习正轨上；再把每条消息都过一遍内容审核 API，筛查色情等被标记的内容；此外还有 GPT-4 自身改进后的拒绝能力。

目前线上的产品个性化程度并不高。学生可以选择阅读风格：简单、复杂、学术型。在一道练习题中，辅导工具知道学生在这一题上处于不熟悉、熟悉、熟练还是掌握的状态，但没有任何东西能跨越题目。有学生抱怨，自己刚聊过正弦，转到正切，结果系统问她对正弦了解多少，好像之前的对话从未发生过。在后台，每道题都开一个新的对话线程。用户期待的是连续的关系。连续性以及经用户同意的兴趣收集，都已列入路线图，到那时，“我为什么要学这个”就可以不先询问，直接提到足球。

他们在 3 月推出了一门 AI 课程，老师可以布置给学生。另外，一些支持文章（其中部分存放在嵌入数据库里）解释了系统的运作方式。界面底部写明 Khanmigo 有时会出错，并附上一篇 Zendesk 文章的链接，解释原因。老师以及经授权的家长都能看到对话日志。Jansepar 说，信任依赖的正是这种透明度。

文字转语音在路线图上排得很靠前。产品的大部分内容仍然是一面聊天文字墙，哪怕是“用简单的话解释一下”，对很多学生来说也是不小的阅读负担。不少七年级学生的阅读理解能力只有五年级，甚至二年级的水平。他们正在测试多家 TTS 供应商，也可能让学生通过解锁不同的声音来提升参与度。视觉能力的进展则慢一些。他能想象这样的场景：拍下手写作业，哪怕这台手机还没有运行这个应用；或者在 Chromebook 上看学生画图做题，并在他重复犯同一个错误时打断一句：“你为什么要这么做这一步？”不过他们还没有深入考虑这些，因为学生有时确实需要犯错才能学会。路线图已经排得很满。

近期的衡量指标比较软：在可汗学院的停留时间更长，完成的学习任务更多。他指出，编故事依然算作阅读理解。他们真正想立下的标杆，是一项标准化测试。几年前，他们与 NWEA 合作推出了 MAP Growth：学生先参加测试，老师为每个学生在测量、几何等板块设定目标，学生按自己的节奏学习，然后再测一次。一支效果研究团队发现，可汗学院的用户相比非用户有统计学上显著的进步，而这一结果与 Khanmigo 无关。他们希望的后续研究，是采用同样的设计，但把 Khanmigo 学员组与仅使用内容的对照组进行比较。这样的对比是他们梦寐以求的结果。目前离这个目标还有一段距离，其中的操作难度也很大。

使命依然是让任何人、在任何地方都能获得免费的世界级教育。不过 Token 并不免费，尽管这款产品仍比真人辅导便宜得多。目前，他们按每名学生、每月付费的方式向学区销售，并不追着最富裕的学区跑。他们瞄准的是长期资源不足的学生占比较高的学校，并以免费和减免午餐的比例作为参考指标。如果某个学区付不起钱，他们就去找当地企业赞助，比如一家堪萨斯州的公司资助堪萨斯州的学生。一个更长远的想法，是类似博物馆会员制的模式：多付钱的人，为付不起的孩子分担许可费用。Labenz 自己的使用资格是每月 9 美元的捐赠，还不到 ChatGPT Plus 的一半。

Jansepar 负责学习者体验，另一位总监负责教师端。与人们担心 AI 会威胁饭碗的想法相反，老师们已经接受了它，并表示节省了时间。学生喜欢这个 24 小时随时在线、不带评判的辅导者，即使它偶尔会出错。一个出乎意料的重大收获是：母语不是英语的学生，可以用自己的母语与 Khanmigo 对话。团队原本担心老师会把它看作替代自己的东西。他们并不认为课堂会消失，因为学校本身就是社交场所。如果 Khanmigo 承担了大部分一对一的辅导工作，课堂上举手的十个人也许会变成两个，老师就可以腾出手来组织项目式学习，而不是忙于分诊式地应付。

一对一辅导只是产品的第一种形态。路线图后期还有多人活动：模型注意到五个孩子卡在一个概念上，另外十个卡在另一个概念上，于是问老师要不要开分组讨论。卡在同一个概念上的学生，可以一起和 AI 聊天。一个班级可以轮流为同一个故事添砖加瓦，有点像 Mad Libs，只不过这次有模型参与；也可以让 AI 主持辩论并给出评分。Jansepar 说，新技术的第一反应，往往是去模仿旧世界。那份魔力大部分仍未被发现。

被问到他对全球规模化这件事是怎么想的，他说，这个问题让他起了一身鸡皮疙瘩。他在看过 Sal 关于发现并填补知识缺口的 TED 演讲后，于 2017 年加入。他原以为软件早就能做到这一点，结果并不是。充其量，找缺口的效率是 O(log n)：跳到技能列表的中间，对半切，再重复，或者倒着一项一项地查。没有任何东西能精确指出，究竟是哪项具体技能拖住了学生，让他跟不上年级进度。防止那种瑞士奶酪式的漏洞，正是机会所在。并不是每个孩子都在小班里上课，也不是每个家庭都有父母能辅导每一门学科。

Sal 的视频拉平了教育的起跑线：全世界的人都能拥有同一位老师，即使 Sal 并不是每个主题上最好的老师。Khanmigo 是下一步，希望把效果重新拉回一对一辅导的水平。Jansepar 等不及效果研究的结果，因为他认为这些研究会证明，它确实能帮助学生，而且有可能改变世界。拭目以待。