教会 GPT-3.5 击败 GPT-4 的历史学家

Nathan Labenz 在收到一封邮件后，邀请 Mark Humphries 来到《认知革命》节目。Humphries 是 Wilfrid Laurier University 的历史学教授，研究方向包括皮毛贸易和加拿大第一次世界大战的退伍军人。他曾尝试 Labenz 的那个方法：用 GPT-4 的推理轨迹去微调 GPT-3.5，结果让他卡住的档案处理流程重新动了起来。让 Labenz 印象更深的，是成功背后那一连串的失败。Humphries 对 ChatGPT 绝非浅尝辄止。在 Labenz 看来，他已经是这个领域里最早采用 AI 的人之一。

Labenz 的看法很直接。AI 的分发网络早在技术本身之前就已经存在，所以专家级的应用会在模型可用之后几个月内出现；这与工业革命不同，后者用了三代人，才从早期蒸汽机走到能用的火车机车。Humphries 现在能处理的文档数量大约是以前的一千倍，而搜索方式本身也发生了质的变化。他说，大多数历史学家会等产品成熟，但他们无法忽视这些产品。加拿大的档案规定仍然禁止把大部分材料交给商业 API 处理，而 Claude 直到录制那一周才在加拿大上线。Labenz 称这是一记乌龙球：既拖慢了一个难得的成功案例，又封锁了或许是最注重安全的实验室，同时还把弹药送给了那些根本不想要任何监督的人。

Humphries 不像典型的人文学科后来者。他小时候就喜欢编程，关注过深蓝（Deep Blue）与 Kasparov 的对决，还用 Visual Basic 做过一个井字棋游戏。他的第一份机器学习工作是在 2007 年，他和同事 John Maker 一起，用 ABBYY FineReader 处理德文的一战史料，在一种旧字体上搭建光学字符识别（OCR），效果还行，但谈不上很好。后来他主持了一个数字化项目，扫描了约 1200 万页材料——字迹混杂，没有统一标准，对几年前的模型来说是一场噩梦。2022 年秋天，ChatGPT 同时做到了两件事：实现了他多年来一直想要的能力，还充当了一位导师，教他那些以前请人来写都贵得离谱的代码。

在 ChatGPT 之前，数字史学的第一个阶段，是对不断变化的字体做光学字符识别：比如看起来像 f 的长 s 字符、革命时期的报纸、德国哥特体。2010 年代，这个领域转向了可视化：用大数据做出的词云，Humphries 说，常常在投入大量工作之后，只换来文章里的一句话。Transkribus 是第一个能够准确辨认早期、连笔较多的历史手写体的程序。那年冬天，它的准确率约为 96% 到 97%，这正是老式光学字符识别的交换条件：每一百个字符里有三个出错，而专有名词总是最先崩掉。那年春天，他发现可以把输出丢给 ChatGPT，让它用预测文本的方式修补，包括人名。到了八月，Transkribus 把语言模型整合进了流程，使转录和核对同时进行。历史学家多年来每次外出都会拍下上万张 JPEG，那些图像一直被锁着。现在它们被解锁了，而且大多没有版权问题；他预计，这堆材料还会成为训练数据。

谷歌图书和 HathiTrust 已经数字化了海量的装订印刷品，但那不是大多数历史学家赖以生存的东西。他们依赖的是装在箱子里的纸质档案。仅就第一次世界大战而言，存放在渥太华的文件首尾相接，大约有一公里长——也就是大约四分之三英里——而其中只有极小一部分被数字化。把这一规模推到全球各地的档案馆，那就是几百英里。历史学家的难题一直是处理能力。一个人一辈子也读不完一英里的记录，所以你必须选择去哪里找，这正是历史被不断重写的原因。现在理论上的方案，是把其中接近全部的内容喂给模型。他说，同样的逻辑在法律和医学领域已经显现：放射科医生可能会漏掉模型在扫描图中看到的东西，因为没有人能处理那么大的量。在档案规模上，我们还没有到那一步，GPU 的容量和价格仍然是障碍。但这个方向并不神秘。

Labenz 在节目里粗略算了一笔账。一公里大约有五百万张纸；每页几百个 Token，仅渥太华所藏的第一次世界大战档案，就已经在十亿到二十亿 Token 的范围内。Transkribus 看起来每页成本超过十美分，如果乘以几百万页，对一笔拨款来说是沉重的负担。GPT-3.5 按每百万 Token 2 美元计算，理论上处理同一堆材料只需要几千美元。Humphries 说，今天还不现实，但价格一直在下降——他预计 OpenAI 会在 11 月 6 日前后降价。而旧的替代方案，是雇一个学生，每小时付 20 到 30 美元，一两周才能转录几十页。与此相比，每页十美分已经显得便宜。视觉 API 会让它更便宜。

正面对比，GPT-4 Vision 在逐字转录（diplomatic transcription）上并不能胜过 Transkribus。给它一份 18 世纪的手写文件，它就开始概括、改写，并且胡乱编造内容，在文本上的表现更像 3.5，而不像 4。Humphries 认为，它见过的旧手写体太少，还会陷入一种低谷：它想要“告诉你”这份文件是什么，却不肯照抄。你可以鼓励它——“我知道你觉得自己读不了这东西，但你能读”——它就会再试一次。关键在于，历史学家过去以为，必须先转录，才能使用一页材料。以抚恤金档案为例，他常常想问的是：我有这样一个问题，这 1200 万页里哪些重要？也许你只需要其中 2500 页有用的。在这件事上，视觉似乎已经比逐字转录做得更好，而逐字转录的思路会让整套数字化流程显得多余。

这 1200 万页并非玩具数据集。出于隐私原因，大多数抚恤金档案都碰不得商业 API，这也是 Llama 2 等本地模型会被用上的原因。表格每年都在变：有些页面是手写笔记，有些是打印的。一个简单的问题——一战后这个人有没有领到伤残抚恤金？——却很难回答，因为补助会被取消、恢复、提高、消失，然后再次恢复。模型可以把这些内容整理成一份个案记录，就像临床医生整理病历那样。对于他真正能上传的脱敏档案，只要悉心引导，GPT-4V 就能做得不错。不过，他最近真正在做的项目，性质不一样。

他与研究伙伴 Lianne Leddy 正在尝试为皮毛贸易档案构建一个智能体（Agent）：找到一个 1780 年在蒙特利尔签下合同的人，然后在成千上万页手写的贸易站日志里找到他，并写出一份人生小传。测试案例是 Humphries 称为 Ferdinand Wenzel 的一位中层商人。他把自己的原住民伴侣称为“my girl”，把儿子称为“my boy”，用的是语法颠倒的英语。现成的嵌入模型，比如 ada-002，以及 Hugging Face 的句子转换器（sentence transformers），不会把“my girl”理解为妻子，于是最重要的文件始终浮不上来。HyDE（先生成假设文档再检索）则以另一种方式失败：你让 GPT-4 写一份断断续续的商人日记，它却写成了文学作品：商人停下来，思索清晨的美。真实的记录是这样的：今早天气很好；今天下午一棵树砸中了我的一个手下；我们用五桶朗姆酒换了东西。两句话，三条事实，没有抒情。无论怎样提示，模型都写不出那样的文字。

于是，这套方案变成了一种专家混合（mixture of experts）：一个微调过的嵌入模型，一个微调过的搜索样本生成器，一个微调过的相关性判断器。GPT-4 在判断相关性方面还算不错，但一遇到历史语言就跌跌撞撞；它还会把资料中的种族歧视用语标为禁区，然后判定该页不相关。关键词标注也撞上了同样的墙。问 GPT-4 varang 是什么，它会编一个定义；追问下去，它又承认自己并不知道。这个词指的是桦树皮独木舟上的木质肋骨。渥太华大学的 Nicole St-Onge 及同事建立了一个约 35,000 人的随行划桨工（voyageur）契约数据库。如果这个智能体能工作，你就可以为他们每个人写一份小传，去寻找过去没人有时间去发现的规律。目前的限制在于上下文窗口（context window）和递归 API 调用的成本。Humphries 指出，一年前，历史学家甚至还没在讨论这些。

Labenz 问了一个显而易见的供应商问题：OpenAI 的 API 条款承诺不用你的数据训练，并且会快速删除。为什么这对渥太华来说还不够？Humphries 与加拿大退伍军人事务部的协议是在 2018 年谈的，那时的思路是“别把这个发邮件”，API 还不在视野之内。加拿大的立法更为严格。政府持有的、可识别身份的个人信息，若当事人去世不满 20 年，就受《隐私法》约束；无论 OpenAI 是否保留副本，你都不能传输，就是这样。研究人员签署这一条款，以换取访问权限。医院也会撞上同样的墙。与此同时，他大学里的大多数同事仍停留在第一次接触 ChatGPT 的阶段。从“它能写一首仿 Bob Dylan 风格的诗”到“我愿意把我的数据交给它”，中间有一道巨大的鸿沟，而且随着模型越来越强，这道鸿沟反而越来越长。Claude 本身直到那一周才在加拿大上线，而此前它已在 90 多个其他国家推出。作为主张加速采用的人，Labenz 一直在节目里试图弥合这种能力滞后（capabilities overhang）。

这些真的在加速历史研究，还是仍停留在承诺阶段？Humphries 描述了一种反复打磨的过程：有些日子，模型怎么也做不成；然后找到一个有效的诀窍；接着 OpenAI 推出一次更新，用一周就做到了他花三个月争取的事情。8 月底发布的 OpenAI API 微调功能，把他原本归为几年后才能解决的问题，移进了可以解决的一栏。加拿大那时仍然没有 Claude；Labenz 的制作人 Vivian 直到那一周，才能把节目的文字稿放进 Claude 2 里，以生成话题大纲。他原本计划当天下午就试试 10 万 Token 的上下文窗口。

他一再遇到的误解是，微调会灌入新知识。其实它主要塑造的是行为，不过他补充说，行为本身也是一种知识，两者的界线很模糊。一个简单的相关性课程，可以由同一页的三个版本构成：“my girl”相关，“wife”相关，“my dog”不相关。但关键词问题并不会因此迎刃而解。在一个 65 万词的测试语料上，让 GPT-4 分配关键词，你会得到约 1.1 万个彼此重叠的标签。给它一个 300 个词的词库，它仍然会偷偷塞进词库之外的词。在提示词里加上一堆规则，又会膨胀到 2000 个 Token，成本很高。这就是那堵墙。

突破来自这档节目：Labenz 谈到用思维链来做分类。Humphries 的做法是：让 GPT-4 先把文本切分成主题段落，为每个主题写一段描述，再根据这两样东西生成关键词，对照允许的词表回读检查，最后汇编出最终列表。他把这个流程用在约 400 个样本上，并用这些推理轨迹进行训练。未经微调的 GPT-3.5 在一个 100 个样本的测试集上，大约只能召回理想关键词集的 50% 到 60%。GPT-4 对照人工金标准，达到约 70% 到 72%。用原始 GPT-4 输出来微调 3.5，结果与 GPT-4 持平。把这 400 条轨迹逐条修正，补上分布中缺失的部分，微调后的 3.5 就能达到约 85%。学生做同样的任务，得分在 78% 到 80% 之间，而且关于哪个关键词合适，本来就存在合理分歧。这个较小的模型，被教会每次都用同样的方式把思路说出来，于是达到了人类水平的高段，并超过了更大的那个模型。

他把同样的方法用回相关性判断上，看到了大约 20 个百分点的提升，这在近乎抛硬币式的任务上很致命；一旦达到 70%，几乎总能判断正确。未经调校的 GPT-4，被给出从“高度相关”到“不相关”的五档标准后，显得过于保守：在 500 条语义搜索命中结果中，约 75% 落在“可能相关”一档，而其中大多数其实没用。改成相关与不相关的强制二分，效果更干净，哪怕你会丢掉一两个真正的命中。微调让这种五档式、只看最上面几条的方案重新变得可用。还有一个意外收获：记录中的原住民人名按读音拼写，而且每一页都不一样。当他要求模型给出按读音标注的训练样本时，模型写出的是人名的发音形式，并没有使用教科书式的转录符号。他至今也不清楚它是怎么学会的。Labenz 在能用上 Claude 的那个下午给出的实用提示是：把一段三小时的播客一股脑塞进 10 万 Token 的窗口，会大规模地产生幻觉；大约 90 分钟，也就是窗口的一半，才是可靠的；而 10 万 Token 这一档的价格，大约是 3.2 万 Token 那一档的六分之一。

在人文学科里，Humphries 说，大多数同事仍然卡在抄袭问题上。简短的课后作业，现在 ChatGPT 已经能做得相当不错，这迫使人们重新思考课程到底是为了什么。现在入学的学生，几乎肯定会使用这些工具。两个学期以来，他的课堂政策一直很宽松：可以用 ChatGPT，但内容要由你自己负责。编造的引用，以及说不出论文内容，本身就会导致失败，无论是否用了 AI。一个学生问出了那个显而易见的问题：如果它能做作业，我为什么还要投入？他的回答是：如果你的工作只是把任务输入 ChatGPT，再把输出交上去，那份工作撑不了多久，“因为你比 ChatGPT 贵多了”。

更有用的失败模式是，学生因为工具不能一次把活儿干完而放弃。把它当作编辑来用，让这段话更连贯，它大多会保留原有观点。它更像一位写作教练，或是一位会在草稿上做批注的朋友。卡在 C 等级的学生，可以通过修改和讲解被拉向 B 和 A；疲惫的老师可以让模型不断重述一个数学概念，直到学生听懂为止。这在大学里还没有形成体系。各个机构大多处于观望状态，常常试图回避问题。“防 ChatGPT”的作业，比如更长的论文、挑剔的引用要求，只是给那些还没登录过的人设的权宜之计。让他仍感到震惊的是，在他校园的讲座里，有多少教授从未真正试用过这个产品。Labenz 把它称为能力滞后：技术已经在互联网上，但大多数人的理解还没有跟上。缩小这一差距，是他做这档节目的原因之一。

两人都认为，个人成本的论点是个烟幕弹。每月 20 美元，和一本教科书或奈飞的订阅差不多。真正的账单在机构层面。如果为 3 万名学生每月花 30 美元购买微软 365 Copilot，大学会打退堂鼓，一部分原因是有个人订阅的学生和没有订阅的学生之间，存在公平问题。有用的课堂产品需要那个机构层面的支撑。Humphries 预计，真正的转变会在 Copilot 直接成为微软 Office 的一部分之后到来。在那之前，拼写检查是一个类比：语法和拼写曾经占英语成绩的 20%；拼写检查器出现之后，你仍然需要这些能力，但评分方式已经不再一样。他说，AI 能在作业上做到的事情，很可能会变成底线。在就业市场上，一个连工作所需任务都做不到 GPT-3.5 水平的人，不太可能在那份工作上成功。教育的任务，是让人们超越模型的基线。这不可能人人都做到，“就像今天也并非人人都能拿到 A 一样”。

可汗学院的苏格拉底式导师——它不会替你做作业，只引导你自己去找答案——算是个不错的开端。Labenz 对现状的判断更冷静：在大多数任务上，GPT-4 已经比普通人强，在常规的专业工作上正逼近专家水平，但距离真正的突破性洞见还很远。这会抬高求职的门槛，因为大多数工作本质上都是常规性的。Humphries 有些虚无主义的日子，会觉得模型做的某件事与他自己的工作惊人地接近。他还一再强调，模型没有自主性，你不能把它们放任不管。你能期待的是，人们会更快地总结更多文件。

Humphries 说，历史的教训是，工作往往会演变，很少会直接消失。如果你每天的工作是总结文件，你可能会保住工作，并被期望总结更多的文件。产出标准会水涨船高。如果你靠内容谋生，而你的内容不如 GPT-4，那就成了问题。满是错误的求职信，本来就会被压到最底下；当每个人都能从模型那里得到文笔干净的草稿时，那些笨拙的文字会沉得更深。人们想象的是一个开关。他看到的却是一个渐变过程：任务一点点地被卸给模型，某些岗位因为人们变得更高效而减少席位，同时出现一些新岗位，它们的工作是“牧养 AI”，也就是协调模型和产出。汽车行业在 1950 和 1960 年代就开始自动化，至今仍在演变。这场革命更快，但也不是一夜之间天翻地覆。现在就开始接触这些工具，是一种面向未来的准备：在你交出一段 GPT-4 式的段落之前，先知道它长什么样。

Labenz 同意，“盯着机器”的模式已经很成熟，但他仍然担心那道鸿沟。“遗憾的是，很多人写不出 GPT-4 水平的文字”，所以很难想象他们如何监督它。他对 OpenAI 团队做红队测试（red-teaming）时说过一句话：“对绝大多数人来说，这就是超级智能。只是因为你很聪明，它对你来说才不算超级智能。”对于那些从未坐进大学课堂的人来说，这是一道非常大的鸿沟，而他不确定有多少人能跨过去。Humphries 不愿多想这件事，但也没有置之不理。他说，一部分责任落在 OpenAI 这样的公司身上（Sam Altman 也谈过这一点），因为当技术取代大量人群、让他们心生疏离时，历史会变得很丑陋。这一次，冲击首先落在知识经济上：那些靠写作和分析文件为生的人。以往的革命并非如此。社会还没有为此做过演练。

你必须同时处理两个问题：采用这些工具，并让人们保有收入、生活水准和意义。被问到可以读些什么时，他举的是 19 世纪末的工业化：自动化和贬值的劳动，造成了大批贫困的阶层，最终催生了 20 世纪初和中叶的社会计划。一个相隔更远的类比是圈地运动：土地被改成牧羊场，因为羊毛比庄稼更赚钱，农民被赶进城市，陷入苦难。与其说这是机器的问题，不如说是一种新的经济逻辑，自给农业让位于制造业。作为历史学家，他愿意认下的教训，是一种提醒，不是一种预测。大批人口会与他们所熟悉的工作疏远。那些断断续续地应对过这一切的政府，靠的是建立能够弥合这道缺口的计划。他的女儿七岁。他常常想，15 年后她的世界会是什么样子；它不会像她出生时他所想象的那样。关于机器接管的国会听证会有其价值。但他认为，更迫切的问题是：我们如何应对一项已经到来的技术所带来的劳动影响。