看完 GPT-4 演示 12 小时后，他让一家十年老的法律创业公司转了向

Pablo Arredondo 在凯易律师事务所（Kirkland & Ellis）做过一段时间的专利律师，之后联合创办了 CaseText。他现任汤森路透 CoCounsel 副总裁，汤森路透在 2023 年收购了这家公司。主持人 Nathan Labenz 请他从比 GPT-4 那一刻更早的地方讲起：没有电脑之前，律师究竟是怎么找到法律依据的？过去十年 CaseText 又改变了什么？Arredondo 说，法律很早就有一张引用关系图，远早于网络出现超链接。每份判决书都引用前面的判决，常常精确到页码。美国律师和诉讼的爆发式增长，很快就让案例多到一辈子也读不完。

随之而来的有两个问题：怎么找到正确的判例？又怎么知道手上这份判例仍然是有效的法律？在缅因州建州之前，一位名叫 Simon Greenleaf 的律师引用了英国的判例，因为当时几乎没有可用的美国判例。那个判例早已被推翻，法官在公开庭审上让他当众难堪。Arredondo 说得有些夸张，他说 Greenleaf 再也不想经历那种事，于是开始列一张清单，记下哪些后来的判例推翻了哪些早先的判例。这张清单后来发展成了引证工具，也就是律师至今仍在用的元资源；最著名的品牌是谢泼德引证（Shepard's）。

判例本身在很长一段时间里都很乱，直到 West Publishing 把判决书编进统一的判例汇编系列。West 的血脉如今在汤森路透旗下。电视里律师身后的那面书墙，就是这套系统。West 还建了一套人工分类法：侵权，然后是人身伤害，然后是动物攻击，最后是狗咬人。它帮人们找到判例，也把人困住了。分类器怎么切分法律，你就只能按它那样去用。20 世纪 60 年代末和 70 年代初，数字化到来，最终发展成 Lexis：数百万份判决书可以用关键词和布尔邻近检索。精确率受影响，因为跑出来很多不相干的词；召回率受影响更大，因为你需要的那份判例可能用了不同的措辞。Arredondo 说，他执业时，这仍然是主流范式。

CaseText 的第一款商业产品，瞄准的是引证工具的一个盲区。谢泼德引证及其竞争对手只沿着直接引用的路径走：找出明确引用了你那份判例的案子。Arredondo 打了个比方：一个录像店店员被问到类似《教父》的电影，只会推荐《教父 2》和《教父 3》，却从来不提《好家伙》。Spotify 和亚马逊早就在用这种软性的共现关系：下载这个的人，也下载了那个。CaseText 会分析律师诉状里引用的每一个判例，然后推荐那些没有出现在诉状里、却本该读的判决书。在不缺钱的顶级律所里，反应是惶恐：怎么会漏掉这些？我们可是请最好的律师的。

这家公司最后进入了一个奇怪的两极市场。Arredondo 把它比作杰克丹尼威士忌的一则广告：画面从丽思酒店的婚礼切到摩托车手酒吧。CaseText 既有位于曼哈顿摩天大楼里、卷入动辄上千万美元反垄断官司的客户，也有开在购物中心里、一直只会用谷歌学术的个体律所。要做一个完整的研究引擎，就得解决 Greenleaf 在 19 世纪遇到的那个问题：这份判例是否推翻了那份判例？法院有时会写“我们推翻了 Jenkins”，有时又会写他们“遗憾地把 Jenkins 送进了遗忘的垃圾堆”，因为法官的写法可以很随意。

2018 年前后，谷歌开源了 BERT，包括论文、代码和方法，作者之一是 Jacob Devlin。CaseText 用同样的方法在美国普通法上做训练，分流环节仍有人工参与。Arredondo 最早看到的那道闪光，是电脑标记出一个推翻判例的说法，而那句话里没有任何常见用词。由此他们做出了平行搜索（Parallel Search）：律师可以粘贴一整句话，检索出类似的判例，哪怕没有任何关键词重叠。有一次演示的是一个因为在工作时不戴口罩而被解雇的人，系统检索出的是安全帽和工作场所安全的判决书。对于那些他戏称活在“关键词牢笼”里的律师来说，这感觉像一场地震。2020 年的 GPT-3 让人惊叹了 10 分钟，然后就被否决了：可靠性不够，细腻度不够，没法交给律师直接用。

然后是 2022 年 9 月 16 日。Arredondo 和联合创始人 Jake Heller 看了一场 GPT-4 演示，12 小时内，他们就把整家公司的方向都围绕它转了过来。基于 GPT-3.5 的 ChatGPT 还要六周才上线；公众要再等好几个月，才能见到 GPT-4。Sam Altman 后来说，实验室把发布拆开，是因为同时看到聊天和 GPT-4 会让人吃不消。CaseText 则是双管齐下：他们建了一个 Slack 频道，随时可以让 GPT-4 生成时间线、改写文件，什么都试。Arredondo 说，接下来的 72 小时，任务跑得太多，感觉自己的脑子都快烧出洞来了。

他们也立刻明白，不能把一个裸的 GPT-4 聊天机器人交给律师。他问它一个他亲自办过的案子，回答得太可信，让他开始怀疑自己。他反驳时，模型告诉他，如果想吹嘘自己的案子，那是他的事；但它又说，证据就在这儿：一个编造的网址，点进去什么也没有。Labenz 也有过一个几乎一模一样的夜晚：他问，一位本科化学教授是否与他合写过论文，模型说写过，还列出了一篇论文，他只好去查证，才让自己重新站稳。后来，律师会因为幻觉出来的引用而走进法庭，一些创业公司会在营销截图里放上假案例。CaseText 是在实验室里率先中招的。

从最初开始，他们就把检索增强当作不可商量的前提：搜索引擎检索真实的判决书，GPT-4 必须依据眼前的材料作答，不能自由发挥。真正让 Arredondo 确信这次飞跃是真的，靠的是法律图书馆员，而不是他与斯坦福同事合写的那份律师资格考试研究。他们以拆穿工具为乐。当他们说系统“靠谱”，而且似乎能处理各个法律领域的细微差别时，他信了。CoCounsel 的名字致敬了 Copilot，它首次亮相于 MSNBC 的《Morning Joe》节目。一款法律科技产品在全国电视上首秀，在过去是不可想象的。旧的演示流程是一个图书馆员说“这东西挺有意思”，然后也许三周后再让另一个人看看。现在，整个合伙人会议室都会聚过来，那架势像是有人在挪用公款。

CoCounsel 最初是一排技能按钮：法律研究、审阅文档。后来它改成了聊天，因为人们觉得这更自然；聊天又让意图变得太模糊，于是不得不找回一些结构。实际产品介于 Labenz 说的“副驾驶模式”和“委托模式”之间：你可以对话，把任务分派出去，让它们在后台运行，然后回到结果页面。技能既覆盖以判例为生的诉讼律师，也覆盖以合同和尽职调查为生的交易律师。CaseText 在前一类上花了十年，而 GPT-4 让后一类突然变得可以做了。

法律研究的做法，是在真实判决书上跑检索增强。取证准备会先提出议题，让律师修改，然后起草问题。时间线功能接收一堆杂乱的材料，整理出编年顺序，这种活，Arredondo 记得自己刚当初级律师时常常要熬夜干。交易方面，律师可以问某个并购协议条款是什么意思。合同政策合规功能更有意思：一家财富 50 强公司把自己的规则（比如特拉华州法律、某些知识产权条款）输入系统，之后每份收到的草案都会被检查，遇到不合规的条款，就给出建议的修订。他把这个演进过程比作拼写检查、语法检查，然后是有了 GPT-4 之后的实质内容检查。一个“市场行情”功能会去拉取美国证监会（SEC）的文件，扫描后整理成报告。

他最希望大家认真想想的用例，来自另一家财富 500 强客户。有些专家证人年复一年靠为同一家公司出庭作证谋生。这家客户问：如果把这位专家在多起诉讼中之前的报告和证词交给你，CoCounsel 能不能找出可以用于交叉询问的矛盾之处？Arredondo 说，这正是律师读法学院要学的那类工作。流行的说法是，AI 只会自动化没人想做的琐碎杂务。模型确实能帮忙减轻繁琐，但它们同样能帮上实质性的工作，比如找出证词中的不一致，好让律师去做那场能把证人驳倒的著名交叉询问。

长上下文窗口让 Arredondo 的心有点碎。它们变成了海市蜃楼：模型会漏掉中间的内容，而且窗口塞得越满，准确率越低。他打的比方是：一艘广告上写着能载 100 人的船，只要上去 10 个人以上就会沉。对于要求正确的法律工作，这些窗口还没有真正可用，不过他看到了进步。OpenAI 的新版本不会被直接热切换进来。团队会重新测试，因为一个在某件事上更强的模型，在律师真正用的功能上可能反而更弱。他说，提前拿到测试权限是值得的，但也意味着要吃苦：在结构化输出和函数调用出现之前，他们花了好几周，哀求 GPT-4 输出 JSON。

法律文本在页面上往往充满暴力，也常有种族歧视的内容，所以他们在专用实例上去掉了安全过滤器；消费级聊天机器人的对齐目标，是绕开这类内容。他们没有推出经过法律微调的 GPT-4 变体。判例检索用的检索引擎，使用的是自研的、在普通法上训练的嵌入模型；繁重的工作则交给 GPT-4。在内测期间，他们在 GPT-4 的强化学习中拿到了一小块，由参考律师教模型一份文件是如何依赖某个判例的。用户永远看不到最重要的工作：转向之后，他们组建了信任团队，专门负责醒着盯住系统出错，比如离谱的幻觉、错误的答案、糟糕的引文，什么都有。

他们的做法是：尽可能自动化，同时让律师真正用起来。他们只带着通过测试的一小部分技能上线；时间线功能用户很喜欢，但因为测试表明它还不够成熟，所以被撤了下来。与汤森路透合并之后，他们把这种理念融进了他所说的“技能工厂”，把 CaseText 的速度和路透的编辑金标准结合起来。当 GPT-4 要去监督 GPT-4 时，模型对模型的评估是另一种考量。他们确实会用模型对自己的文档审阅评分进行重新排序，这样得到的列表更直观，但他还看不到质量控制可以完全交出去的那一天。

对 Arredondo 来说，切块（chunking）正是领域专业知识发挥作用的地方。在取证记录里，你不能把问题和回答拆开。他们自研的嵌入模型，截至 2022 年末到 2023 年初，仍然优于他们尝试过的通用选项；他开玩笑说，在这个领域，一年就等于一个世纪。他们持续重新评估，因为重要的是用户体验，而不是沉没成本。他们既没有把最新的向量数据库砸向这个问题，也没有让 GPT-4 去遍历他们已经维护好的引用关系图，那是传统研究用的。以自家八十年档案为傲的律所，过去常问 CaseText 能不能“只用我们的数据训练一个 GPT-4”，好像在整个互联网之后，简易判决动议就是缺的那一味。他的回答是：不能。用检索增强把 GPT-4 指向这些文档。

他说，要建立一个只属于某家律所的模型，并没有任何证据表明结果会更好；那更多是满足想要竞争优势的心态。律所大多已经接受了这一点。在产品内部，六种数据库类型看起来像是不同的工具；Labenz 得到的说法是（这是对真正想听真话的听众说的）：它们可能完全一样，存在的主要目的是让用户了解自己能做什么。安全是每次律所会议的第一个问题，哪怕你展示的是一台时光机。文档确实会经过 GPT-4。客户可以要求即刻删除或每天删除，技术栈已通过 SOC 2 认证，而且 CaseText 不用客户数据训练模型。在 OpenAI 的立场还不明朗的时候，这是一个不小的区别点；后来，企业的现实也以同样的方式尘埃落定。

他用的比喻是：要像一名新助理那样思考，前一晚就溜进办公室，为第一天上班做准备：备忘卡、联系人列表、个人索引。他们开始在技能运行之前先解析案卷目录，这样“给 IBM 的律师写一封信”这类指令才有地方落脚。先用 GPT-4，然后再耍花招，是默认做法，OpenAI 的建议也与此相符：先做出最好的产品，再去优化。其他模型一直没有达到他们的可靠性门槛。搞机器学习的同事对他成了 GPT-4 的极端拥护者感到恼火。在前一年的大部分时间里，与第二名的差距，正是能否把系统交到律师手里的区别。子任务之后可以交给更便宜的模型，但主线不会动，直到别的东西真正能用为止。

CoCounsel 的价格约为每名律师每月 200 美元，是零售版 ChatGPT 订阅的十倍。Labenz 预计会有价格冲击。Arredondo 说，律师界的反应比他们担心的要好，大型跨国律所和个体律师之间出现了分化。如果买方拿它和 Westlaw 席位或文档管理工具比较，就显得贵；如果拿它和雇一名法律助理去做同样的工作比较，就显得划算。早期的电力只给华尔街和麦迪逊大道装上了路灯。大规模使用 GPT-4 做文档审阅，目前对财力雄厚的律所比对普通律师更现实，但成本在下降，而他们也一直在设计更省 Token 的提示词。

那种离谱的幻觉，已经被检索增强架构挡住了：每个判例下面都有链接，还有引文核对，用来验证被引用的句子确实出现在判决书里。链接不可能指向一个假案例。剩下的错误更隐蔽：误读法官，或者没抓住用户的意图。Arredondo 过去很讨厌在专业搜索引擎上用赞和踩来评价结果：医生也不会去问处方开得怎么样。生成式 AI 改变了他的看法。现在有实时反馈，每周有一次会议只讨论用户投诉，还有永不停止的系统化测试。他说，没有人是完美的，这话放在人类员工身上也一样。

他们很早就决定不卖给大众，也不卖给想找律师替代品的公司。CoCounsel 的备忘录看起来已经是成品，但律师仍然会看出例外情况、司法管辖区的陷阱，以及在一个州有效、在另一个州却作废的条款。他认为，为请不起律师的人提供帮助，是大语言模型能做的最重要的事之一，社会应该看它能把这个问题解决得多好。他推荐斯坦福的 Margaret Hagan 作为值得研究的人物。CaseText 不希望任何人得出“我有律师了，他叫 CoCounsel”的结论。未经授权从事法律业务是另一回事；更深层的原因是他们心里不踏实。企业可以拿它处理访谈记录和文件，但他们不会把它宣传成不用请律师的理由。

GPT-4 仍然无法很好地掌握一个案子的整体背景，因而难以支撑法律策略。Arredondo 也不认为它写出来的东西足以说服人，能直接用在实际的诉状里。他承认自己对写作有一种浪漫的看法，还引用了 Paul Graham 的话：写作就是思考，放任这种能力退化，其危险程度是拼写检查和 GPS 所不能比的。声明和辅助文件可以交给模型，真正的辩护则不应该。当一位法官提议由 AI 起草判决书初稿时，Arredondo 称这很危险。法律之所以不断演进，是因为原创性被写进了它的血脉之中。一个 AI 生成诉状、另一个法官的 AI 读两份诉状并吐出判决、人类只负责监督的世界，是这个行业最深的风险之一。

英国人 Richard Susskind 是 AI 与法律领域的“元老”，他指出，每当出现一种新药，医生谈论的是患者，而不是计费小时。律师对当事人负有全力代理的义务；如果这意味着最后收入减少，相对于这份义务来说，并不算什么。那些让初级律师花 12 小时做基础文档审阅、按每小时 600 美元向客户收费、却只付给律师每小时 100 美元的合伙人，将不得不改写这套模式。Arredondo 喜欢拿首席大法官 Roberts 的两篇年终文章做对比。2016 年，Roberts 几乎是在夸耀法律体系很慢，并指出最高法院大楼上刻着龟兔赛跑的故事。Arredondo 的回应是：生活的选择比一只乌龟和一只嗜睡的兔子要多得多。2023 年，Roberts 谈到 AI，引用了联邦民事诉讼规则第 1 条关于公正、迅速、低成本解决纠纷的规定，说没有这些工具，法律研究将无法想象，并表示法官依然有工作可做。

AI 仲裁是一个更雄心勃勃的草图：双方同意，提交材料，由检索增强和提示词构成的底层逻辑来编码纠纷解决规则，并保留向人类上诉的可能。他的合同课教授 Larry Lessig 看过一场早期的 GPT-4 演示，没有踩刹车，反而说自己已经想了 35 年的 AI 法官。前大语言模型时代的专家系统之所以失败，是因为法律太模糊；新模型让这个问题重新摆上了桌面。关于律师行业的监管，Arredondo 对合理使用问题不敢下定论，建议听众去看 Mark Lemley 在斯坦福的研究。他对法院和各州律协的建议是：现有规则如果正确适用，就能帮你走完 99% 的路，比如大多数州都有的技术胜任义务、对法院的坦诚义务，以及那条古老的规则：没读过的案子不要引用。新的产品责任制度可以等，等这些义务先得到执行。

汤森路透收购 CaseText，是因为它已经醒着。Steve Hasker 曾表示，公司希望通过自建、收购和合作三种方式，让 AI 覆盖每一个垂直领域；这家创业公司被请进来，是为了加入这项工作，而不是被关在一个孤立的部门里。Arredondo 个人的兴奋点在内容上。他把过去比作用树枝和泥巴搭建，把汤森路透比作罗马帝国：记者、案卷、法学评论文章、Practical Law，还有腓尼基的染料和希腊的大理石。现在已经没有借口了。最后，他称训练大语言模型的人是司法正义的英雄。在他们工作的下游，他所在的这个领域正在努力让法律服务变得更快、更便宜、更容易获取、质量更高。“现在，”他说，“轮到我们了。”