50 亿分钟通话：Dialpad 为什么要训练自己的商务大语言模型（LLM）

Nathan Labenz 以 2024 年为开场，承认 AI 对知识工作的影响，比他预想的要慢一些。他算过，按零售价计算，10 亿美元只能给全球 80 亿人每人买到一两次 GPT-4 API 调用，这在全球知识工作里只是一个很小的立足点。即便增长 100 倍，也只是每人每天一次 GPT-4 调用。GPT-3.5 级别的模型已经基本商品化，但 GPT-4 不一样。他说，在西方，真正能与之比肩的只有 Anthropic，以及现在借助 Gemini 赶上来的谷歌；百度的 Ernie 4.0 是一个值得关注的竞争者，他希望以后单独报道。

他接着列举了其他瓶颈。语言模型很古怪，把它们放进自动化流程的诀窍仍然稀缺；那些很想把没人喜欢的任务自动化的公司，如果认识不到能动手的人，就只能干等。智能体的成熟速度也没有他想的快，部分原因是 GPU 短缺。把工作拆成子任务有帮助，但要把这条链条重新接起来，就很难判断每一步该传递什么信息。微调（fine-tuning）有助于塑造模型行为；他预计 Mamba 之类的状态空间模型能带来更连贯的智能体，前提是有人能找到这些架构所需的长流程数据。

他怀疑，这些数据就藏在人们已经在用的软件平台里。这些平台记录了业务往来，也隐性地定义了人类或假想中的 AI 员工能做什么。这正是 Dialpad 吸引他的地方：这是一家通信公司，拥有超过 3 万家商务客户，以及一个由 50 多亿分钟销售和客服通话组成的专有数据集，现在被用来训练它自己的转写模型和语言模型。Dialpad 的首席 AI 与战略官 Dan O’Connell 对 AI 员工到来的速度，并没有 Labenz 那么乐观。Labenz 承认，看看去年的预测，O’Connell 很可能是对的；但他仍会让自己偏向更短的时间表，因为那些情景恰恰是最需要提前侦察这项技术的情景。

Labenz 做足了功课：免费试用、给自己打几通电话、看了 G2 上的评价。他把 Dialpad 描述为几乎涵盖一切的枢纽，承载着销售和客服团队实际在做的工作。O’Connell 笑着认可他的说法。通常的理解是一个通信平台：语音、视频和消息，任何设备、任何地点都能用，既服务内部团队聊天，也服务对外的销售和客服。AI 就是在这套技术栈之上构建的：先捕捉对话，再转写，然后推出辅助、自动化和洞察类功能。

在营收方面，他们称年度经常性收入（ARR）超过 2 亿美元，约 3 万名客户大致平分为中小企业（SMB）、中型企业和大型企业三类。客户名单从 Stripe、Uber 和 HubSpot，一直到只有两三个人的律师事务所。这些客户都是云端的信徒。仍有很多公司在储藏室里架着一台 PBX（专用交换机）；而 Dialpad 的买家本来就希望把通信托管到云上，所以他们更愿意先试试转写和情绪分析，而不是去纠缠窃听法律。同时服务企业级的复杂配置和小企业的简单易用，很难做到。Labenz 想知道，自然语言界面能否让复杂的平台藏起 17 个菜单。O’Connell 表示同意，他对在分析之上叠加一个大语言模型特别兴奋：对他所说的“最后一份离线数据集”（也就是对话本身）进行对话式搜索。

增长最快的部分，是面向销售和客服的通信与 AI 业务，但这 3 万名客户中绝大多数也在内部通信中使用它。在统一通信（UC）这一侧，友好的竞争对手包括微软 Teams、Zoom 和 RingCentral；在销售和服务这一侧，则有 Five9、8x8 和 Talkdesk。一个统一的产品，可以为销售部门带来向公司其他部门延伸的升级路径。呼叫中心的重度用户可以整天待在这款应用里，把 Zendesk、HubSpot 或 Salesforce 拉进同一个窗口。Dialpad 想成为通话或会议的落脚点，然后再从业务记录系统中调取上下文。同一个捕捉层还在打开相邻的业务场景，比如引导招聘人员按统一流程面试，并把结果写进 Greenhouse。

Labenz 在博客上读到的发布公告措辞很直接：DialpadGPT 基于 50 亿分钟的商务通话和线上互动训练，号称是全球首个面向商务的大语言模型。他心算了一下：按每分钟 100 个口语词计算，这大约是 5000 亿个 Token，约占 GPT-4 训练规模的 5%。O’Connell 则从更早的时候讲起这段起源故事。2016 年，他创办了 TalkIQ，想做出最早的实时语音识别引擎之一。当时行业的常规做法是：录下一通 30 分钟的通话，把文件发给第三方，然后再等 30 分钟才能拿到文字稿。对销售和客服来说，流式处理才是真正的奖品：根据客户在问什么来分派通话，实时分析情绪，指导坐席，追踪议程。

他们从开源起步，包括 Kaldi，并针对长篇电话对话做了微调。这与问谷歌或 Siri 天气如何，完全是两回事。创业公司仍然需要分发渠道。Dialpad 的创始团队来自谷歌，并且做过 Google Voice。O’Connell 把这种组合比作花生酱配果冻：TalkIQ 能理解对话，Dialpad 能驱动对话。他已经在那里待了五年半。客户主动选择同意分享数据。语料库经过匿名化处理，去掉了个人身份信息（PII），而且大多是长篇的销售和客服语音。当 ChatGPT 让全世界着迷时，训练集和数据分布已经摆在那里了。

基础模型仍然有问题：容量、Token 上限、延迟和成本。按他的说法，一份文字稿要先切成六段（后来变成十六段），才能做摘要，而且信息在交接过程中会逐步损失。这些都是会随着时间被解决的工程问题。Dialpad 认为自己等不起。于是他们用两种方式训练自己的模型：一是由一支本来就懂对话的神经科学、语言学和标注的团队，在强大的开源软件上做微调；二是从头构建，最终得到一个专为行业和场景定制的较小模型。Labenz 那个 5000 亿 Token 的推算没有人提出异议。这些数据是经用户同意的平台流量，不是对公开网络的抓取。

他们在内部训练，使用自有的 A100，并采用裸机运维，这与他们对电话平台的做法一脉相承。很多通信创业公司把 Twilio 当作通信平台即服务（CPaaS）来用，从不自己铺设底层管线。O’Connell 认为，最好的企业会对技术栈做纵向整合，就像一些公司现在自研芯片，也像特斯拉造汽车那样。掌控技术栈能带来创新速度，并在规模化时带来成本优势，这正是把更好的产品更快推向市场的方式。他很谨慎：如果今天从零开始创业，他不确定会不会做出过去的每一个决定。专有数据、专业知识和专家团队，才是这条路能走通的原因。

他们仍会在某些地方接入合作伙伴：某些功能用 OpenAI，另一些用 Google Vertex 及其 Bison 模型。绝大部分仍是自研。Labenz 对此感到惊讶，也为那些想模仿的公司有点担心。很多公司会尝试 Llama 2，告诉自己在掌控自己的命运，结果陷入集群管理和“手工作坊式”的模型行为调校流程里，还没等 Llama 2 真正跑顺，就眼看着 OpenAI 发布了下一个版本。O’Connell 并不装作有什么窍门。团队在这些技术上已经做了十多年：50 多人专攻 AI，18 名博士，16 项专利，还有开发中的模型拿到的会议奖项。获取数据集，是另一半原因。六年前，Dialpad 决定聚焦 AI，这让录制前两周的 OpenAI 风波成了一桩趣闻，而不是一次故障。摘要功能不会因为某个供应商可能一夜之间消失而停摆。

作为技术人员，他想掌控自己的命运。最重要的部分不要外包出去。他现在相信，AI 是最大的机会，而自己动手做，可能是一种更好、更具成本效益的体验，只是其中有许多地雷。语音识别是他拒绝当作商品看待的基础。口音、字典里查不到的词、离麦克风的远近：这些问题远未解决。投资人如果对着排行榜挥手，应该追问这个数字是在哪个训练集、哪个网络上测出来的。Dialpad 的准确率是基于它自己的编解码器和电话网络，不是你能直接搬到 T-Mobile 上去的东西。转写准确率对于其上所有辅助、自动化和洞察功能来说，都是“垃圾进，垃圾出”。

被问到如何在峰值质量、延迟和成本之间取舍时，O’Connell 拿出了 Dialpad 的一张矩阵。第一位是延迟。真正有价值的功能都发生在对话之中，以毫秒计。坐席辅助会从知识库中调取内容，然后实时把卡片显示在屏幕上。如果卡片晚了三秒，它就已经失去作用；晚到十秒，就没必要做这个功能了。第二位是让这些实时功能尽可能多的人用上，这是个容量问题，大型模型在这方面仍然吃力。第三位是成本。如果你真的在提供价值，就能收回价格，而且随着优化推进，利润率通常会改善。Dialpad 已经从 Andreessen Horowitz、GV 和 ICONIQ 等机构融资约 5 亿美元，所以成本不是障碍。如果是一家资金受限的早期创业公司，可能会把成本放在第一位。

质量是一道门槛，而不是事后才拧的旋钮。他们为有用的输出设定标准，然后自己先用：支持人员、销售和每位员工都在使用这些模型。如果 Dialpad 自己内部都不愿为某个功能付费，就不会向客户收费。大多数公司跳过的环节是反馈。给所有 AI 生成的内容加上标签，让用户把一条建议、一段摘要或一个待办事项标记为好或坏。他们每两周发布一次，重新调优，再部署。Labenz 自己的微调工作也因为另一个原因发生了转变：以前他留在 OpenAI，是因为没有别的能比得上；现在看来，GPT-3.5 级别的微调效果在 Mixtral 上也能追平，但 OpenAI 的定价和托管服务（尤其是自动扩缩容）仍然占优。O’Connell 指出，通信平台有自己的负载形态。会议会在整点和半点激增，而不是在 11:17 忽然涌来。自动扩缩容本身，也是拥有技术栈的一部分。

最受欢迎的功能从实时转写开始。摘要建立在转写之上；对于客服和销售，它们会标注通话的目的和结果，把非结构化的语音变成结构化数据。过去这需要呼叫中心的人去翻录音、手动打标签。对 O’Connell 来说，坐席辅助是一件很个人的事：他的第一份工作就是在呼叫中心，他对第一通电话非常紧张，因为不知道对方会问什么。能在需要的那一刻把答案调出来，正是关键所在。最后一个亮点是推断客户满意度（CSAT）。问卷只能捕捉那些非常喜欢或非常讨厌它的人。模型直接从对话本身推断 CSAT，每通电话都能推断，客户不需要改变任何行为，也不需要新的软件，而数量大约是问卷的 100 倍。

Labenz 提出了一个每家公司都应该借鉴的问题：在 AI 今天所做的工作中，有多少以前已经由人来做，又有多少根本没有发生过？这些通话中，很少有会在没有 AI 的情况下被转写；少数可能会被做成摘要。O’Connell 对此做了区分。质量检查过去意味着坐在别人旁边，听录音，然后按照评分标准给对方的友善程度打分。很多工作要么根本没有记录，要么耗时得让人难以承受。诊所和法律场景里，记录多是手写笔记。他们重点关注的应用，都是适合 AI 介入的琐碎任务：转写达到接近人工的水平，常被引用的数字在 90% 以上；然后是摘要和结构化，它们要么把任务完全自动化，要么增强到足以让人腾出手来。这是第一波浪潮：那些原本没人在做的工作，或者只能戴着耳机、拿着剪贴板勉强做的工作。

他们为每位客户先做一个定制语音模型，让产品名和自造缩写能被正确转写。O’Connell 想要的终点，是每位员工一个模型。他注意到，Sarah 这个名字就有好几种拼法，如果在每份转写和摘要里都把某人的名字拼错，很快就会让他讨厌这个产品。他们还没有解决按人定制的模型，而他认为在这个粒度上，还没有人解决。为客户的客户定制模型，是另一个尚未解决的层次。Labenz 给出了一个小规模的诀窍，但在 Dialpad 的体量下行不通：整理播客文字稿时，在提示词开头列一份专有名词表。在 Claude 上这样做，公司名大约花一美元就能对齐。给客户的识别器做微调，仍然需要足够的音频和标注文本；他手边没有确切的小时数。对于他们不支持的语言，过去要剪出 15 秒的片段，然后付钱请人标注。现在他们可以接入 Whisper、Speechmatics、Deepgram 或谷歌的服务，挑出在其编解码器上最准确的一家，再让经同意的使用数据成为训练集。一两年后，他们会把它收回到内部，降低成本并提高准确率。需求很少的语言，可能会永远直接转交给第三方服务。

内容生成还处在更早的阶段，O’Connell 对它态度比较冷淡。通信领域最显而易见的玩法，是自动起草通话后摘要附带的那封邮件。他自己用 ChatGPT 起草博客文章，认为它的价值在于提供一个起点。对于两句话的跟进邮件，用户可能花在修改草稿上的时间，和自己写的时间差不多。Labenz 说，这取决于生成质量：在大量商务往来和日常邮件上微调 GPT-4，也许能达到很高的采纳率。O’Connell 并不买账，他也不会把自动发邮件作为收费的亮点功能。微软 Teams 的 Copilot 和 Zoom 的 AI Companion 都在朝这个方向走。他本人并不认同，尤其是如果你还要求每个用户去微调一个自己并不理解的邮件模型。他真正感兴趣的是下一步最佳行动。因为他们掌握着通话内容和 CRM 数据，就能看出哪种说法带来了更好的商业结果，并在下一次类似的通话中，让另一位销售照着做。在这个框架里，生成是一种推荐的步骤，而不是一封代笔的信。

Labenz 进一步推了一步。Dialpad 既能捕捉销售和客服人员的工作，又像是一个边界清晰的环境，可以用来部署和评估智能体，这比“去用电脑吧”要清楚得多。他的 Bezos 式测试标准是：客户想要什么？即时回应，24/7，可以随时暂停和恢复，也许还能切换沟通方式。ChatGPT 已经能提供这些。一家午高峰期的小餐馆，甚至不想去接电话。他认为，很多销售和客服最终会由 AI 来中介，其中的原动力是客户自己会选择它，削减成本倒在其次。O’Connell 对这一愿景做了区分。在数字化分流，以及面向客服的下一代 LLM 聊天机器人上，他是全心相信的。约 80% 的人已经从数字渠道开始寻求品牌支持。至于自动化外呼销售，他并不相信。有一次和 Marc Andreessen 吃饭时，大家谈到了两个机器人彼此谈判、每个人都配一个个人智能体的设想。O’Connell 不买账：人们还是喜欢跟真人做生意。即便在客服场景，一旦转到电话，他也不确定客户是否想要语音机器人，哪怕它再好，尤其是当客户已经感到沮丧的时候。

他认为，2024 年还不会出现分辨不出来的语音智能体。演示很惊艳，但你仍然能分辨出来。ChatGPT 的语音模式处理打断和长时间停顿的能力很差：Labenz 发现，模型会在他还在思考时就抢着说话。Labenz 也不希望 AI 欺骗人；即使只是一段一闪而过的语音，也应该标注出来。他真正担心的是另一个方向：如果时间表推迟到 2025 年，那也已经很近了。O’Connell 的犹豫，是一种幻灭低谷期式的直觉。自动驾驶已经做了十年。如果十年前问他，听起来好像早就解决了。Waymo 的车在旧金山上路了，但也远没到“问题已经解决”的程度。人类语言和日常工作流程，属于同一类最后一公里问题。他希望自己是错的。他心里有一种不太踏实的感觉：这比演示要难得多。

Labenz 则希望，自己在另一个方向上是错的。两年前，也就是 2021 年 12 月，还没有公开可用的指令遵循模型。当时他在 Waymark，刚把 GPT-3 的微调从 Curie 规模换成 DaVinci 规模，得到的只是一个勉强可用的脚本生成器。两年后，脚本写得不错了，图像理解可以从用户的素材库中挑选图片，文字转语音也达到了一家拥有电视台的公司愿意播出的门槛。他们播出的大部分内容，如今都是 AI 语音。这些能力从人类水平的 20% 到 30%，跃升到 80% 到 90%，而他仍然看到许多唾手可得的机会。他认为，标准应该是人类实际做到的水平，而不是想象中的完美。Waymark 的用户并不是什么好作者，所以他们才用轻量级的软件；现在 AI 写出的脚本已经胜过过去人写的，而人工再编辑一遍 AI 的稿子，又会稍好一点。自动驾驶运营商发布的数字，看起来比人类驾驶更安全；特斯拉的 Full Self-Driving 也让他感觉比他坐过车的某些人类司机更安全。雪佛兰网站上那些出名的机器人，把它们说的每句话都当作有约束力的报价，这是在为设限辩护，而不是为拖延辩护。不要让智能体签合同，也不要让它报出最终价格。但要让它去干活，因为人类客服也会漏掉后续的规定流程。

O’Connell 认可了这一点：虚拟智能体已经存在，数字化分流和准确率都可以衡量，呼叫中心已经在用机器人处理更复杂、更自然的工作流程，而所需人手更少。营销内容生成既是机会，也是风险，编剧罢工把这种焦虑摆上了台面。他同意 AI 员工会出现；但他认为，最后一公里比 Labenz 所说的更难，时间表也更长。Labenz 在结尾的可靠性论证是：对于大多数岗位，经济并不需要比 GPT-4 聪明得多的东西，它需要的是更快、稍微便宜一点，而且更可靠。Transformer 是按情节运作的。它们在会话之间会失忆，拥有一大堆权重、较短的上下文，中间靠的是临时拼凑的检索增强生成（RAG）。它们不会在被告知做错一次之后，就真的记住。他押注的是那些内置记忆的架构，包括他一直关注的状态空间模型。O’Connell 同意长期记忆是下一步。企业记录往往是残缺的，甚至根本没有；一个记录了每通对话的通信平台（如果你想要这份记录的话），可以根据最近的 7 通电话做个性化。这就是这场赌注。把一份 30 分钟的文字稿切成 16 段，逐段摘要，再对摘要做摘要，你就会感受到它与对整个上下文只发一次请求之间的差距。他们谈了很多，约定把这个分歧先记下来，并认为销售、客服和营销是最适合落地的三个领域。