30 秒看懂
浏览器可以在本地搜索私有文档并生成答案,模型准备好后无需支付按 token 收取的云端费用。Web AI 开发者 Jason Mayes 说,他的本地搜索库能在约 100 毫秒内扫描 10 万个段落。挑战在于每位用户的设备能力不同:他建议测试硬件,从满足任务要求的最小模型开始,并将设备无法处理的需求交给云端模型。一项共享浏览器缓存的提案可以减少大型模型的重复下载。
- 1浏览器可以在本地搜索私有文档Mayes 说,他的库利用设备图形处理器,在约 100 毫秒内搜索 10 万个段落。本地语言模型可以利用检索到的文本回答问题,无需支付按 token 收取的云端费用。
- 2应用必须适应无法自行选择的硬件浏览器可能运行在手机、笔记本电脑等各种设备上。Mayes 建议利用缓存的购物结果和本地模型支持离线使用,并在性能更强的设备上提供图像搜索。
- 3经过调整的小模型可以处理专门任务Mayes 建议测试基础模型,收集它出错的例子,再用这些例子重新训练。这样可以避免仅因少数错误就换用更大的模型。
- 4一项缓存提案或可避免重复下载模型跨源存储将允许网站通过哈希值识别并复用另一网站已经下载的相同模型。Mayes 将其作为一项提案介绍。
- 5决定在本地运行前先测试设备如果快速性能测试未通过,Mayes 建议使用云端。对于性能足够的设备,也可以在下载期间使用云端,具体取决于应用的隐私要求。
- 6从小模型开始,并与现有基准比较选择满足任务要求的最小模型,再考虑通过微调解决剩余错误。Mayes 说,AI 替代方案应该超过原系统的实测表现。
- 7路由既要测试速度,也要判断复杂度Mayes 提议在下载真实模型之前,用占位权重测试模型架构的性能。他还建议训练一个小型分类器,在本地和云端模型之间分配查询。
要点建议
- 尝试更大的模型前,先用实际任务测试最小模型。
- 如果离线运行很重要,就准备好缓存数据和预加载的本地模型。
- 下载模型前测量设备速度,并根据隐私要求分配任务。
- 利用失败案例微调表现接近要求的模型。
- 将新系统与实测基准比较,包括此前的非 AI 方案。
按章节阅读整理后的全文
完整的检索系统可以在浏览器中运行
Mayes 介绍了可让文档留在设备上的本地搜索与生成。他的例子能在约 100 毫秒内搜索 10 万个段落。
AI 应用需要平衡速度、隐私、安全和成本。Jason Mayes 将 Web AI 描述为在用户设备的浏览器中运行机器学习模型,使用 WebGPU、WebAssembly 等技术。新接口 WebNN 旨在让网页应用使用专用神经网络处理器。
这些模型不一定很小。Mayes 说,只要设备显存足够,他曾在本地运行过拥有 310 亿参数的 Gemma 4 模型。他还介绍了自己开发的 vector-search.js 库,它可以在设备上搜索信息。
这个库用 EmbeddingGemma 将文本转换成表示语义的数字,并在图形处理器上搜索。以 PDF 为例,文档可以分成段落;他说,无需将文档发送出去,就能在约 100 毫秒内搜索 10 万个段落。他认为这种方式可用于医疗、法律和金融等领域。
Aja Hammerly 确认自己的理解:嵌入模型处理一批文档,建立可搜索的数据库,用户可以用自然语言查询。Mayes 说,这个库会将查询与存储的数字表示进行比较;本地 Gemma 模型随后可以利用检索到的段落组织答案。
两人表示,这种组合可以在浏览器中构建完整的检索增强生成系统。所需模型和数据准备就绪后,搜索和回答都能离线运行,数据留在设备上,也没有按 token 收取的云端费用。Mayes 补充说,最强大的云端模型仍有用武之地。
为无法预知的设备设计
浏览器应用遇到的硬件比固定的云端部署更加多样。缓存商品搜索与以图购物分别展示了功能回退和增加能力的方式。
难点在于适应开发者无法预知的硬件。云端开发者可以选择机器,知道它的内存和图形硬件配置;浏览器应用则可能在手表、电视、笔记本电脑、平板或手机上打开。Mayes 说,开发者既要考虑缺少某些能力时怎么办,也要考虑如何在性能更强的设备上增加功能。
例如在列车上失去网络连接时,混合应用可以从云端模型切换到预先加载在设备上的较小模型。应用仍可在该模型能力范围内执行任务,而不是完全停止工作。反过来,显存更大的设备也许可以运行更大的模型,获得额外功能。
Hammerly 问这种做法在宠物店中是什么样子。Mayes 建议将老顾客此前搜索过的商品缓存在本地数据库中。联网时,商店可以使用云端最新信息;断网后,顾客仍可浏览部分缓存商品、获取推荐并加入购物车,等网络恢复后再同步和结账。
对于性能更强的设备,商店可以提供以图搜图功能:拍下项圈或喜爱的玩具,找到外观和语义相似的商品。性能较弱的设备则可以使用纯文本模型,让顾客输入描述。前一种方式让交互更方便,但不是唯一的搜索方式。
针对小模型出错的情况改进
微调或蒸馏可以让模型适应特定任务。Mayes 介绍了测试基础模型、收集错误并将重训练后的模型转换为浏览器格式的流程。
小型本地模型还可以通过微调,或从更大模型中蒸馏能力,提高特定任务的表现。Mayes 说,专门训练的小模型有时能在该任务上达到甚至超过大模型的水平,不过这需要额外工作和合适的数据。
他提出的流程从选择模型架构和大小开始,并先测试模型未经修改时的任务表现。接着,开发者找出它出错的情况,收集示例,可能是来自客户或其他相关来源的数千条数据,然后重新训练模型。训练后的模型可以转换成适合浏览器运行时使用的格式。
用浏览器运行时在本地执行模型
LiteRT 运行时将模型运算分配给受支持的本地执行引擎。Mayes 随后介绍不同大小 Gemma 4 模型的取舍。
Hammerly 问 LiteRT 究竟做什么。Mayes 将用于一般机器学习模型、包括嵌入模型的 LiteRT.js,与用于语言模型的 LiteRT-LM.js 区分开来。这些运行时加载模型权重和运算,并将支持的计算分配给 WebAssembly、WebGPU 等执行后端;这里的后端指本地执行引擎,不是云服务器。
开发者可以像导入其他 JavaScript 库一样导入运行时。Mayes 说,只要运行时支持模型需要的运算,开发者用不到 20 行代码就能加载、配置并运行 Gemma 4 模型。他说,在这次对话时,语言模型运行时主要关注 Gemma。
模型大小决定了哪些设备可以使用应用。Mayes 说,拥有 20 亿参数的 Gemma 4 模型可以在较低端的设备上运行,包括较老的手机和 Raspberry Pi 等设备。他建议性能更强的手机使用 40 亿参数模型,并凭记忆估计它约需 4.5 GB 显存。
Mayes 说,20 亿和 40 亿参数模型支持音频、图像和文本,而 120 亿及以上参数的版本支持图像和文本,不支持音频。他不知道设计团队这样做的原因,猜测较小模型面向的是需要实时语音交互的设备。性能更强的设备也可以用其他模型提供语音功能。
Mayes 将 120 亿参数模型描述为居中的选择,但它可能仍不擅长编程等任务。他说,拥有 260 亿参数的混合专家模型每次激活 40 亿参数,目的是兼顾小模型的速度和大模型的知识。他介绍的这一系列中,310 亿参数版本是最大的。
下载大模型需要缓存策略
模型文件可能很大,不同网站重复下载会带来成本。Mayes 介绍了一项针对相同模型的共享存储标准提案。
Hammerly 问网站如何打包模型这样大的文件。Mayes 承认下载量可能很大,但认为对于经常使用的功能,一次性下载的成本可能值得。传统上,即使模型权重完全相同,不同网站域名也会各自下载一份。
Mayes 介绍了一项跨源存储标准提案:网站可以使用标识具体文件的哈希值,请求另一个网站已经下载的相同模型。这样浏览器就能共享缓存的模型,无需再次下载。对话中说的是一项提案,并非所有浏览器都已支持的功能。
在设备和云端之间分配工作
超长上下文和复杂任务可能更适合云端模型。性能测试和面向用户的隐私模式可以帮助判断本地执行何时可行。
什么时候应用应该改用云端?Mayes 提到非常大的模型,以及需要约 100 万 token 上下文窗口的任务。与未经微调的小模型相比,大模型可能更擅长解决复杂任务;但针对一组狭窄任务调整过的小模型,也可能取得类似表现。
即使在同一个家庭里,设备也可能差异很大:Hammerly 对比了她崭新的工作笔记本电脑和老旧得多的个人电脑。Mayes 建议采用混合方案,先对矩阵乘法等运算做快速性能测试。如果设备达不到提供良好体验所需的速度,应用就可以把任务交给云端。
即使设备性能足够,应用也可以在本地模型下载期间先使用云端模型,完成后再切换。Mayes 说,设计取决于是否必须始终保护隐私。Hammerly 建议在模型准备好后,向用户提供可见的隐私或离线模式,让用户选择哪些工作留在本地。
从符合标准的最小模型开始
Mayes 建议先测试较小模型,再调整表现已经接近要求的模型。Hammerly 和 Mayes 强调,应以明确的基准衡量结果。
Mayes 认为开发者工具的成熟度也是一个障碍。他说,JavaScript 生态中的 AI 库比 Python 少;找不到需要的工具时,他曾自己构建 JavaScript 智能体编排层。他预计,随着社区壮大,更多共享框架和库会减少这些摩擦。
对于新项目,他的第一条建议是明确问题,了解用户及其可能提出的请求。从最小的模型开始,只有它无法完成任务时才尝试更大的模型。如果某个模型已经接近要求,只在少数边缘情况出错,就可以通过微调或蒸馏弥补差距,无需换用支持设备更少的大模型。
这条原则不只适用于语言模型。Mayes 见过有人用多模态语言模型进行目标检测,而一个小型专用检测模型就足够。Hammerly 也想起有人在普通条件语句就能解决问题的地方使用大语言模型。Mayes 对比了为简单任务加载数 GB 模型,与使用可以实时运行的小得多的模型。
Hammerly 补充说,团队必须明确什么才算足够好,并为应用建立评估标准。Mayes 说,更换系统前应记录原系统的表现:如果非 AI 方案的准确率是 70%,新方案就应该超过这一水平。追踪结果能让团队有证据证明改动创造了价值。
分别判断设备速度和查询复杂度
Mayes 建议下载模型前先测试设备性能。他还建议用示例训练小型路由模型,选择本地或云端处理。
Hammerly 问应用该如何决定使用哪个模型。Mayes 将其分为两个决策:设备能否以足够实用的速度运行模型,以及某个用户请求是否需要云端处理。对于前者,他曾向 Google 的其他团队提出建立一套 JavaScript 性能测试系统。
一种可能的测试方法是下载精简的模型架构描述,而不下载体积庞大的训练权重,用零值代替权重并测量运行速度。如果测试结果达到应用的门槛,就可以下载真正的模型。Mayes 将此作为性能测试系统的设想,并非已经实现的保证。
对于单个请求的路由,Mayes 建议在应用的编排层评估请求复杂度。开发者可以用人工选择路由的例子训练小模型,预测请求适合在本地还是云端处理。Hammerly 指出,小模型也可以帮助识别哪些查询根本不需要模型。
Mayes 说,他以前曾用拥有 20 亿参数的 Gemma 模型构建智能体应用,包括一个旅行应用和 Web AI DJ。在这些应用中,小模型对自然语言的理解足以选择工具并传递参数。他认为,类似的专用模型可以决定把请求发往哪里。
Hammerly 回到核心设计约束:云端应用可以选择机器,浏览器应用却必须适应用户手中的设备。模型大小、是否微调,以及本地与云端之间的路由,都要根据用户的任务和设备能力来决定。
对于想尝试这种方法的开发者,Mayes 指向视频说明中链接的 Web AI 视频播放列表和课程。最后,Hammerly 感谢他讲解如何思考设备端应用及其取舍。
同频道的其他文章
16:07EN → 简体中文
10:21EN → 简体中文
15:19EN → 简体中文
31:46EN → 简体中文
16:12EN → 简体中文
55:11EN → 简体中文