30 秒看懂
在这段由 H Company 赞助的 2025 年 6 月视频中,Matthew Berman 介绍 Runner H 测试版,并要求它将 Pokémon 卡牌商品信息收集到 Google 表格。他解释了视觉浏览器智能体 Surfer-H 的策略、定位器和验证器,以及 Holo1 的开放模型权重。 Berman 重点介绍公司的基准测试结果和一款质量保证测试产品。所链接的研究论文显示,广为引用的 WebVoyager 92.2% 成绩使用了 GPT-4o 验证,并允许最多十次尝试;演示表格本身则有两条链接缺失。
- 1一项浏览器任务Berman 授权连接 Google 表格后,要求 Runner H 收集十条 Pokémon 商品信息。
- 2开放权重视觉模型Holo1 提供视觉导航和定位能力,并发布了模型权重与评估数据集。
- 3智能体的三部分循环策略选择操作,定位器确定屏幕坐标,验证器决定返回答案还是继续执行。
- 4看清基准测试配置论文中 92.2% 的结果使用 GPT-4o 作为验证器,并允许最多十次尝试,并非完全基于 Holo1 的配置。
- 5部分完成的表格输出有十条记录,但两条链接因 CAPTCHA 无法获取。
要点建议
- Runner H 当时以浏览器智能体测试版推出,演示任务需要授权连接 Google 表格。
- Surfer-H 利用截图、策略、定位器和验证器选择操作、确定控件位置并评估答案。
- Holo1 模型权重和 WebClick 评估数据集已发布,使用时须遵守各自的许可条款。
- 论文中 WebVoyager 92.2% 的成绩使用 Holo1-7B 执行策略和定位、GPT-4o 执行验证,并允许最多十次尝试。
- 演示表格包含十条记录,但其中两条因 CAPTCHA 缺少链接,因此请求未完全完成。
- 公司的基准与产品说法、价格和测试版开放情况反映的是 2025 年发布时的情况。
按章节阅读整理后的全文
Runner H 与 Pokémon 卡牌任务
Berman 介绍与 H Company 的合作并启动浏览器任务。他授权 Google 表格连接,观察智能体导航。
H Company 推出了 Runner H,这是一款接收自然语言任务并尝试在网上执行的浏览器智能体。在这段 2025 年 6 月的视频中,Matthew Berman 说他与该公司合作介绍这次发布。他表示产品当时免费且处于测试阶段,并解读了相关研究和已发布的模型权重。
在演示中,Berman 要求智能体在 eBay 上找到十条 Pokémon 卡牌商品信息,并创建包含链接的 Google 表格。Runner H 要求他连接 Google 表格;他授权集成后任务才继续。他提到可以并行启动多个浏览器智能体,但视频跟踪的是这一项任务。
界面在实时浏览器画面旁显示计划、思考、笔记和网页操作。Berman 观察智能体搜索商品,并表示稍后再查看结果。可见的操作轨迹让步骤能够接受检查,但仅凭界面无法证明每条提取的信息都准确。
Holo1 与 Surfer-H
他介绍 Holo1 权重,并解释视觉智能体的三个组件。智能体通过截图观察网页。
Berman 介绍 Surfer-H 和 Holo1 视觉语言模型家族,包括导航和定位演示。定位是指确定需要点击的元素在屏幕上的坐标。一个例子中,模型接收旅游网站截图和酒店预订请求,然后建议为 8 月 3 日开始的三晚住宿选择 8 月 6 日退房。

[研究论文](https://arxiv.org/abs/2506.02865)将 Holo1 描述为开放权重模型集合,并介绍了 WebClick 评估数据集。权重可用于使用和进一步开发,但读者应检查具体模型的许可:[Holo1-3B 许可](https://huggingface.co/Hcompany/Holo1-3B/blob/main/LICENSE)包含继承自 Qwen 基础模型的条款。开放权重本身不能证明整个托管产品都是开源的。
Berman 解释了开发视觉浏览器智能体的动机:许多网站面向人类设计,并未为每项任务提供合适的标准化 API。视觉智能体可以点击、滚动和输入,操作图形控件,而不必为每个网站分别开发集成。这种方法可以扩大可执行的网页工作流程范围,但仍取决于界面提供了什么。
Surfer-H 有三个主要模块:策略、定位器和验证器。论文称,它根据网站截图操作,不需要文档对象模型或无障碍树。视觉语言策略提出下一步操作,定位器则将目标元素的描述转换为屏幕坐标。
打开 URL、滚动、等待或点击等操作依次执行。当策略生成答案后,验证器会评估答案是否合适。如果验证器拒绝答案,反馈会进入智能体记忆,执行继续,直到结果被接受或达到时间、成本预算。这些模块可以使用不同的兼容模型。

Berman 解读论文中的图示:任务和观察结果进入记忆,策略选择操作;如果点击或输入需要坐标,定位器就提供坐标。浏览器的下一张截图继续输入循环,而验证器可以返回最终答案,或将反馈送回记忆。
定位与基准测试说法
Berman 讨论点击准确率和 WebVoyager 成本比较。研究论文提供了有关尝试次数、验证和估算成本的重要细节。
论文在用户界面定位基准上,将 Holo1-3B 和 Holo1-7B 与规模相近的模型比较,测试集包括公司自己的 WebClick 数据集。Berman 强调,展示的表格中这两个模型的平均点击准确率更高。这是作者在特定基准集上的结果,并不能保证任何一个模型都能正确点击任意网站上的所有控件。

Berman 还介绍成本与准确率对照图,并引用公司在 WebVoyager 上取得的 92.2% 成绩,以及每项任务估计 0.13 美元的成本,同时比较其他模型配置。这些估计反映论文的推理成本假设和测试工作负载,并非所有生产任务的通用价格。
论文的配置很关键:92.2% 的成绩使用 Holo1-7B 执行策略和定位,但用 GPT-4o 执行验证,643 项 WebVoyager 任务各允许最多十次尝试。尽管视频中的文字如此描述,这并非完全基于 Holo1 的运行。论文报告该配置单次尝试的成绩为 69.6%;三个模块全部使用 Holo1-7B 时,十次尝试后的成绩为 80.4%,估计每项任务成本 0.06 美元。标准 Holo1 策略还使用过与 WebVoyager 相关的任务训练,因此不应将该成绩泛化为未见任务的表现。
结果、集成与 Tester H
生成的表格中有缺失的链接。Berman 展示控制选项和集成服务,接着介绍处于私测阶段的测试产品。

回到 eBay 任务,Berman 打开生成的 Google 表格。表格有十行商品记录,但其中两条注明由于 CAPTCHA 无法获取链接。授权连接后,智能体产生了有用的部分结果,但没有提供要求的全部十条链接,视频也没有独立核实其余商品信息。
Berman 展示了高度参与、中度参与或完全自动化的交互选项,以及上传文档和文件视图。他指出产品可集成 Google Sheets、Docs、Drive、Notion、Slack 和 Zapier,这些集成需要身份验证。他还说当时支付功能标记为即将推出;视频没有演示完成的支付。
最后,Berman 介绍了当时处于私测阶段的 Tester H,称其可以自动化网站或应用的质量保证测试。示例用自然语言描述了一项 Airbnb 页面测试:导航到某个房源,横向滚动,点击第一张有橙色床铺的照片,并检查图片是否显示。他最后鼓励观众探索已发布的模型和工具。

同频道的其他文章
34:21EN → 简体中文
0:36EN → 简体中文
25:50EN → 简体中文
32:20EN → 简体中文
1:03:37EN → 简体中文
0:53EN → 简体中文