Runner H 与 Surfer-H:浏览器智能体及其 Holo1 模型

原标题Runner H and Surfer-H: A Browser Agent and Its Holo1 Models

Matthew Berman 演示 H Company 的浏览器智能体,并解读其视觉导航研究。论文的基准测试配置和演示中缺失的链接说明,理解结果需要看清背景。

MBMatthew Berman主持 · Forward Future
频道
Matthew Berman
发布
2025年6月10日
视频
11:24
阅读
6 分钟
幻灯片
5
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

在这段由 H Company 赞助的 2025 年 6 月视频中,Matthew Berman 介绍 Runner H 测试版,并要求它将 Pokémon 卡牌商品信息收集到 Google 表格。他解释了视觉浏览器智能体 Surfer-H 的策略、定位器和验证器,以及 Holo1 的开放模型权重。 Berman 重点介绍公司的基准测试结果和一款质量保证测试产品。所链接的研究论文显示,广为引用的 WebVoyager 92.2% 成绩使用了 GPT-4o 验证,并允许最多十次尝试;演示表格本身则有两条链接缺失。

  1. 1一项浏览器任务Berman 授权连接 Google 表格后,要求 Runner H 收集十条 Pokémon 商品信息。
  2. 2开放权重视觉模型Holo1 提供视觉导航和定位能力,并发布了模型权重与评估数据集。
  3. 3智能体的三部分循环策略选择操作,定位器确定屏幕坐标,验证器决定返回答案还是继续执行。
  4. 4看清基准测试配置论文中 92.2% 的结果使用 GPT-4o 作为验证器,并允许最多十次尝试,并非完全基于 Holo1 的配置。
  5. 5部分完成的表格输出有十条记录,但两条链接因 CAPTCHA 无法获取。

要点建议

  1. Runner H 当时以浏览器智能体测试版推出,演示任务需要授权连接 Google 表格。
  2. Surfer-H 利用截图、策略、定位器和验证器选择操作、确定控件位置并评估答案。
  3. Holo1 模型权重和 WebClick 评估数据集已发布,使用时须遵守各自的许可条款。
  4. 论文中 WebVoyager 92.2% 的成绩使用 Holo1-7B 执行策略和定位、GPT-4o 执行验证,并允许最多十次尝试。
  5. 演示表格包含十条记录,但其中两条因 CAPTCHA 缺少链接,因此请求未完全完成。
  6. 公司的基准与产品说法、价格和测试版开放情况反映的是 2025 年发布时的情况。
全文

按章节阅读整理后的全文

只看原始文稿
01

Runner H 与 Pokémon 卡牌任务

Berman 介绍与 H Company 的合作并启动浏览器任务。他授权 Google 表格连接,观察智能体导航。

H Company 推出了 Runner H,这是一款接收自然语言任务并尝试在网上执行的浏览器智能体。在这段 2025 年 6 月的视频中,Matthew Berman 说他与该公司合作介绍这次发布。他表示产品当时免费且处于测试阶段,并解读了相关研究和已发布的模型权重。

在演示中,Berman 要求智能体在 eBay 上找到十条 Pokémon 卡牌商品信息,并创建包含链接的 Google 表格。Runner H 要求他连接 Google 表格;他授权集成后任务才继续。他提到可以并行启动多个浏览器智能体,但视频跟踪的是这一项任务。

界面在实时浏览器画面旁显示计划、思考、笔记和网页操作。Berman 观察智能体搜索商品,并表示稍后再查看结果。可见的操作轨迹让步骤能够接受检查,但仅凭界面无法证明每条提取的信息都准确。

02

Holo1 与 Surfer-H

他介绍 Holo1 权重,并解释视觉智能体的三个组件。智能体通过截图观察网页。

Berman 介绍 Surfer-H 和 Holo1 视觉语言模型家族,包括导航和定位演示。定位是指确定需要点击的元素在屏幕上的坐标。一个例子中,模型接收旅游网站截图和酒店预订请求,然后建议为 8 月 3 日开始的三晚住宿选择 8 月 6 日退房。

Holo1 导航示例
幻灯片 1 / 5Holo1 导航示例输入截图和预订请求后,模型提出一项日历日期选择操作。

[研究论文](https://arxiv.org/abs/2506.02865)将 Holo1 描述为开放权重模型集合,并介绍了 WebClick 评估数据集。权重可用于使用和进一步开发,但读者应检查具体模型的许可:[Holo1-3B 许可](https://huggingface.co/Hcompany/Holo1-3B/blob/main/LICENSE)包含继承自 Qwen 基础模型的条款。开放权重本身不能证明整个托管产品都是开源的。

Berman 解释了开发视觉浏览器智能体的动机:许多网站面向人类设计,并未为每项任务提供合适的标准化 API。视觉智能体可以点击、滚动和输入,操作图形控件,而不必为每个网站分别开发集成。这种方法可以扩大可执行的网页工作流程范围,但仍取决于界面提供了什么。

Surfer-H 有三个主要模块:策略、定位器和验证器。论文称,它根据网站截图操作,不需要文档对象模型或无障碍树。视觉语言策略提出下一步操作,定位器则将目标元素的描述转换为屏幕坐标。

打开 URL、滚动、等待或点击等操作依次执行。当策略生成答案后,验证器会评估答案是否合适。如果验证器拒绝答案,反馈会进入智能体记忆,执行继续,直到结果被接受或达到时间、成本预算。这些模块可以使用不同的兼容模型。

Surfer-H 智能体循环
幻灯片 2 / 5Surfer-H 智能体循环论文图示了记忆、策略、定位器、浏览器操作和验证器反馈之间的关系。

Berman 解读论文中的图示:任务和观察结果进入记忆,策略选择操作;如果点击或输入需要坐标,定位器就提供坐标。浏览器的下一张截图继续输入循环,而验证器可以返回最终答案,或将反馈送回记忆。

03

定位与基准测试说法

Berman 讨论点击准确率和 WebVoyager 成本比较。研究论文提供了有关尝试次数、验证和估算成本的重要细节。

论文在用户界面定位基准上,将 Holo1-3B 和 Holo1-7B 与规模相近的模型比较,测试集包括公司自己的 WebClick 数据集。Berman 强调,展示的表格中这两个模型的平均点击准确率更高。这是作者在特定基准集上的结果,并不能保证任何一个模型都能正确点击任意网站上的所有控件。

用户界面定位基准表
幻灯片 3 / 5用户界面定位基准表研究人员比较所列模型在各基准集上的点击准确率。

Berman 还介绍成本与准确率对照图,并引用公司在 WebVoyager 上取得的 92.2% 成绩,以及每项任务估计 0.13 美元的成本,同时比较其他模型配置。这些估计反映论文的推理成本假设和测试工作负载,并非所有生产任务的通用价格。

论文的配置很关键:92.2% 的成绩使用 Holo1-7B 执行策略和定位,但用 GPT-4o 执行验证,643 项 WebVoyager 任务各允许最多十次尝试。尽管视频中的文字如此描述,这并非完全基于 Holo1 的运行。论文报告该配置单次尝试的成绩为 69.6%;三个模块全部使用 Holo1-7B 时,十次尝试后的成绩为 80.4%,估计每项任务成本 0.06 美元。标准 Holo1 策略还使用过与 WebVoyager 相关的任务训练,因此不应将该成绩泛化为未见任务的表现。

04

结果、集成与 Tester H

生成的表格中有缺失的链接。Berman 展示控制选项和集成服务,接着介绍处于私测阶段的测试产品。

生成的 Pokémon 商品表格
幻灯片 4 / 5生成的 Pokémon 商品表格表格显示十行记录,其中两条链接因 CAPTCHA 无法获取。

回到 eBay 任务,Berman 打开生成的 Google 表格。表格有十行商品记录,但其中两条注明由于 CAPTCHA 无法获取链接。授权连接后,智能体产生了有用的部分结果,但没有提供要求的全部十条链接,视频也没有独立核实其余商品信息。

Berman 展示了高度参与、中度参与或完全自动化的交互选项,以及上传文档和文件视图。他指出产品可集成 Google Sheets、Docs、Drive、Notion、Slack 和 Zapier,这些集成需要身份验证。他还说当时支付功能标记为即将推出;视频没有演示完成的支付。

最后,Berman 介绍了当时处于私测阶段的 Tester H,称其可以自动化网站或应用的质量保证测试。示例用自然语言描述了一项 Airbnb 页面测试:导航到某个房源,横向滚动,点击第一张有橙色床铺的照片,并检查图片是否显示。他最后鼓励观众探索已发布的模型和工具。

Tester H 示例
幻灯片 5 / 5Tester H 示例一项自然语言测试与浏览器操作轨迹并列显示。

同频道的其他文章

12 张幻灯片34:21EN → 简体中文
Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构,并质疑 AI 快速发展与安全之间的张力。AnthropicAI Safety企业 AI+2
2 张幻灯片0:36EN → 简体中文
Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原,并对 Kimi K3.1 的测试给予积极评价。评估编程智能体Open-weight models
6 张幻灯片25:50EN → 简体中文
Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。Open-weight modelsBenchmarksAI cost & performance+1
2 张幻灯片32:20EN → 简体中文
Matthew Berman· 2026年10月23日本地 AI 究竟适合谁?成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权,与硬件成本、设置复杂度及推理速度之间的关系。Local inferenceOpen-weight modelsAI cost & performance+1
6 张幻灯片1:03:37EN → 简体中文
Matthew Berman· 2026年10月23日Matthew Berman 团队测试 Kimi K3.1:动画、游戏与图表Matthew Berman, Alex, Brian · Forward Future一场团队直播问答变成了对 Kimi K3.1 的非正式测试,内容涵盖个人智能体工作流、动态图形、浏览器游戏和基准图表。编程智能体Generative media评估+2
0:53EN → 简体中文
Matthew Berman· 2026年10月22日Sam Altman 谈 AI 与新知识的发现Sam Altman · OpenAIAltman 预计,数学发现方面的进展将延伸到生物学、材料和能源领域。AI for scienceMathematicsComputational Biology+1