Jay Sahnan 与 Arik Bird：为整个 Web 构建金融智能体

Jay Sahnan 和 Arik Bird 先提出一个问题：什么是浏览器智能体？如果智能体需要读取网页信息或在网页上执行操作，就得有办法使用浏览器。订机票、规划晚间活动，或查看竞争对手的价格，都可能需要访问没有 API 或 MCP 接口的网站。

Ramp、Bill 和 Stripe 都要处理敏感金融信息，其中许多信息藏在登录页或反机器人防护之后。这些门户很难大规模访问。讲者用这几家公司说明浏览器智能体能在哪些地方派上用场。

Ramp 帮企业管理支出，但业务增长也带来了更多供应商门户和更多待收集的收据。起初，员工会登录网站并下载收据。小公司或许还能这样做，但业务持续扩大时，企业无法按照工作量增长的速度不断招聘。

演示中的例子是一张用 Ramp 卡支付的机票。消费完成后，Ramp 启动浏览器智能体，将它带到 Delta 网站并登录，取回收据，再与刷卡交易匹配。不过，这类操作一旦扩大规模，反机器人系统就可能拦截流量。

为了说明浏览器流量为何会被拦截，讲者从笔记本电脑讲起。Chromium 是一个用于访问网页的可执行程序，但网站看到的不只是请求：它还能识别浏览器版本、操作系统、字体、屏幕尺寸和时区，也可能认出已登录的访客或熟悉的活动模式。

网站还会判断每个请求背后的网络信誉。使用个人浏览器时，访客看起来可能像是熟悉的普通用户；把 Chromium 放进数据中心，情况就变了。Ramp 这样的公司不可能靠一直开着数千台笔记本，或依赖某个人定时运行的脚本来扩展业务。

在 EC2 实例里启动无头浏览器，可能每次都会产生新的指纹、全新的 cookie 和一次新的登录。数据中心 IP 也可能是明显信号。代理可以改变表面上的访问地点，或减少某些验证挑战，但改变不了浏览器本身的特征。

讲者把 Chromium 描述为一个浏览器进程，它负责协调页面引擎（用于渲染 HTML 和 JavaScript）、网络请求，以及设备和图形功能。Chromium 更新频繁：大约每隔几周就有主要版本，每周还有安全更新。对自动化浏览器的公司来说，这意味着持续的维护工作。

Browserbase 表示，他们分支维护 Chromium，打造适用于数据中心的验证浏览器。一项改动是在代码各处移除 WebDriver 自动化标记；另一项是让浏览器呈现为 Chrome，而不是无头 Chrome。讲者强调，这些改动涉及 Chromium 的许多部分，也必须跟上上游更新。

第三项改动是让浏览器进程持续运行。许多自动化任务会在开始时启动浏览器，并在任务结束后立刻关闭。Browserbase 则关闭浏览器窗口，同时保留 Chromium 进程运行，这样新任务就不必每次都重新启动整个进程。

现场演示从一个托管浏览器开始。页面加载后，演示者导航到罗马，接着停止会话并一次启动 100 个浏览器。一开始，这些浏览器只是在并行访问网站；接下来，演示会让与会者访问并操作这些会话。

观众可以扫描二维码，随机打开一个浏览器，并在嵌入式视图中与它交互。演示稍显粗糙，因为它依赖 Wi-Fi，也依赖从演示者笔记本建立的隧道；不过，它展示了如何远程打开并控制云端浏览器。

讲者把基础设施的例子重新联系到 Ramp。他们表示，Ramp 现在部署了数千个浏览器智能体，节省了超过 30,000 小时的人工数据录入时间，业务规模也扩大了五倍。过去用于收集收据的时间，如今可以投入公司的其他项目。

下一个例子是 Bill，它要处理数千家供应商的付款。每个门户都有自己的结账和支付流程，而且界面可能不断变化。如果每一步都要员工手动点击，工作就无法扩展。Bill 的目标是让一个智能体能够跨许多不同门户执行操作。

Stagehand 是 Browserbase 用于控制浏览器的开源 SDK。讲者将它比作加入了额外能力的 Playwright。智能体通过 Stagehand 操作浏览器，既能使用标准命令，也能在界面不那么稳定时理解页面。

手写的 Playwright 脚本可能因为网站移动了按钮或更改了字段名称而失效。昨天还有效的选择器，今天可能就匹配不上。临时的本地任务或许能容忍这种情况，但 Ramp 和 Bill 这样的公司需要每次运行都可靠的浏览器工作流。

Stagehand 仍然支持页面点击这类确定性命令。任务变复杂时，开发者也可以用自然语言指令，比如填写表单或找到红色按钮。Stagehand 会检查页面和无障碍树，再把精简视图交给模型，以便识别正确的控件。

讲者接着讨论把整个页面发送给模型的成本。在一个对比示例中，原始 HTML 约有 122,000 个 token，而 Stagehand 精简后的无障碍树快照约有 4,000 个 token。更小的表示既能减少上下文和成本，也能为智能体提供可用的选择器。

Browserbase 还把 Stagehand 部署在托管浏览器旁边。如果智能体运行在别处，每次操作都可能需要来回传输页面数据。让 Stagehand 与浏览器一起运行，可以减少网络往返，让指令处理和页面交互更快。

Stripe 会持续接纳成千上万的商家，因此必须核实每家企业是否真实存在。在使用浏览器智能体之前，公司会派员工访问州务卿门户，收集证明材料。讲者介绍，浏览器自动化可以用于处理这类“了解你的客户”（KYC）核验。

Stagehand 提供三种基础操作：observe、act 和 extract。observe 可以找到 Learn more 这样的控件，但不点击它；act 执行点击 Login 之类的操作；extract 则把杂乱的网页信息转换成结构化输出，包括可供软件传给智能体的 Zod schema。

第一个调研演示打开 Chipotle 网站，并提取公司销售的产品。接下来的版本会查看四个来源：公司官网、投资者关系页面、SEC 文件和纽约证券交易所挂牌信息。多个浏览器会话可以并行运行，而实时画面主要在开发过程中才有用。

讲者把同一工作流扩展到 20 家公司。演示滚动展示 Chipotle、JPMorgan 等公司的结果，同时在不同网站上运行同一任务。他们展示了从这些来源提取的信息，也提醒大家，在运行大量会话时，不必盯着每个浏览器的实时画面。

最后的结果视图汇总了官网、投资者关系页面和 SEC 文件中的公司信息。讲者表示，Browserbase 的验证浏览器可以减少 CAPTCHA 出现的频率，Stagehand 也能在没有人盯着实时画面的情况下浏览网页。他们还推荐了 Browserbase 网站上的可复用提示词，帮助观众入门。

演讲最后邀请观众访问 Browserbase 网站，复制其中的提示词，开始构建基于浏览器的工作流。这些案例从取回收据，扩展到跨支付门户执行操作，再到为企业核验和调研收集信息。