吴翼解读 Operator：强化学习、网页交互与智能体

张小珺邀请强化学习研究者吴翼讨论 2025 年初发布的 Operator。两人区分产品演示、已知技术信息与对未来的推测。

吴翼介绍自己在清华交叉信息研究院的研究经历和强化学习背景，并从这一视角观察可以操作网页的智能体。

他关注演示中的细节：系统需要处理弹窗、观察页面变化，并在动作后继续完成任务，而不是只给出一段回答。

他把连续的多模态交互看作重要变化：模型观察图像、理解指令、执行动作，再根据环境反馈调整。一次演示并不证明所有场景都可靠。

嘉宾猜测公司内部可能还有更强的系统，并讨论泛化能力。这些判断基于公开演示和个人经验，并非对内部模型的证实。

他比较推理模型中的回溯与网页操作中的连续决策：系统可能需要反复检查当前状态和下一步，而不是一次生成整个动作序列。

两人讨论产品为何采用单独入口。吴翼认为新交互模式和既有聊天界面的用户习惯可能需要不同产品设计；这是推测。

他概括三个研究要素：能力足够的基础模型、适合交互的高质量数据，以及能支持大规模环境交互的强化学习训练系统。

交互数据不仅包括任务和答案，还包括观察到的状态、采取的动作以及动作后的反馈。如何收集、筛选和评估这些轨迹很重要。

两人谈到 Computer-Using Agent。吴翼描述一个循环：模型看屏幕、决定动作、执行后接收新的屏幕状态，再作下一步决定。

他认为基础模型能力与针对交互任务的训练可以相互配合。具体训练数据和内部实现没有完全公开，访谈中的解释不应视为完整技术披露。

他讨论其他团队复制类似能力所需的模型、数据和训练设施。资源需求取决于方法和目标，不能由演示直接推算。

吴翼把多模态模型和强化学习结合视为当时智能体发展的重要条件。技术进展与一个可靠、广泛可用的产品仍是不同阶段。

他回顾 OpenAI 早期对网页智能体的探索，认为过去的强化学习工作受到当时模型和数据条件限制。这个回顾反映他的经历和理解。

访谈借一种五阶段框架讨论聊天、推理、智能体、创新和组织。嘉宾把它当作描述技术演进的框架，而不是经过验证的发展时间表。

他区分对话式响应与具有规划能力的系统，再讨论能与外部环境交互的智能体。后续阶段涉及更复杂的创造与协调。

他认为动作与反馈的循环使系统可以在执行过程中发现问题和调整计划，但长任务中误差、权限和可靠性仍然是挑战。

随着任务越来越复杂，人类如何设置目标、监督执行和接管关键步骤会发生变化。这是方向性的讨论，并不表示人类监督可以省略。

主持人追问从抽象推理走向环境交互的意义。吴翼认为真实任务会暴露不同类型的不确定性，模型需要把计划与实际观察联系起来。

关于自主性与用户指令，他从演示中观察到一些需要人工介入的环节。对于支付、敏感信息等操作，何时停下并请求用户处理是产品设计问题。

他把语言、视觉和动作的结合看作基础模型与交互训练共同作用的结果：系统需要读懂当前画面，并把意图转换成操作。

主持人问多个智能体能否协作。吴翼说，单个任务不一定需要多个模型，但不同服务和智能体之间可能出现新的交互方式。

他设想网站未来可能增加适合智能体访问的接口，甚至出现智能体与服务之间的交易；这些只是未来情景，不是现有功能说明。

关于自我探索和修正，他认为示例数据可以引导初始行为，再通过强化学习改进。访谈并未公开证明具体系统如何训练。

主持人问交互能否帮助模型从人类活动中学习。吴翼认为更强能力可能带来更多长尾任务数据，但数据质量、使用权限和评估方式仍然重要。

与简单聊天相比，网页操作过程更复杂、成本更高；它也可能产生任务是否完成等反馈，但反馈并非总能准确表达用户真正需要什么。

两人讨论基础研究与产品的分工。研究团队可能关注能力提升和训练方法，产品团队还需要理解用户、界面、可靠性及运营。

他认为基准任务和真实用户需求并不完全重合。一个方法在数学评测上有效，不代表已经解决产品中的全部任务。

商业化能够支持持续投入，真实使用也能帮助发现需求；但是否能将数据用于训练需要遵循产品的权限与政策。

谈到“智能体之年”，吴翼认为多模态、模型能力和强化学习的发展让人们有机会构建此前难以实现的产品。访谈中的时间判断属于当时预测。

他回顾 agent 一词在博弈论和强化学习中的用法：智能体在环境中观察、行动并获得反馈，而不一定依赖语言模型。

在大模型语境下，这个词常指模型能够通过 API 或屏幕操作调用外部工具。两种定义有联系，但并不完全相同。

他对未来尚未发布的智能体能力作出乐观预测。任务覆盖率和时间节点都应视为主观预测，而不是后续结果。

关于创业机会，他认为大量网站和垂直场景仍有未解决的问题，小团队可以围绕具体客户需求和专业流程构建产品。

他同时提醒，大公司的基础能力可能不断扩大，小团队需要考虑差异化、分发和与平台竞争的风险。

鼠标与键盘是计算机操作中的动作接口。他把它们类比为手，说明系统可以通过已有的人类界面作用于软件环境。

他讨论研究与产品所需的人力和计算资源，并承认具体规模难以判断；没有公开数据时，不应把估计当成事实。

嘉宾区分网页中的文字与视觉信息，以及更复杂的物理世界感知。他认为从屏幕交互扩展到物理行动是长期研究方向。

这种类比并不意味着网页智能体已经能够安全控制机器人：物理世界还涉及实时控制、接触、硬件和安全约束。

对于人机协作，他希望未来智能体能通过更长期的互动了解个人偏好，减少用户每次重复解释的负担。

个性化也带来记忆、授权和隐私设计的问题。他讨论的是可能性，而不是某项已经实现且可靠的能力。

如果更多人通过智能体使用软件，网站和产品界面可能需要调整。但这种变化的速度和形式仍不确定。

面对大型公司的资源优势，他思考学术界和小团队如何选择问题：寻找不同目标、研究方法或协作结构，而不是简单复制规模竞争。

他对真正的多智能体问题感兴趣，例如多个参与者各有目标并需要协作或竞争；他认为这与让多个模型点击同一个网页不同。

访谈结束时，两人邀请听众继续讨论。整期节目记录的是 2025 年初对智能体技术的观察和预测。