30 秒看懂
编程智能体需要的不只是详细提示词,还包括仓库规则,以及分散在文档和工具中的上下文。OpenAI 的 Dominik Kundel 和 Charlie Guo 演示了插件、屏幕上下文和共享页面,再展示如何在设计目标尚不清晰时通过快速反馈塑造 UI。他们介绍了托管云环境,以及一个将素材交给远程智能体剪辑的内部应用。他们的实际建议是根据任务选择推理强度,并在工作可以并行但存在依赖时协调智能体。
- 1插件把外部上下文带入智能体的工作Kundel 说,仓库规则应放在仓库中;插件则可以在支持的界面中连接文档、对话和其他资源。
- 2Appshot 可以携带截图之外的无障碍上下文演示添加了应用无障碍信息的文本视图,包括可见区域之外的内容。
- 3共享页面可以附带自己的维护指令Kundel 展示了如何把计划转成可编辑页面,并介绍使用指令或定时更新保持值班手册及时更新。
- 4人能立即迭代时,更快的推理帮助最大Kundel 用热重载服务器和针对性标注进行小幅 UI 修改,同时指出构建和测试可能占据大部分等待时间。
- 5一个云环境可以检查多个仓库设置过程识别依赖和命令;即使 Linux 环境不能运行 iOS 模拟器,仍可保留 iOS 仓库供参考。
- 6内部网站将视频剪辑交给远程智能体Guo 介绍 Cut Room 如何收集素材和意见,随后由 Codex 智能体使用 DaVinci Resolve 剪辑并返回版本供审阅。
- 7并行智能体可以协调共同假设Kundel 建议让智能体配合处理相关的网页和移动端工作,以便传达共享后端的变更。
要点建议
- 把仓库规范放在新工程师和智能体都能找到的地方;代码之外的相关上下文可通过连接获取。
- 当下一项设计决策取决于看到上一项修改的效果时,使用快速、简短的反馈循环。
- 明确云环境的配置和访问方式,包括操作系统限制及私有资源连接。
- 从适合任务的推理强度开始;更高强度或委派给其他模型并不一定更好或更便宜。
按章节阅读整理后的全文
同一智能体框架覆盖更多界面
Guo 介绍 Codex 如何从远程编程智能体扩展为可在更多界面使用的框架。
Charlie Guo 说,自上一次 AI Engineer 工作坊以来,Codex 已扩展到更多使用界面并增加了功能。这次分享聚焦如何向智能体提供上下文、与它反复迭代,并将成果投入生产。
Guo 认为 Codex 并未消失,而是出现在更多地方。他说,Codex 与 ChatGPT Work 的整合让更多人能够使用这套智能体框架,也使更长时间运行的工作成为可能。
Guo 说,第一版 Codex 在远程环境中运行,并检出代码仓库。团队正在重新加强云端工作,同时改进用户在自己设备上远程控制 Codex 的方式。
他将 Codex 运行框架描述为多个界面背后的共同智能体框架,包括 CLI、ChatGPT、Slack 和 Agents API。两位讲者把案例归纳为上下文、迭代、交付和委派。
从代码和已连接工具中获取上下文
Kundel 展示仓库指令和插件如何帮助智能体找到简短请求背后的信息。
Dominik Kundel 说,智能体需要目标和相关上下文,而不只是孤立的指令。他希望交流更自然:智能体可以自己收集支持信息,用户不必交代每个细节。
OpenAI 的大型单体代码仓库使仓库导航成为 Codex 面临的核心问题。Kundel 建议将编码规范放在仓库中,例如使用 AGENTS.md 文件和代码检查工具。
上下文也存在于代码之外。Kundel 将插件描述为包含连接、技能和相关资源的软件包,并说共享连接可以让 Codex 运行框架在支持的界面中使用这些资源。
一个例子中,一条简短请求提到了 Slack 中的提及,却没有说明频道或人名。Kundel 说,已连接的智能体能够找到对话及其中分享的电子表格,从而补齐缺失的上下文。
Kundel 描述了一次准备在午夜发布文档的经历。他让 Codex 跟进审批、留意 Slack 中的最后变更、提前部署并验证网站;他后来发现,Codex 还回答了同事关于预览的问题。
Kundel 说,插件扩展可以在桌面应用和其他 ChatGPT 界面中呈现上下文。它们可以添加导航、面板或输入框集成,让人和智能体都能使用公司的工作流。
他演示了一个设计系统插件,它在应用中展示可用组件。“添加到输入框”操作会插入所选组件的上下文,无需重新搜索或在提示词中手动描述。

插件还可以在输入框中提供可搜索的组件。Kundel 说,相同的方式也能呈现用户希望附在请求中的设计文件或内部资源。
获取屏幕和活动上下文
Appshots 和计算机使用功能提供提示词之外的信息,历史功能则提供保留或排除活动的控制项。
Appshots 将截图与当前应用的无障碍信息结合,包括可见区域之外的内容。Kundel 演示了一个文本视图,其中包含普通图像可能无法传达的数值和其他信息。
没有插件时,计算机使用功能可以收集信息或测试应用。Kundel 展示了 iOS 模拟器,并说 macOS 上的实现可以使用独立光标在后台运行。
他还介绍了一个 Chrome 扩展:用户继续使用其他标签页时,它可以向 Codex 提供浏览器上下文。Kundel 说,该扩展可以使用浏览器已登录的上下文。
演讲中,Kundel 将计算机历史描述为当时仅支持 macOS 的功能,它可以逐渐学习用户在不同应用中的习惯。他举例说,系统能了解他在哪里起草文档,并在工作方式改变时作出调整。
Kundel 说,历史功能会使用 Mac 的事件流和保存的历史记录。他演示了暂停、清除近期活动以及排除特定应用或网站的控制项;他说隐私浏览内容已被排除。
让计划和知识保持可共同编辑
ChatGPT Space 为人和智能体提供共享页面,以便审阅和维护。
产品需求、架构图和客户反馈经常分散在不同地方。Kundel 说,反复整理这些材料对人和智能体都很困难,尤其是在较大的计划需要评论与修改时。
在他的例子中,Codex 将计划转成可编辑的 ChatGPT Space 页面。用户可以在文档中提及队友及其智能体,页面也可以包含 HTML 可视化等更丰富的内容。
Kundel 建议为页面提供更新指令,让智能体维护值班手册等材料。他将页面专属指令和可选的定时更新,比作文档自己的 AGENTS.md。
通过短循环迭代 UI
开发者能快速看到变化并作出反应时,Ultra Fast 和标注功能可以提供帮助。
为了快速迭代,两位讲者演示了 Ultra Fast。Kundel 说,人在不断尝试想法时它很有用;但如果编译或验证占据了大部分时间,它未必能明显缩短总等待。
应用内浏览器的标注功能让用户指向页面的特定部分并给出针对性反馈。设置控件还允许用户实时调整外观,帮助判断设计方向。

Kundel 使用支持热重载的开发服务器,连续提出一些小请求:删除标题、调整另一个标题、添加动画,让唱片响应光标。看到每次变化后,他更容易决定下一步要求什么。
他还说,在不确定最终设计时,自己曾用同样的短反馈循环改进文档页面。每次迭代都会让下一步需要的变化更加清晰。
标注 API 允许应用定义哪些元素可以被选择。Kundel 举例说,用户可以选择设计系统组件或模拟游戏内的对象,而不选择周围的框架。
在云环境中运行长任务
托管环境可以检查仓库、设置依赖并连接私有资源。
长时间运行的任务促使一些人使用额外电脑或租用服务器。Kundel 提到,企业使用时还需要维护和更新这些机器,并扩展算力或磁盘空间。
团队围绕托管环境重建了 Codex Cloud。Kundel 说,当设备位于同一网络或使用 API 密钥认证时,用户也可以通过 ChatGPT 订阅或 SSH 连接自己的机器。
创建云环境首先要选择一个或多个 GitHub 仓库。Codex 会检查项目需要什么,包括依赖、启动开发服务器或运行测试的命令,同时允许用户修改配置。

他的例子中,一个仓库包含 iOS 应用。Linux 环境无法运行其模拟器,但保留该仓库后,Codex 在开发网页应用时仍可参考移动端实现。
环境配置可以创建安装脚本并维护快照。Kundel 说,在后台更新依赖并拉取变更,有助于暂时闲置的环境快速启动后续任务。
环境设置可以控制网络访问和密钥;组织可以共享设置,同时要求个人提供自己的密钥。Kundel 说,OIDC 或 Tailscale 可以让环境连接支持的私有资源,而不必将其公开到互联网。
对于已有的远程机器,Kundel 演示了 CLI 无需安装桌面应用即可启动远程控制及其应用服务器。手机随后就可以连接该机器。
交付应用并审查变更
Guo 介绍围绕远程智能体构建的视频剪辑应用,然后展示拉取请求审查流程。
Guo 转而介绍如何用 ChatGPT Sites 交付应用。他举例说,开发者体验团队使用名为 Cut Room 的内部应用来收集视频素材、屏幕录制和审阅意见。

当素材准备好供审阅时,应用会将其交给一个能够使用 DaVinci Resolve 和剪辑技能的远程 Codex 智能体。Guo 说,智能体会制作新版本、上传并通知团队审阅。
Guo 说,Sites 支持的不只是静态页面,还包括数据库和对象存储、登录、分析、密钥及插件访问。他将这些功能视为构建受控访问和连接数据的应用的基础。
团队可以连接共享日历来预订拍摄场地,也可以连接任务跟踪工具来创建和分配工作。Guo 还介绍了通过 remix 复制网站,让其他人按自己的用途修改。
他列举的内部用途包括交互式发布回顾,以及展示社交内容及其分析数据的视图。另一个实验让 AI 与他比赛,通过维基百科链接从一个页面走到另一个页面;他说 AI 赢得了演示中的比赛。
Codex 的代码审查标签页把已连接的 GitHub 拉取请求带入应用。审查者可以查看差异和截图,再用可自定义的提示词启动独立的 Codex 审查。
通过语音、Dots 和智能体委派工作
语音可以跨对话协调工作;Dots 和 Agents API 提供其他委派方式。
Guo 认为语音不只是向单个对话口述文字。他用它来管理对话、查看进行中的工作、检索信息,并在应用中启动新任务。
演示中,他要求语音模式检查一次审查、查找同事在 Slack 的最新动态、在新对话中开始幻灯片评审并将其置顶。智能体询问他指的是几位同名同事中的哪一位。
Guo 将 Dots 描述为另一种委派工具:它可以作为安全网,提示漏洞、合并冲突或日程问题;也可以接收转发的小型调查任务,并在更多沟通渠道中充当助手。
他说,测试版 Agents API 向应用提供同一智能体框架的部分能力,供需要大量临时会话并访问沙箱和插件的应用使用。
选择推理强度并协调并行工作
Kundel 建议让推理强度匹配任务,并举例介绍协作智能体和独立对话。
Kundel 建议根据任务选择推理强度,而不是自动调到最高。新模型发布时,他建议试试较低设置,因为额外推理可能收益递减,甚至过度思考。
一种做法是用通用模型处理日常工作,再让它把更难或更重复的子任务交给其他模型。Kundel 提醒,智能体的模型分配选择并不总能让任务做得更好或更便宜。
他描述了成对使用子智能体的方式,适用于可以并行但彼此有关联的工作,例如共享后端假设的网页和移动应用。智能体之间可以沟通变更,而不必假设计划一开始就掌握了所有依赖。

独立对话也可以脱离父会话运行。Kundel 提到 CLI 的智能体视图可以切换会话,以及 CLI 语音模式和可配置的应用内或全局快捷键。
最后,Kundel 建议在模型变化时重新审视既有工作流:先尝试去掉旧的绕行方法,只有问题仍存在时再加回去。两位讲者也请听众查阅工作坊资源中的示例。
同频道的其他文章
19:38EN → 简体中文
19:55EN → 简体中文
23:19EN → 简体中文
17:31EN → 简体中文
17:31EN → 简体中文
14:00EN → 简体中文