30 秒看懂
Theo 介绍自己早期使用 GPT-6 Astra 的经历,比较报告中的基准和自己在计算机操作、3D、编程及设计方面的项目。他尤其看好计算机操作和 3D 渲染,对前端设计和视频剪辑则不那么满意。 他讨论发布时的价格和分阶段开放,随后描述一次 PR 监控失败及仍存在的过度设计问题。他的评价和“类似 AGI”的说法是个人判断;基准结果仅适用于具体测试。
- 1发布时的成本与访问Theo 讨论了当时的 API 价格、上下文相关费用和分阶段开放。
- 2计算机操作速度展示的 OSWorld 结果和他自己的门户操作任务支撑了他的正面评价。
- 33D 画面与操作手感水族箱演示看起来很出色,但 Theo 必须迭代才能改善移动控制。
- 4前端限制他指出界面文案过多,在自己的测试中仍更喜欢 Fable 5.1 的设计表现。
- 5Lakebed 性能工作Theo 报告了私有项目中显著的延迟改善,并介绍了对修改所做的测试。
- 6一次 PR 审查失败较早的模型快照多次确认反馈有效,却没有完成要求的后续行动。
要点建议
- 发布时,Astra 最初只对部分机构开放;Theo 关于价格和可用范围的说法具有时效性。
- Theo 认为计算机操作和 3D 渲染尤其出色,但漂亮的画面不保证游戏操作手感好。
- 基准分数和成本比较描述的是特定设置,不能证明所有任务中的表现或安全性。
- 他的媒体播放器和 Lakebed 案例都经过迭代与测试,并非一次生成必然成功的保证。
- 较早的模型快照未能落实 PR 审查评论;Theo 说后续改动减少了类似问题,但没有完全消除。
- 相比计算机操作和 3D 能力,他认为视频剪辑和前端设计不那么令人信服。
按章节阅读整理后的全文
早期访问、成本与发布
Theo 介绍自己异常巨大的早期用量,并解释发布时的价格和可用范围。他也指出自己对延迟发布原因所知有限。
过去几周我一直在测试 GPT-6 Astra。画面中显示,我在早期访问期间使用了约 33 万美元的推理额度,其中大部分用于这个模型。我认为它在计算机操作、3D 工作和处理长期任务方面,相比 GPT-5.6 Sol 有跨代进步,但仍有不足。我的体验来自用量异常巨大的早期测试。
先看发布时的成本和可用范围。OpenAI 公布的标准 API 价格为每百万输入 token 10 美元、每百万输出 token 50 美元。快速模式提供最高两倍速度,价格也是标准价格的两倍。总成本取决于任务消耗的 token 数量,而不只是标价;长时间自主运行仍可能很贵。

我比较了 Astra 每百万缓存读取 token 1 美元与 Fable 5.1 的 0.25 美元,同时指出 Astra 的 token 效率可能改变最终比较。模型支持最多一百万 token 的上下文窗口,但发布时预计 Codex 默认值较小。我还讨论了 API 在超过 27.2 万 token 后的更高价格,并表示 Codex 会有例外;这些是当时的信息,不应视为当前定价。

发布节奏是我最不满意的地方:OpenAI 表示 Astra 最初只向部分机构开放,之后才会逐步面向付费 ChatGPT 计划、API 和 AWS 提供。我想让观众立刻尝试这些例子,但许多人暂时做不到。公告还为符合条件的 API 客户提供零数据保留;具体资格和产品条款很重要。
OpenAI 的代表说,Codex 用户等待访问期间会获得可储存的额度重置,我也被告知分阶段发布只是暂时措施。我猜测过延期的可能原因,但不知道真正原因。可用范围和订阅安排都可能变化,因此这里只是发布时的情况,并非长期承诺。
基准、计算机操作与 3D
他讨论报告中的科学和计算机操作分数,并展示 3D 工作。Fish Slop 的例子区分了视觉质量和交互质量。
发布材料展示了科学和代理基准上的强劲结果。在 Terminal-Bench Science 图表中,Fable 5.1 约为 36%、成本约 15 美元,Astra 在低推理强度下约为 54%、成本约 11 美元。我还讨论了 ARC-AGI-3、FrontierMath 和 Terminal-Bench 4,并注意到更高推理强度并不总能得到最佳结果。这些数字只适用于相应基准,不保证每个实际任务都如此。

长时间工作并在上下文压缩后保留有用信息的能力,感觉像是在会话中学习。我并不是说对话过程中模型的权重会更新。OpenAI 还报告了一项漏洞蜜罐评估的结果;那是一项受控安全测试,并非模型全面对齐的证明。
对我来说,计算机操作是最大的实际进步。OSWorld 2.0 图表报告 Astra 在高推理强度下用约 23 分钟达到 71.6%,Sol 的最佳成绩为 65.7%,耗时约 75 分钟。这是特定基准下的比较。在我的工作中,Astra 操作真实应用也快得多;这种体验既来自模型,也来自 Codex 的改进。

OpenAI 演示模型通过鼠标和键盘操作 Excel,而不是仅以程序方式编辑文件。它可能先停下来规划,然后快速执行。对我而言,它曾在我做其他事时,用约 15 分钟从速度缓慢的医疗门户下载病历。我对速度印象深刻,但一次成功运行不能证明它在所有敏感工作流中都可靠。
3D 和 CAD 示例也很醒目。BenchCAD 图表显示,Astra 的得分较高,成本低于所比较的 Fable 结果。OpenAI 展示了一座用 Blender 创建、再转成 Unreal Engine 可漫游场景的房子。相比之下,我自己测试得到的幻灯片没有公司演示的那么精致,可能是因为提示词或上下文不同。

我自己的 Fish Slop 演示生成了漂亮的 3D 水族箱,有可以辨认的鱼、灯光和可运行的游戏循环。但它的操作手感比 Fable 5.1 差得多:鼠标最初移动太快,调整后又太慢。我可以继续引导它改进,但精致的第一张画面不应与精致的交互混为一谈。

引导、编程与安全评估
Theo 介绍异步提问和编码行为,随后回顾公司报告的安全及网络安全测试。他质疑综合指数是否充分反映代理能力。

另一个改进是,在兼容的运行环境中可以异步提问。模型可以询问某个决策,同时继续不依赖回答的工作,稍后再吸收答案。与早期模型相比,我发送引导消息时,它似乎也较少放弃原有任务。不过,它对我意图的理解仍有局限,我稍后会讨论遇到的失败。
在代码方面,按我的经验,Astra 比 Sol 更容易产出可合并的修改。Sol 经常解决了问题,却留下过大的 PR、不必要的测试或超出要求范围的修改。Astra 整体更克制,但这并不意味着它不会过度设计。展示的 Deep SWE 结果也是一个有用的数据点,不能取代审查实际修改。
OpenAI 展示了强劲的科学和网络安全结果,包括画面中特定 ExploitBench 设置下的满分。公司还报告称,计算机操作压力测试中的不对齐结果更少,遵守用户边界的表现有所改善。这些是公司在特定条件下报告的评估,不能证明模型在所有部署中都安全。
Artificial Analysis 指数把 Astra 排在一些我认为代理能力弱得多的模型附近。我怀疑它混合了较旧的知识和推理基准,不能充分反映当前的计算机操作与代理能力。创始人告诉我,评测组合正在修订。每项任务成本对该基准仍有参考价值,但单一指数无法涵盖我关心的一切。
设计与项目演示
Theo 批评界面文案,展示其他人的 3D 演示,并介绍自己的媒体和基础设施项目。他对视频剪辑结果感到失望。
前端设计比 Sol 好,但仍是弱项。我的 2D Fish Slop 界面即使清理后还有 20 多处不必要的标签和副标题。落地页比较显示,它的动画和起点比早期 OpenAI 模型更好,但在我的测试中,我仍更喜欢用 Fable 5.1 通过较少提示得到可用设计。

其他早期测试者展示了 3D 作品:类似 Minecraft 的游戏、开放世界演示、可漫游的小世界,以及用一周时间构建的曼哈顿场景。这些演示令人印象深刻,但提示词和迭代量不同,并非受控比较。一个基于浏览器、类似 macOS 的界面也显示了能力广度,同时仍有视觉瑕疵。

我为一个旧博客的音乐文章做了播放器;原站因为嵌入太多播放器而运行困难。这不是一次生成:我多次迭代,直到导航和续播符合要求。我还做了一个具备类似 Plex 功能的本地网络 iOS 媒体播放器。初版很快运行起来,但在真正依赖它之前,我又花了几个提示修复粗糙之处。
在我的 Lakebed 项目中,OpenAI 曾要求我不要把预览模型用于面向公众的代码,因此我在当时尚未公开的项目上测试。我请代理检查性能、创建测试并推进改进。按我的测量,某些同步路径的延迟从最高约 800 毫秒降到 30 毫秒以下,部分情况下 p95 延迟大幅下降。

我允许代理协调子代理,并在它认为满意时合并修改;由于过去无人监督的合并曾出问题,我随后自己测试了结果。另一个模型也审查了这些修改。这些是有用的检查,但不能证明绝不会出现回归或安全问题。我打算另行深入探讨代理群的行为。
视频剪辑的结果就差得多。模型找到了一些可能适合短视频的片段,但我不喜欢剪切方式和竖屏布局。我会继续依赖剪辑团队。我也在尝试把 TypeScript 移植到 Rust,但这项工作在视频中尚未完成。
失败与更广泛的图景
PR 审查实例展示了较早快照未能落实后续行动。Theo 最后分享对模型长处的个人看法,并询问用户如何设定信任标准。
一次失败说明了模型的不足。在较早的 Astra 快照中,我让它操作电脑诊断 T3 Code 的滚动 bug,并在有信心时提交 PR。它很快提交了 PR,审查机器人提出了实质性问题。我问它评论是否值得处理,它回答值得,却没有采取行动。

我明确要求它修复、推送修改并持续照看 PR。它在后续评论到来之前就停止监控;我无法确定原因是模型、运行环境还是限流。更令人沮丧的是,我询问新评论时,它再次承认问题有效却没有修复,尽管之前已有明确指令和 skill 上下文;后来做出的修复也没有推送。
在那个快照之后,OpenAI 修改了模型及其周边运行环境,我发现这类行为减少了,但并未消失。Astra 仍可能过度设计并陷入审查循环。即使模型本身的能力令人印象深刻,要让修改彻底完成,有时仍需额外工作,因此我的部分线程会保持开放更久。
对我来说,这个模型的意义不只是声称它是最佳编码模型。我重视计算机操作、3D 工具、代理协调以及跨连接应用工作的能力。有一次,在助理休假时,我用它连接 Gmail 和 Notion 帮忙找出优先事项。这是我对特定工作流的个人评价,并非普遍结果。
我觉得这些能力让人尝到一些新东西,用“类似 AGI”描述的是我的感受,并非已经证明的科学分类。我在很多任务上信任这个模型,同时也承认刚才描述的失败。我留给观众的问题是:你们为检查工作设定的标准是什么,又如何评估系统是否达到这个标准?
同频道的其他文章
38:47EN → 简体中文
36:07EN → 简体中文
30:37EN → 简体中文
0:43EN → 简体中文
29:22EN → 简体中文
31:13EN → 简体中文