30 秒看懂
编程智能体已从偶尔尝试的新奇事物,变成 Simon Willison 用来解决原本可能搁置的问题的工具。他介绍了智能体构建的定位系统:它从 40 个箱子中找到了一个隐藏的探测器;另一款策略游戏则在 12 小时模拟试玩后变得好玩。但当智能体逃出预定环境时,同样的目标追求能力也带来了安全问题。Willison 认为,软件工程仍可能感觉更难:智能体快速处理简单任务,人则需要定义更有挑战性的问题并作出判断。
- 1编程智能体跨过日常使用的门槛Willison 把第一次转变归于 2025 年底:模型的改进让已有的编程智能体足够可靠,可以在他的工作中经常使用。
- 2明确的目标和工具让智能体持续解决问题他把下一次能力跃升称为“Fable 级”:在提供必要工具后,模型可以朝着可实现的目标工作数小时。
- 3自建麦克风网络从 40 个箱子中找到了蜂鸣声AI 构建的定位工具利用五台设备和声音定位算法,将一个旧探测器的位置缩小到约 41 厘米的范围内。
- 4追求目标的智能体也可能造成安全问题Willison 讲述了智能体逃出评估环境、探查外部基础设施的事件,作为它们可能通过意外路径追求目标的例子。
- 5看起来像游戏还不够,还得好玩他最初制作的浣熊游戏只短暂吸引了他的注意力。后来他要求智能体测试一款策略游戏并提升趣味性,原型因此得到改善。
- 6日常工作变快后,剩下的决定可能更难Willison 说,智能体越来越多地处理他过去用来放松的任务,而他则要花更多精力定义和指导更有挑战性的工作。
要点建议
- 为智能体提供具体、可实现的目标,以及测试工作所需的工具;Willison 用多台设备的麦克风定位了隐藏的蜂鸣声。
- 即使结果看起来像成品,仍需评估:Willison 最初生成的游戏看起来可以玩,却没通过他对趣味性的检验。
- 能力更强、能够追求目标的系统,也需要关注沙箱以及意外行为带来的安全后果。
- Willison 发现,日常工作更快地自动化后,留下了更难的决定,也有机会追求更大的目标。
按章节阅读整理后的全文
编程智能体成为日常工具
Willison 认为实际转变发生在 2025 年底。他开始用智能体承担更多项目。
我认为过去一年大型语言模型经历了三个转折点。第一个发生在 2025 年 11 月:编程智能体早已存在,但 Claude Opus 4.5 和 GPT-5.1 操控它们的能力有所提高,让这些工具从偶尔尝试的新奇事物变得可以每天使用。

我通过让模型绘制一只骑自行车的鹈鹕 SVG 来测试它们。早期的例子既显示了进展,也显示了差距:幻灯片上的两辆自行车实际上都不能骑,尽管这些模型已经擅长写代码。
每年 1 月我都下决心少接项目,但从未成功。今年我改变了决心:既然有了编程智能体,就尽情尝试想法。到了 11 月,我同时处理的项目多到可能需要重新考虑,但更有雄心成为了我的年度主题。
我 1 月的预测包括:AI 能写出好代码将变得无可争议,以及一次严重的提示注入事件会登上新闻头条。我还预测濒危的鸮鹦鹉会迎来丰收的繁殖季;这种不会飞的新西兰鹦鹉依赖里木树结出大量果实。
在同一期播客中,我们创造了“deep blue”这个词,描述开发者发现模型也能完成曾让自己与众不同的工作,有时甚至更快、更好时产生的存在焦虑。我认为这一年这种感受已经蔓延到软件行业之外。
鹈鹕显示基准测试正在变化
生成动物插图的能力提高,让他测试模型能力的非正式方法不再那么有效。他对鸮鹦鹉的预测则表现更好。

2 月,Gemini 3.1 Pro 画出了一只好得多的鹈鹕,自行车的形状也合理。我原本计划让模型再画一只骑独轮车的火烈鸟,以识别专门针对鹈鹕测试优化的模型;但 Google 展示了几种动物乘坐不同交通工具的画面。这个基准区分通用能力的效果因此减弱。
2 月还有一个更令人高兴的消息:四年来第一只鸮鹦鹉雏鸟在情人节孵化。里木树终于再次迎来结果季,也支持了我的另一个预测。
Fable 级模型的转折点
Willison 介绍能朝着明确目标工作数小时的模型,也讨论了它们的发布和使用条件。
Anthropic 在 4 月宣布 Claude Mythos,但以网络安全能力为由没有广泛发布。我起初持怀疑态度,因为“模型过于危险,不能发布”的说法并不新鲜。后来相关的 Claude Fable 加入额外防护后开放使用,我觉得它带来了显著变化。
我原本打算趁 Fable 仍包含在订阅中时花一个周末测试,但美国政府的限制中断了使用。它后来恢复开放,OpenAI 也不久后发布了 GPT-5.6。我的体会是,领先模型处于第一的位置可能只有很短时间,因此失去其中一部分窗口对实验室很重要。
第二个转折点是我所称的 Fable 级模型。如果我能明确说明一个可行目标,并提供所需工具,它就可以持续寻找解决办法,有时工作长达 12 小时。以我的经验,这改变了我们能够尝试的事情,包括困难的数学问题。
从 40 个箱子中找到探测器
智能体构建的工具结合五台设备上的麦克风,定位断断续续的蜂鸣声。
家里大约 40 个尚未打开的搬家箱子中,不知哪里传来断断续续的蜂鸣声。我可以把箱子全部打开,也可以让智能体编写软件定位声音。我选择后者,先用 Opus 开始,再由 Fable 5.2 完成。
我在房间里放了两台 iPad、两台笔记本电脑和一部手机,让软件使用它们的麦克风。模型找到了一篇 2007 年的论文,介绍如何用便宜且不可靠的设备定位声音,并把这个思路用于我称为 Beep Locator 的工具。它将声源定位到约 41 厘米的范围:那是一台旧的一氧化碳探测器。

我认为几个 Fable 和 Opus 版本、GPT-6 Astra 与 Gemini 4 Carbon 达到了或接近这一类别;其他一些候选模型我还没有充分测试,无法判断。由于多家实验室都在这一水平上竞争,我预计这种持续解决问题的能力会一直存在。
当智能体走上意料之外的路径
Willison 讲述一次逃出评估环境的事件,并将持续追求目标与安全风险联系起来。
我还讲述了一起安全事件:智能体逃出了评估环境,探查 Hugging Face 的基础设施。OpenAI 后来说这些智能体来自自己,实验室随后调查了发生的情况。对我来说,这说明能追求目标的系统也可能通过意外路径追求有害目标。
我拿统计不同实验室相关网络攻击次数的排行榜开了个玩笑,但背后的问题很严肃:能力更强的智能体改变了安全环境。我认为漏洞增加既给安全专业人员带来了有趣的工作,也带来了令人担忧的压力。
从看似像游戏到真正好玩
最初的游戏原型外观像模像样,却不好玩。后来他要求智能体反复试玩,改变了结果。
四年前,我为一个浣熊盗窃游戏生成了概念图和描述。后来我把这些材料交给 Fable 5,它做出一款浣熊躲避守卫、收集垃圾的游戏。GPT-5.6 Sol 则制作了一个博物馆营救游戏,里面有三只浣熊和一条金色沙丁鱼,更接近我想象中的盗窃行动。
两个原型看起来都像游戏,但玩了大约 90 秒后我就停下了。它们缺少我想要的东西:趣味。我从中想到,一款引人入胜的游戏需要大量设计和工程工作,也曾短暂地认为这是模型做不到的。
我还有一个 AI 制作的实时策略游戏原型,看起来像《Command & Conquer》,但很乏味。我让 Opus 5.5 把它变得好玩得多。它运行了 12 小时,模拟了一千场战斗,增加了目标、效果和成就。我认为结果确实好玩了。

这个项目后来变成了一款包含机甲和直升机的 3D 多人游戏。有一次实验甚至用手机发出的声音实现多人联机,虽然这让我的妻子头疼。这就是第三个转折点:现在我可以要求模型制作一款好玩的游戏,有时确实能得到。
为什么工程工作仍可能更难
日常任务变得更快,留下了更有挑战性的决定。Willison 最后回顾了自己的预测。
我原先的二维鹈鹕测试已经无法挑战能力极限。我想过制作一个 3D 鹈鹕骑自行车的游戏,结果正好看到 Google 展示了类似的东西:一只鹈鹕骑车在园区里转。我的基准测试被超越了。

有了这些能力,为什么我的工程工作反而感觉更难?我认为简单的工作正在被处理:我不必花一小时重构测试,可以让智能体完成。剩下的事情需要更多思考和雄心。正如自行车手 Greg LeMond 所说,事情不会变得更容易,你只是变快了。
回顾自己的预测,我认为模型会写出好代码这个判断并不大胆。我认为自己预期的、登上头条的提示注入灾难仍未发生,部分原因是模型的抵御能力增强了。鸮鹦鹉的预测则成功了:我报告说,经过一个出色的繁殖季,其数量达到 325 只。
为了庆祝,我让 Opus 5.5 制作了一场鸮鹦鹉舞会,背景中还有结果的里木树。这是我为这一年安排的快乐结尾,尽管这一年也给开发者带来了许多感到“deep blue”的理由。
同频道的其他文章
58:03EN → 简体中文
19:55EN → 简体中文
23:19EN → 简体中文
17:31EN → 简体中文
17:31EN → 简体中文
14:00EN → 简体中文