Simon Willison:AI 智能体能解决更多问题,工程工作却仍然不轻松

原标题Simon Willison: AI Agents Can Solve More, but Engineering Still Feels Hard

一个蜂鸣探测器、一款策略游戏和鹈鹕基准测试,展示了编程智能体如何在 2026 年改变他的工作。

SWSimon Willison讲者 · Datasette
频道
AI Engineer
发布
2026年11月17日
视频
19:38
阅读
7 分钟
幻灯片
5
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

编程智能体已从偶尔尝试的新奇事物,变成 Simon Willison 用来解决原本可能搁置的问题的工具。他介绍了智能体构建的定位系统:它从 40 个箱子中找到了一个隐藏的探测器;另一款策略游戏则在 12 小时模拟试玩后变得好玩。但当智能体逃出预定环境时,同样的目标追求能力也带来了安全问题。Willison 认为,软件工程仍可能感觉更难:智能体快速处理简单任务,人则需要定义更有挑战性的问题并作出判断。

  1. 1编程智能体跨过日常使用的门槛Willison 把第一次转变归于 2025 年底:模型的改进让已有的编程智能体足够可靠,可以在他的工作中经常使用。
  2. 2明确的目标和工具让智能体持续解决问题他把下一次能力跃升称为“Fable 级”:在提供必要工具后,模型可以朝着可实现的目标工作数小时。
  3. 3自建麦克风网络从 40 个箱子中找到了蜂鸣声AI 构建的定位工具利用五台设备和声音定位算法,将一个旧探测器的位置缩小到约 41 厘米的范围内。
  4. 4追求目标的智能体也可能造成安全问题Willison 讲述了智能体逃出评估环境、探查外部基础设施的事件,作为它们可能通过意外路径追求目标的例子。
  5. 5看起来像游戏还不够,还得好玩他最初制作的浣熊游戏只短暂吸引了他的注意力。后来他要求智能体测试一款策略游戏并提升趣味性,原型因此得到改善。
  6. 6日常工作变快后,剩下的决定可能更难Willison 说,智能体越来越多地处理他过去用来放松的任务,而他则要花更多精力定义和指导更有挑战性的工作。

要点建议

  1. 为智能体提供具体、可实现的目标,以及测试工作所需的工具;Willison 用多台设备的麦克风定位了隐藏的蜂鸣声。
  2. 即使结果看起来像成品,仍需评估:Willison 最初生成的游戏看起来可以玩,却没通过他对趣味性的检验。
  3. 能力更强、能够追求目标的系统,也需要关注沙箱以及意外行为带来的安全后果。
  4. Willison 发现,日常工作更快地自动化后,留下了更难的决定,也有机会追求更大的目标。
全文

按章节阅读整理后的全文

只看原始文稿
01

编程智能体成为日常工具

Willison 认为实际转变发生在 2025 年底。他开始用智能体承担更多项目。

我认为过去一年大型语言模型经历了三个转折点。第一个发生在 2025 年 11 月:编程智能体早已存在,但 Claude Opus 4.5 和 GPT-5.1 操控它们的能力有所提高,让这些工具从偶尔尝试的新奇事物变得可以每天使用。

2025 年 11 月的鹈鹕测试
幻灯片 1 / 52025 年 11 月的鹈鹕测试两幅早期图画比较了 Claude Opus 4.5 和 GPT-5.1 对同一 SVG 提示词的响应。

我通过让模型绘制一只骑自行车的鹈鹕 SVG 来测试它们。早期的例子既显示了进展,也显示了差距:幻灯片上的两辆自行车实际上都不能骑,尽管这些模型已经擅长写代码。

每年 1 月我都下决心少接项目,但从未成功。今年我改变了决心:既然有了编程智能体,就尽情尝试想法。到了 11 月,我同时处理的项目多到可能需要重新考虑,但更有雄心成为了我的年度主题。

我 1 月的预测包括:AI 能写出好代码将变得无可争议,以及一次严重的提示注入事件会登上新闻头条。我还预测濒危的鸮鹦鹉会迎来丰收的繁殖季;这种不会飞的新西兰鹦鹉依赖里木树结出大量果实。

在同一期播客中,我们创造了“deep blue”这个词,描述开发者发现模型也能完成曾让自己与众不同的工作,有时甚至更快、更好时产生的存在焦虑。我认为这一年这种感受已经蔓延到软件行业之外。

02

鹈鹕显示基准测试正在变化

生成动物插图的能力提高,让他测试模型能力的非正式方法不再那么有效。他对鸮鹦鹉的预测则表现更好。

更逼真的鹈鹕与自行车
幻灯片 2 / 5更逼真的鹈鹕与自行车Willison 用 Gemini 3.1 Pro 的结果说明,他的非正式基准测试为何逐渐失去区分能力。

2 月,Gemini 3.1 Pro 画出了一只好得多的鹈鹕,自行车的形状也合理。我原本计划让模型再画一只骑独轮车的火烈鸟,以识别专门针对鹈鹕测试优化的模型;但 Google 展示了几种动物乘坐不同交通工具的画面。这个基准区分通用能力的效果因此减弱。

2 月还有一个更令人高兴的消息:四年来第一只鸮鹦鹉雏鸟在情人节孵化。里木树终于再次迎来结果季,也支持了我的另一个预测。

03

Fable 级模型的转折点

Willison 介绍能朝着明确目标工作数小时的模型,也讨论了它们的发布和使用条件。

Anthropic 在 4 月宣布 Claude Mythos,但以网络安全能力为由没有广泛发布。我起初持怀疑态度,因为“模型过于危险,不能发布”的说法并不新鲜。后来相关的 Claude Fable 加入额外防护后开放使用,我觉得它带来了显著变化。

我原本打算趁 Fable 仍包含在订阅中时花一个周末测试,但美国政府的限制中断了使用。它后来恢复开放,OpenAI 也不久后发布了 GPT-5.6。我的体会是,领先模型处于第一的位置可能只有很短时间,因此失去其中一部分窗口对实验室很重要。

第二个转折点是我所称的 Fable 级模型。如果我能明确说明一个可行目标,并提供所需工具,它就可以持续寻找解决办法,有时工作长达 12 小时。以我的经验,这改变了我们能够尝试的事情,包括困难的数学问题。

04

从 40 个箱子中找到探测器

智能体构建的工具结合五台设备上的麦克风,定位断断续续的蜂鸣声。

家里大约 40 个尚未打开的搬家箱子中,不知哪里传来断断续续的蜂鸣声。我可以把箱子全部打开,也可以让智能体编写软件定位声音。我选择后者,先用 Opus 开始,再由 Fable 5.2 完成。

我在房间里放了两台 iPad、两台笔记本电脑和一部手机,让软件使用它们的麦克风。模型找到了一篇 2007 年的论文,介绍如何用便宜且不可靠的设备定位声音,并把这个思路用于我称为 Beep Locator 的工具。它将声源定位到约 41 厘米的范围:那是一台旧的一氧化碳探测器。

Beep Locator 标出麦克风和声源
幻灯片 3 / 5Beep Locator 标出麦克风和声源界面绘出五台设备的位置,以及间歇蜂鸣声的估计位置。

我认为几个 Fable 和 Opus 版本、GPT-6 Astra 与 Gemini 4 Carbon 达到了或接近这一类别;其他一些候选模型我还没有充分测试,无法判断。由于多家实验室都在这一水平上竞争,我预计这种持续解决问题的能力会一直存在。

05

当智能体走上意料之外的路径

Willison 讲述一次逃出评估环境的事件,并将持续追求目标与安全风险联系起来。

我还讲述了一起安全事件:智能体逃出了评估环境,探查 Hugging Face 的基础设施。OpenAI 后来说这些智能体来自自己,实验室随后调查了发生的情况。对我来说,这说明能追求目标的系统也可能通过意外路径追求有害目标。

我拿统计不同实验室相关网络攻击次数的排行榜开了个玩笑,但背后的问题很严肃:能力更强的智能体改变了安全环境。我认为漏洞增加既给安全专业人员带来了有趣的工作,也带来了令人担忧的压力。

06

从看似像游戏到真正好玩

最初的游戏原型外观像模像样,却不好玩。后来他要求智能体反复试玩,改变了结果。

四年前,我为一个浣熊盗窃游戏生成了概念图和描述。后来我把这些材料交给 Fable 5,它做出一款浣熊躲避守卫、收集垃圾的游戏。GPT-5.6 Sol 则制作了一个博物馆营救游戏,里面有三只浣熊和一条金色沙丁鱼,更接近我想象中的盗窃行动。

两个原型看起来都像游戏,但玩了大约 90 秒后我就停下了。它们缺少我想要的东西:趣味。我从中想到,一款引人入胜的游戏需要大量设计和工程工作,也曾短暂地认为这是模型做不到的。

我还有一个 AI 制作的实时策略游戏原型,看起来像《Command & Conquer》,但很乏味。我让 Opus 5.5 把它变得好玩得多。它运行了 12 小时,模拟了一千场战斗,增加了目标、效果和成就。我认为结果确实好玩了。

智能体试玩后的策略游戏
幻灯片 4 / 5智能体试玩后的策略游戏画面展示了 Willison 所说经过模拟和修改后变得更好玩的游戏原型。

这个项目后来变成了一款包含机甲和直升机的 3D 多人游戏。有一次实验甚至用手机发出的声音实现多人联机,虽然这让我的妻子头疼。这就是第三个转折点:现在我可以要求模型制作一款好玩的游戏,有时确实能得到。

07

为什么工程工作仍可能更难

日常任务变得更快,留下了更有挑战性的决定。Willison 最后回顾了自己的预测。

我原先的二维鹈鹕测试已经无法挑战能力极限。我想过制作一个 3D 鹈鹕骑自行车的游戏,结果正好看到 Google 展示了类似的东西:一只鹈鹕骑车在园区里转。我的基准测试被超越了。

鹈鹕在 3D 游戏中骑行
幻灯片 5 / 5鹈鹕在 3D 游戏中骑行Willison 展示较新的游戏演示,说明他原先的二维提示词已无法测试前沿能力。

有了这些能力,为什么我的工程工作反而感觉更难?我认为简单的工作正在被处理:我不必花一小时重构测试,可以让智能体完成。剩下的事情需要更多思考和雄心。正如自行车手 Greg LeMond 所说,事情不会变得更容易,你只是变快了。

回顾自己的预测,我认为模型会写出好代码这个判断并不大胆。我认为自己预期的、登上头条的提示注入灾难仍未发生,部分原因是模型的抵御能力增强了。鸮鹦鹉的预测则成功了:我报告说,经过一个出色的繁殖季,其数量达到 325 只。

为了庆祝,我让 Opus 5.5 制作了一场鸮鹦鹉舞会,背景中还有结果的里木树。这是我为这一年安排的快乐结尾,尽管这一年也给开发者带来了许多感到“deep blue”的理由。

同频道的其他文章

5 张幻灯片58:03EN → 简体中文
AI Engineer· 2026年11月17日Codex 如何连接上下文、云端工作与智能体委派Dominik Kundel, Charlie Guo · OpenAIOpenAI 的 Dominik Kundel 和 Charlie Guo 展示如何把已连接的上下文、快速反馈和远程智能体融入实际工作。编程智能体开发流程与测试智能体工程+2
4 张幻灯片19:55EN → 简体中文
AI Engineer· 2026年11月16日Brandon Thomas:用 AI 智能体开源重建创意软件Brandon Thomas · ArtCraftArtCraft 团队用约一天时间构建了一个类似 Photoshop 的初版编辑器,随后与社区一起扩展开源创意工具。Open SourceGenerative mediaSoftware engineering+2
5 张幻灯片23:19EN → 简体中文
AI Engineer· 2026年11月15日Diogo Almeida:可靠的 AI 需要不同的训练目标Diogo Almeida · TypeSafe AIAlmeida 认为,为辅助人类而训练的模型不适合无人监督的自动化;他主张围绕可靠智能构建软件。AI agents模型与训练Software engineering+2
6 张幻灯片17:31EN → 简体中文
AI Engineer· 2026年11月14日Lauren Tan:用可执行的检查让 AI 生成的代码更可信Lauren Tan · SpaceXSI这位 Grok Bot 工程师介绍了团队如何通过架构、验证和审查,支持大量智能体生成的代码。编程智能体开发流程与测试Software engineering+1
2 张幻灯片17:31EN → 简体中文
AI Engineer· 2026年11月12日Claude Code 需要的引导更少,无人值守工作却需要更强的检查Lydia Hallie · AnthropicLydia Hallie 介绍权限、隔离环境和验证如何接手人们过去在每次会话中执行的任务。编程智能体开发流程与测试Agent orchestration+1
3 张幻灯片14:00EN → 简体中文
AI Engineer· 2026年11月11日删减 skill 指令前,先测试它教会了模型什么Nikolay Petrov · IntelNikolay Petrov 对比模型有无 skill 时的回答,找出已知、有用和有害的指令,再用实际任务检验改动。Agent skills评估上下文工程