Claire Vo 的 AI 模型产品工作盲测

Claire Vo 在 Anthropic 和 OpenAI 发布新模型后，现场盲评多个 AI 模型。测试反映她自己的产品、写作和创意工作流，并非适用于所有用户的全面基准。

她此前的评估主要关注产品需求文档和原型。这次她加入个人效率、长时间运行的智能体、计算机操作、插画和视频剪辑，并在不知道模型名称的情况下给输出评分。

Vo 将模型成本和提示缓存作为实际考量。价格与模型可用性会变化，而任务成本取决于使用方式和缓存，并非只由单个 token 单价决定。

她评论自己试用模型时感受到的保护措施与性格差异。这些印象取决于她的提示与配置，并不证明任何系统能免受提示注入或其他故障。

Vo 说自己偏好某些智能体语气和写作风格。她希望盲评能挑战这些假设，同时承认评分有意依据她自己的品味。

她还比较感受到的速度，并指出推理强度和智能体汇报工作进展的多少都会影响体验。她的观察并非受控延迟基准。

在测试中，她给模型同类任务、隐藏身份，并按一到五分评分。部分技术和计算机操作任务交由另一个模型评估。

查看结果前，她先说出预期，并承认自己偏好部分 OpenAI 模型。先记录预测，有助于看清揭晓结果时哪些地方让她意外。

在邮件和个人效率任务中，她重视简洁、易读且符合自己语气的消息。她会因冗长和过度使用破折号等重复风格而扣分。

对于前端原型，她查看事件管理等界面。评分考虑信息是否易懂、设计是否支持用户的实际任务，而不仅是页面是否精致。

一个信息密集的集装箱运输界面体现了权衡：仪表盘可以包含许多元素，却难以看出重点。不同用户和工作流可能偏好不同的信息密度。

Vo 快速审阅多个消费端和企业端原型，对清晰或有特色的布局给予好评，并批评重复装饰。这些都是现场作出的主观判断。

在植物护理应用的例子中，她喜欢能让“标记已浇水”等操作容易找到的设计。她也会指出视觉上吸引人的原型何时尚未完成。

她注意到模型反复选择相似颜色与产品名称，因此会给跳出模式的输出加分。多样性对她有价值，但它与正确性和可用性是不同维度。

对于后端任务，她更依赖大模型评审检查正确性。这类评审有助于扩大审查范围，但其判断仍需验证，也不能替代运行适当测试。

她比较智能体撰写技术说明和与用户互动的方式。即使底层任务相似，详细程度和边界不同也会影响她的偏好。

长时间运行的任务生成了识别问题和冲突的备忘录。Vo 快速浏览结果，并把部分评估交给模型评审，因此她的现场反应和自动分数衡量的是不同事情。

对于 SVG 角色插画，她在不知道来源的情况下比较视觉细节并排名。后来揭晓的结果改变了她对喜欢的作品来自哪家供应商的部分预期。

她还让模型将自拍视频剪成短片，并对剪辑结果感到失望。她认为可用技能和工作流设置可能是原因之一，因此不能把结果完全归因于模型权重。

她的“Barbie Bench”要求制作三维时装游戏。她看到与早期尝试相比有明显进步，但仍发现角色身体结构与动作存在明显问题。

揭晓身份后，Vo 报告 Astra 经常符合她的偏好，而 Opus 5.5 在部分长任务和企业界面任务上表现良好。这些排名描述的是她的任务集和评分，而非普遍顺序。

她说 Sol 经常写出清晰直接的文字，而部分 Opus 输出比她希望的更长。她对 SVG 结果的看法也与揭晓前的预测不同。

大模型评审对部分输出的排序与 Vo 不同。她认为这种分歧提醒人们，自动评分器有自己的标准，可能奖励与用户重视内容不同的特征。

她的结论是按任务和个人工作流选择模型，并运行有代表性的测试。本期节目反映 2026 年 9 月的情况；模型行为、工具和价格都可能变化。