30 秒看懂
Claire Vo 用九项个人任务测试 Grok Bot、Dot、Muse 和 Claude Duet。不同的操作者代理、连接器与既有上下文限制了直接比较;排名反映她本人非盲评的判断,分数计算方式也不清楚。
- 1九项个人任务任务反映的是一位用户的工作和家庭流程。
- 2不一致的配置不同操作者、连接和记忆限制了直接比较。
- 3一次错误修复编程结果针对单个问题,评价也仅限于此次运行。
- 4个人内容产物设计和呈现偏好影响了评测者的排名。
- 5不透明的评分最终百分比缺少清晰计算方式,并非通用准确率。
要点建议
- 任务反映的是一位用户的工作和家庭流程。
- 不同操作者、连接和记忆限制了直接比较。
- 编程结果针对单个问题,评价也仅限于此次运行。
- 设计和呈现偏好影响了评测者的排名。
- 最终百分比缺少清晰计算方式,并非通用准确率。
按章节阅读整理后的全文
测试设置
Vo 介绍九项任务和设置的局限。
Claire Vo 在 2026 年 10 月用九项任务比较四个个人助手:Grok Bot、Dot、Muse 和 Claude Duet。这是她个人的探索性测试,不是标准化或独立复现的基准。
她询问助手常见任务,选择了重叠的用例。提示词简短,采用她平时的表达,涵盖工作、创意制作和家庭需求。
一个操作者代理通过电脑操作控制每个助手。Claude 操作 Dot,Codex 操作其他三个;自动化出错或需要推动时 Vo 也会介入。操作者不同是一个重要混杂因素。
Vo 尝试统一可用连接和技能,但忘记把 Muse 连接到一些业务工具。助手也有不同的历史和记忆,她评分时知道输出来自哪个系统。
九项任务包括 Slack 回复、短视频剪辑、修复 Sentry 错误、Figma 缩略图、收件箱待办整理、家庭报纸、儿童物理问题、买鞋和产品发布视频。
Vo 报告说,在她的配置中 Dot 和 Grok 完成了九项任务,而 Muse 和 Duet 各完成七项。Muse 缺少一些连接,Vo 也说自动化本身有时需要帮助;完成数量应结合这些背景理解。
她报告说 Muse 在多项任务中最快,Duet 常常较慢,各工具请求许可的次数也不同。速度和是否请求批准与正确性、适当性是不同的衡量维度。
工作与创意任务
回复、视频、编程、缩略图和收件箱整理各有不同结果。
在 Slack 回复任务中,Muse 没有访问权限。Vo 说可用草稿总体可用;她更喜欢 Dot 提到报酬和远程参加,因为这些符合她的个人偏好。
在短视频任务中,Duet 在这次运行中没有完成要求的下载和剪辑。Vo 更喜欢 Muse 的剪辑与布局,将 Dot 排在其次,不喜欢 Grok 叠加元素的部分效果。视觉排名带有主观性。
在 Sentry 错误修复任务中,Muse 没有 GitHub 连接。Vo 说 Dot 最接近预期修复,Duet 还发现另一个错误;她批评 Grok 的修复放松了校验。这是对单个问题的评价,不是通用编程基准。
在 Figma 缩略图任务中,她不喜欢 Muse 的设计,认为 Dot 和 Duet 可用但较保守,更喜欢 Grok 的新想法。结果取决于她的模板、素材和审美偏好。
有相应访问权限的工具都找到了收件箱任务,但 Vo 更喜欢 Grok 的文档格式。Muse 只能看到她的 Gmail;她觉得 Dot 的简短消息在这个工作流中不够有用。
个人任务
助手处理家庭报纸、作业和购物。
对于家庭报纸,Vo 喜欢 Muse 的视觉呈现和 Grok 的组织方式。她说 Duet 只能访问工作日历并生成了提纲,而 Dot 的布局不符合她的喜好。访问权限不同会影响比较。
据 Vo 说,四者都正确回答了选取的速度—时间作业问题。她因为 Muse 响应快而更喜欢它;一个练习不能衡量整体教学可靠性。
买鞋任务中,她更喜欢 Grok 的比较,认为稍加引导的 Muse 也接近可用。Duet 遇到网站阻拦并弄错了要求的颜色;她认为 Dot 搜索不完整。
发布视频与排名
评测者为输出评分并讨论个人偏好。
在产品发布视频任务中,Duet 制作了 Vo 最喜欢的版本。Grok 更多遵循既定风格,但布局溢出;Muse 缺少代码库访问权限并编造了细节,说明输出中的说法需要核对。
Vo 把自己的口头评价输入 Claude 生成最终排名,Grok 第一、Muse 随后。她说自己并不清楚展示的百分比如何计算;这些数字不应被当作可复现的准确率。
她的实际建议是按任务选择工具,并检查连接器、速度、输出呈现和审批行为。在这套配置中,她个人偏好用 Grok 处理若干工作任务,用 Muse 处理家庭任务。
在编程方面,Vo 说 Dot 和 Duet 在她的测试中结果最好,但她通常会直接使用底层编程工具。所有结论都局限于这里使用的提示词、访问权限、操作者和评价方式。
同频道的其他文章
29:40EN → 简体中文
16:22EN → 简体中文
36:33EN → 简体中文
24:05EN → 简体中文
37:47EN → 简体中文
35:41EN → 简体中文