30 秒看懂
Every 将主编的 3 万次修改变成了一项可复用的技能,同事可以在 Slack 中调用,主编后续的修改又会反馈到技能中。首席执行官 Dan Shipper 和平台负责人 Willie Williams 说,共享智能体让大家共同展示、改进工作流,而针对个人任务的测试比通用模型分数更有参考价值。该产品基于 Claude Managed Agents,使用隔离的记忆和会话控制访问权限。团队仍在开发方法,以证明智能体能随着时间推移更好地完成特定人员的工作。
- 1共享 Slack 智能体让工作流更容易传播Every 从难以维护的个人智能体转向公司共享的智能体。公开提出请求让同事能看到实用方法,而不只是听人介绍。
- 2编辑过去的 3 万次修改变成了可复用技能Shipper 说,任何人都能要求智能体在文档上进行一轮“Kate 式审校”。主编会审核建议,她后续的修改又会反馈到技能中。
- 3Every 用员工实际工作来测试模型团队收集喜欢和不喜欢的输出,并把原因转化成检查项,再根据个人偏好比较不同模型在同一真实场景中的表现。
- 4多人可以共同改进同一个智能体Williams 说,共享智能体能汇集同事的改进,而不是让每个人的成果留在各自的配置中。
- 5隔离的会话和记忆有助于执行访问边界Williams 说,团队控制每项请求关联的记忆、工具调用和环境。智能体在 Slack 中是独立实体,但检索外部资料时通常代表请求者行事。
- 6下一个衡量标准是智能体能否把你的工作做得更好Shipper 把通用基准比作考试分数:它是有用的信号,但不足以判断一位新员工。Every 正在开发方法,收集做得好和不好的实例,衡量随时间产生的改进。
- 7群聊中的智能体需要学会何时不说话团队正在探索共享同事如何联系不同讨论、理解社交语境,以及判断何时插话。
要点建议
- 将专家过去的工作转化为可复用的技能,再收集其修正来改进技能。
- 根据自己工作中的实例和明确偏好比较模型,而不只是看通用基准。
- 在团队现有聊天工具中使用共享智能体,可以让同事看到实用工作流。
- 隔离记忆和会话,并在智能体检索信息时应用请求者的访问权限。
- 把智能体何时发言、何时保持沉默等社交行为纳入产品设计。
按章节阅读整理后的全文
在工作流变化时用真实任务尝试 AI
Every 团队认为智能体可以扩展知识工作者的能力,但判断其工作质量比检查代码更难。团队用公司实际执行的任务开展实验。
Katelyn Lesse 问,随着 AI 改变工作方式,人们需要的工具正在发生什么变化。Every 的 Dan Shipper 说,团队选择用模型解决实际遇到的问题,而不是在恐惧与想象中的无需工作的未来之间二选一。他说,实际上,采用这些工具意味着在使用中重新设计工作流。
通用基准的进展可能看起来像是在衡量 AI 能否取代人。Shipper 认为,用得好的话,这些工具能扩展一个人的影响力和能力。他希望既能衡量这种能力的扩展,也能帮助人们学会如何做到。
编程领域走在前面,因为检查代码是否有效相对容易。Shipper 描述了一些工程师如何协调智能体团队,提前推进路线图上的工作。他预计类似变化会扩展到其他知识工作,但由于质量更难验证、工作方式也不那么熟悉,进展较慢。
共享智能体让 AI 工作流变得可见
Every 放弃了各自维护的智能体,转向 Slack 中的共享同事。它利用这个共享场所向全公司传播工作方法。
Every 是一家媒体和技术公司,提供新闻简报、课程和对新模型的实际评测。它的产品 Every Agent 是一位 AI 同事,旨在把团队的工作方式带给其他公司。
Shipper 说,团队最初采用个人 OpenClaw 智能体,但它们难以维护,最终逐渐消失。一个公司共享的智能体被证明更加有用:一个人发现的工作流可以传播给同事。即使是一家专注于新 AI 工具的公司,也发现很难让所有人的使用水平保持一致。
他提到“AI 布道者”:他们建立了一套很有价值的个人配置,却很难说服同事尝试。在 Slack 中,人们可以公开演示如何让智能体工作,而不必解释别人看不到的个人工作流。智能体可以处理收集报告或准备社交媒体帖子等重复任务,同事也能看到这些请求如何运作。
福利登记与编辑积累的判断标准
智能体帮助员工了解福利方案,也支持编辑审校。基于 3 万次历史修改的技能,让同事能够请求初步审校。
被要求举一个具体例子时,Shipper 选择了福利登记这项日常任务。员工通常需要研究一份列出各种方案的 PDF,计算哪一项适合自己。他说,公司智能体了解所有方案和每名员工的情况,帮助大家做出选择。共享智能体也让公司领导能够把相关技能分发给所有人。
Lesse 指出,共享流程让每个人不必分别把同一份文档粘贴到聊天机器人中。Shipper 说,公司为每个人准备指导意见,也让他对自己的选择更有信心;这些选项过去复杂到他常常需要向父亲求助。
Willie Williams 介绍了编辑团队的另一项重复工作:一款以 Every 主编 Kate 命名的工具 Kate Bench,帮助团队在发布前进行高级编辑审校。同事不必塞满 Kate 的收件箱,而是可以在 Slack 中标记智能体,请它审查。Kate 能看到结果,判断它是否完成了工作。
Shipper 说,Kate 加入时 Every 只有四个人;现在公司约有 30 人,发布的内容大约是过去的十倍。她仍需确保文字修改符合自己的标准。为了传播这项工作,他使用她过去的 3 万次修改,在 Every Agent 中创建了一项技能。
任何人都可以要求智能体对文章、落地页或邮件进行一轮“Kate 式审校”。智能体在 Google Docs 中提出修改建议,人们可以接受或拒绝。随后 Kate 会审查结果;Shipper 说,智能体能找出她会修改的大部分问题,有时还能发现她可能遗漏的内容,让她在每篇文章上花费更少时间。
团队会跟踪 Kate 在智能体审校之后补充了哪些修改,并把这些内容反馈到技能中。她可以看到节省时间的估计值,以及可能需要增加的新规则。Shipper 认为,目标是让专家传播自己的工作方式,而不必为每一项请求按比例增加投入时间。
根据个人工作衡量模型表现
Every 把喜欢和不喜欢的输出实例变成检查项,在同一场景中比较模型。共享智能体为团队提供了共同改进和分享技能的地方。
Lesse 问团队如何衡量和改进 Kate Bench 这样的工作。Shipper 说,重要的不是模型在通用基准上的得分,而是它在特定人员的工作中表现如何。Every 的人工“体验评测”会用自己的工作流测试新模型,并报告团队的偏好,但这些测试需要花费时间。
团队正在记录日常工作中遇到的实例,包括人们喜欢或不喜欢的输出,并讨论原因。其平台会把这些判断转化为检查项,例如标题是否只将句首单词首字母大写。随后在同一场景下运行不同模型,就能根据实际工作中重要的标准比较表现。
Every 最初尝试在 Telegram 和 Slack 等平台上为每个人提供一个智能体。Williams 说,团队后来转向一个共享智能体,因为个人做出的改进没有传播出去。当多人一起为同一个智能体投入更好的技能和指导时,效果最明显。
Slack 很自然地成为共享智能体的场所,因为同事本来就在这里交谈。使用各自的智能体时,协作讨论可能需要人们把消息复制到私人工具中,再把回答粘贴回来。共享对话则让人和智能体处于同一个地方。
托管基础设施、隔离和身份
Every 用 Claude Managed Agents 提供的沙箱、记忆和会话控制,把精力集中在产品实验上。团队介绍了如何隔离用户上下文并处理访问权限。
Lesse 问 Every 为什么基于 Claude Managed Agents 构建产品。Williams 说,第一次尝试让团队认识到基础设施很难:一边改进产品,一边维护可靠的智能体运行系统,很快就变得难以管理。Every 希望把精力放在未来工作方式上,而不是成为基础设施团队。
Williams 说,这项托管服务提供隔离的计算环境、记忆和会话控制,让团队有更多时间设计智能体交互。Shipper 回忆说,他起初以为可以直接让 Claude 运行服务器;尝试一个月后,他同意了 Williams 的看法:基础设施工作确实很难。
Williams 说,这些基础组件组合在一起也让实验更容易。团队可以把生产环境中的记忆和持久状态复制到单独的测试环境,尝试边缘情况,并研究如何降低 token 成本,而不影响主要产品。测试运行在与生产环境相同的底层基础设施上。
其中许多实验涉及对话中的判断。人们往往假设同事在模糊情况下会做出合理决定,但很难把这些期望写成指令。Every 结合正式评估和一个更主观的问题:这种互动是否让人感觉像在与真正的同事一起工作?
谈到安全问题时,Williams 提到了内置隔离。团队可以分隔沙箱、工具调用、环境和记忆,并通过会话管理决定谁能访问什么。这些控制让团队能够考虑:Shipper 发出的请求,是否应该与另一个人发出的同类请求获得相同信息。
Shipper 补充说,他认为模型与周围系统之间的关系越来越紧密。在他看来,如果模型配有一台它知道如何使用的计算机,表现就会更好。他说,一个新发布的模型需要调整提示方式,但在托管服务中切换只需更新一行;Lesse 说,服务会把这些调整纳入其中。
Lesse 问,智能体是像一个人那样行事、代表用户行事,还是代表自己行事。Williams 说,公司内部请求常有灰色地带,人可能认为某种访问无害,但很难把这种判断编码成规则。团队的目标是让互动尽可能接近与真人同事共事。
在 Slack 中,智能体以独立实体的身份参与对话。在互动背后,它有隔离的记忆,也了解请求者及其在公司的访问权限。当它通过连接的工具获取文档或查询信息时,通常代表请求者行事。Williams 说,用户认为这个边界符合直觉。
打造能从经验中改进的智能体
团队希望收集修正并衡量智能体学习个人偏好的效果。提出的个人基准和技能优化功能仍在开发中。
为了让智能体随时间改进,Williams 关注人们工作时给出的细小修正:一句话写得不好,甚至一个笑话不好笑。他说,一个人的偏好可能很难一次说清,但大量实例可以显示出来。这些例子可以成为编辑、演示文稿或邮件技能的基础。
Shipper 将评估智能体比作招聘。标准化考试分数可以是有用的初步信号,但如果候选人分数都很高,雇主仍然需要背景推荐和工作试做。智能体第一天上班时可能训练充分、能力很强,却还不知道某家公司如何工作。
Every 希望收集工作中好的和不好的实例,提炼用户偏好,并衡量智能体是否随着经验积累而改进。Shipper 说,这种能力不会在智能体上线第一天就具备,而是团队希望实现的方向。人们可以不再手动重复每项任务,而是改进系统并观察其进步。
谈到下一步产品构想,Shipper 描述了个人基准:记录某人认为什么是好的回答,据此比较模型,并改进适用于其工作的技能。他也希望这些技能能在组织中传播,让其他人受益于专家的方法,而不必占用专家更多时间。
Williams 介绍了一项名为 Hands 的实验:它是运行在他桌面上的计算机操作智能体,Every Agent 可以让它操作电脑。团队认为,它与 Claude Code 或 Cowork 等个人工具相辅相成:人们有时希望公开协作,有时则希望把工作转移到私人会话中。
设计有社交能力的同事和未来工作流
群聊中的智能体需要规范,决定何时发言以及如何联系不同讨论。两位嘉宾预计,知识工作者将越来越多地塑造和监督系统,而非执行每一个步骤。
当智能体加入同事之间的交流时,上下文管理就变得不同。Williams 问,智能体是否参与过某次对话,是否应当把不同线程中的想法联系起来,以及它是否知道何时适合介入。他认为,交互和个性设计是让群组智能体发挥作用的重要部分。
Shipper 指出,一对一助手通常需要回答每条提示,而社交场景中可能有多人和其他智能体。它需要判断何时发言、何时保持沉默的规范。Every 也希望产品体现公司的工作方式,让使用者感觉像是在与 Every 的同事共事。
展望未来,Shipper 预计知识工作者会管理由智能体完成工作的循环,就像一些开发者已经在协调编码智能体一样。他将希望实现的特性称为“忠实度”:智能体应当反映一个人的意图和重视的事,而不要求这个人参与每一步。通用基准很难衡量这种个人契合度。
他说,在那样的未来,人们将像管理者一样,在特定时刻介入并改进系统,而不是完成每一项工作。其他同事或客户也可以使用专家的方法,而不占用专家更多时间。他将这描述为未来一年的发展方向,而非已经实现的能力。
平台和智能体还需要什么
团队希望获得易于理解的回答、更快的速度、成本控制和可配置的个性。最后他们举例说明智能体如何记住小小的人情,以及共享公告的写作风格。
被问及 Every 需要 Anthropic 提供什么时,Shipper 说,更强的模型智能很有价值,但知识工作者也需要自己能理解、符合自身知识水平的回答。Williams 补充了速度和成本,以及一种既能保持智能体个性一致、又能让客户配置个性的方法,例如更果断或更耐心。
Shipper 根据 Every 的经验认为,公司使用智能体越多,发现需要做的工作也越多。他预计,不同公司和经济领域受到的影响会有所不同,但自动化改变了人们在系统中的工作位置,而不一定让工作消失。
Williams 举了一个轻松的例子:Every 的首席执行官会让智能体记住自己何时欠了别人一杯啤酒;智能体偶尔会在相关对话中提起这笔“债”。Shipper 说,一位名叫 Andrey 的同事会写幽默而语气强烈的公司公告,于是他制作了一项技能,让智能体用这种风格起草公告。同事们现在也用它写自己的公告。
同频道的其他文章
16:17EN → 简体中文
10:38EN → 简体中文
12:19EN → 简体中文
17:50EN → 简体中文
34:42EN → 简体中文
22:23EN → 简体中文