Linear 如何为真实产品工作构建 AI 智能体

Linear 的 Nan Yu 和工程师 Jacob Shumway 与 Peter Yang 讨论如何构建生产环境中的 AI 智能体。他们的案例涵盖原型、动态技能、评估以及智能体进入现有工作流的位置。本期由 Oceans 赞助。

Shumway 将智能体描述为循环运行的模型：它围绕目标工作、调用工具、获取上下文，最终返回结果。Yu 补充，智能体产品不只有循环，还包括界面、定时任务和其他相互配合的子系统。

Yu 展示了一份 2025 年的早期备忘录，内容是自动化常规项目管理工作。团队后来将目标扩展到互动和创作任务。早期原型直接从前端调用模型，并把现有命令菜单操作作为工具；根据笔记创建问题成为一个特别有用的起点。

第一个生产版本低调接入了 Linear 现有的 Slack 集成。人们发现可以在对话中提及智能体，让它根据周围讨论采取行动。团队从这些意料之外的用法中学习，而不是预先假定所有用例。

Shumway 表示，一次性给智能体所有可能操作或完整 GraphQL 架构，会带来上下文和幻觉问题。团队转向按需加载技能：根据请求引入相应指令和工具，其中包括撰写问题和确定优先级的产品指导。

在一次演示中，Slack 讨论生成一个问题，随后产生一个拉取请求。智能体把工作委派给自己，但问题仍分配给某个人，并在待办列表中追踪。嘉宾将这个结果描述为供人检查的起点，而不是保证生成的更改正确。

早期使用主要集中在创建问题，因此团队使用一个小型路由器，为常见任务设置优化路径。Shumway 表示，团队通常先用强模型确认流程有效，建立评估并定义成功标准，再考虑更小的模型以降低成本，同时检查质量。

评估数据集来自真实使用和意料之外的行为。确定性测试检查用户指定状态等具体要求；语言模型评判器可以评估标题选择等更主观的问题。Shumway 表示，由于评判器本身也需要检查，他们较少使用它们；不必要的一致性检查也可能产生误导信号。

团队还测试交互质量：智能体是否识别了真正的请求，或者行动过于积极？有关不自然行为的反馈会变成新的评估案例。Shumway 建议给出明确目标和获取相关指导的工具，而不是在每个提示中塞入可能分散注意力的指令。

当智能体缺少完成请求所需的工具时，它可以报告这一缺口。团队将报告关联到已有问题，或者创建新问题。嘉宾还表示，用户发现了一些意料之外的用法，包括提交问题前翻译客户反馈。

Yu 表示，原生智能体让 Linear 能在更广泛的工作流中贯彻自己的产品管理理念，而外部智能体也可以连接单个工具。他建议构建者梳理用户真实的多步骤流程，寻找 Slack 讨论和会议复盘等入口，而不是假设聊天框就是整个产品。

谈到发布时，Shumway 表示团队选择在智能体足够好、可以从更多用户那里学习时推出。Yu 将产品标准描述为：主动推广的核心用例要可靠，同时承认不常见任务的可靠性可能不同。

嘉宾将主动行为和较长时间的项目记忆列为正在努力的方向。这些是访谈中讨论的计划，并非对当前功能的保证。贯穿全篇的经验是：从有用的工作流出发，观察真实使用，再通过有针对性的上下文和反馈改进智能体。