30 秒看懂
Ode 工程师 Hugh Wimberly 说,企业不能只靠给员工发放 AI 工具来改造工作流:完成工作所需的许多知识是隐性的。他会观察专家工作,追问他们不会主动讲出的决定,再利用人工纠正来改进系统。Anthropic 的 Jeremy Hadfield 说,成熟的部署要同时衡量价值和错误,并设置安全边界及新模型测试。两人还提到一个意外收获:为资深员工设计的助手,成了新员工入职培训的有效工具。
- 1从瓶颈入手,再重新审视整个流程Hadfield 关注人们把时间花在哪里,以及智能体能否验证自身工作。Wimberly 也寻找企业尚未识别的问题,而不只是加快现有流程。
- 2专家可能不知道自己遗漏了哪些知识Wimberly 说,人们解释工作时可能漏掉许多指导自己决策的因素。他的团队观察实际工作,询问每个选择的原因,包括为什么忽略某份文件。
- 3利用旁路观察和人工纠正学习工作流Wimberly 描述了从观察工作的系统开始,再转向预先完成工作并交给人审批。审查交互和纠正记录有助于发现意料之外的模式。
- 4成熟用例要衡量价值、质量和安全边界Hadfield 建议用评估来比较模型,检查表现是否稳定并设置安全边界。他以代码审查成本、缺陷和漏洞数量作为结果指标的例子。
- 5罕见错误的代价可能超过人力成本Wimberly 提到一个拟议中的合规工作流:客户估计单次错误的损失中位数为 70 万美元,尾部风险为 1 亿美元,因此主要目标是减少错误。
- 6为专家设计的助手成了入职培训工具在一家公司,装载专家知识的系统帮助新员工学习原本通过三个月学徒期教授的工作;资深员工看到他们的进步后也开始采用。
- 7早期使用者的展示比单纯下令更能传达更大的可能性Hadfield 说,一小群人先实验并展示具体例子,可以推动更多人使用。两位嘉宾都强调,要让同事在熟悉的工作中看到实际收益。
要点建议
- 观察专家如何工作,追问具体选择背后的原因;他们的口头描述可能遗漏重要背景。
- 先让系统旁路观察或由人审批,再利用纠正记录改进系统。
- 根据任务选择结果指标:在高风险工作流中,错误率可能比节省的人力更重要。
- 让早期使用者向同事展示具体而有野心的应用。
- 留意助手的意外用途,包括培训缺少专家背景的新员工。
按章节阅读整理后的全文
找到业务瓶颈并重新考虑工作流
Hadfield 从客户的用例、限制和验证入手。Wimberly 则寻找超越加快现有工作的机会。
Willie Williams 问,一家成熟企业的 AI 转型是什么样子。Ode 工程师 Hugh Wimberly 说,他的团队直接与客户合作,设计并部署旨在影响业务结果的系统,既可能提高现有工作的效率,也可能催生新产品。
Anthropic 研究产品经理 Jeremy Hadfield 此前直接与客户开展应用 AI 工作。现在他与研究人员合作训练和发布模型,主要关注软件工程,同时也观察其他行业的应用。
Hadfield 首先会问客户想完成什么、工作瓶颈在哪里。对于软件团队,这可能意味着检查开发生命周期,找出耗费时间却回报不高的环节,再看能否通过验证循环帮助智能体检查自己编写的代码。
他还会问,企业能否彻底重新设计流程。他以 Shopify 为例,说明 AI 如何改变谁能构建产品,以及工程师的工作方式。他的团队每隔几个月就会回访,评估价值,并找出模型能力仍限制用例的地方。
Wimberly 说,最有价值的问题有时是客户尚未意识到的问题。客户提出的想法可能很好,但经过数月探索,团队可能发现不同的机会。Hadfield 也认为,客户最初的需求可能低估了重新设计流程所能实现的效果。
Hadfield 认为,长期以来不要重写生产系统的忠告值得重新考虑。他说,智能体大约用一周将 Bun 代码库重写为 Rust,随后又花了几周验证;他还说,Anthropic 的一组不懂 Rust 的工程师也用 Rust 重写了自有 API。
他的重点不只是把 AI 插入现有步骤。在能够验证结果的情况下,他希望企业考虑把整个流程或系统委派给 AI,而不是假设人必须监督每一个动作。
被问到失败的原因时,Wimberly 指向变革管理,以及让工具适合使用者的困难。覆盖大量测试的代码库是相对明确的重写目标,因为预期行为已有规定;而人类工作流程通常没有这样清楚的定义。
挖掘人们没有说出的专业知识
观察专家并追问具体决策,可以揭示隐性知识。系统随后可以先观察或提出建议,再承担更多责任。
请一位专家解释自己的工作,对方可能给出很长的清单,却仍漏掉许多指导决策的隐性知识。专家本人甚至未必意识到这些未说出的因素。Wimberly 说,提取这些知识是交付工作的重要部分。
他的实际方法类似用户研究:坐在工作人员旁边,让对方按现有流程操作,并询问具体选择的原因。例如,员工忽略了一份文件,背后可能有充分理由,但一般性的流程访谈未必会提到。
Williams 问,AI 自己能否帮助发现这些知识。Wimberly 说,团队会先把知识融入人们使用的产品。系统可以先以旁路模式跟踪工作,然后预先完成工作、交给人审批,即使最终目标是更大程度的自动化。
团队可以记录交互并留意人工纠正。Wimberly 建议让模型检查执行记录,寻找此前没有人想到要定义的模式,而不是只依赖传统监控来寻找已知信号。
衡量质量、结果和风险
成熟的部署需要评估和安全边界,但正确指标取决于任务。一次罕见的高成本错误可能比节省人力更重要。
团队如何知道能否信任结果?Hadfield 说,这项工作不会彻底结束,但成熟用例应有评估方法来衡量表现、比较新模型,也应能衡量交付的价值。
成熟系统还要把人工流程中的知识整理成模型可以使用的上下文,反复测试并持续检查结果。Hadfield 建议同时跟踪每次代码审查的成本、审查质量,以及缺陷或漏洞数量。
他举例说,一家政府机构过去需要承包商花数月、数百万美元完成合规流程,使用 Claude 后约一周便完成。该机构也有办法测试新模型是否能够胜任这项工作。
Hadfield 说,除了证明价值,企业还需要安全与安保控制。团队应测试智能体是否遵守公司政策、是否留在预期边界内,再判断生产部署是否成功。
Wimberly 区分了持续演进的协作式转型,和旨在把人工投入降至零的工作流。对于后者,他说完成标准可以是达到或超过团队过去的成果;之后降低推理成本可能不如消除高得多的人工成本重要。
他描述了一个拟议中的项目:在法律风险较高的合规领域,节省人力并非主要目标。客户估计,每次错误的损失中位数为 70 万美元,尾部风险为 1 亿美元,因此即便错误率从 0.03% 降到 0.01%,仍有理由继续改进。
入职培训和新市场可能带来意外价值
成本更低的工作流可能让企业服务更多客户。最初为专家构建的工具也可能帮助新员工更快学习。
被问到如何将转型与增长联系起来时,Wimberly 说,他的团队有时工作数月后才发现更有价值的效果。旨在解决某个问题的系统可能顺带解决另一个问题。他不愿声称总能在项目开始时就预测最有价值的结果。
Hadfield 说,当输出没有简单的正确性检验方法时,衡量尤其困难。人工抽查和模型评分器可以帮助评估定性改进,但他认为,行业衡量 AI 投资回报的方法仍不成熟,尤其是在难以量化的工作中。
Wimberly 说,成本降低的流程还可能扩大企业能够服务的市场。以前由于成本过高,只能为最高价值客户提供的服务,可能变得适合更广泛的客户,从而带来超出最初节省时间设想的收入影响。
两个项目出现了意外结果:团队向系统注入专家知识,原本希望增强或替代现有工作流,但习惯原有做法的专家起初并没有很快采用。更大的影响出现在新员工开始使用它学习之后。
在其中一家公司,培训原本需要三个月的学徒期。Wimberly 说,新员工可以向吸收了专业知识的助手提问,学习更快,也更习惯与它紧密协作。资深员工看到新同事超越自己之后,才开始采用这个工具。
Hadfield 说,客户也发现了一些连模型提供商都没有预料到、很有野心的用途。他提到,一些客户在 Anthropic 充分认识到模型潜力之前,就已将其用于药物发现和临床试验相关工作,说明用户能够发现令提供商意外的价值。
他还见过企业在开放式探索阶段投入大量资金,随后随着模型能力提高、成本下降,发现某些应用更划算。他描述了单位能力成本的大幅下降,同时指出初期探索可能很昂贵。
让采用的效果可见,并评估新发现
两位嘉宾建议提供有用的产品,让早期使用者展示效果,而非只靠强制要求。他们还建议把人的发现转化为测试,用于评估搜索大量数据的智能体。
一位来自 Pfizer 的观众问,当最终目标仍不确定时,成熟企业应如何管理变革。Wimberly 说,自上而下的指示很常见,但他更倾向于逐步推出人们喜欢、又能减轻其不喜欢的工作的产品。
他举例说,一项原本需要 20 分钟的任务可以大部分预先填好,由员工检查错误。应用内的小奖励可以让验证过程更有趣。在他看来,有用的产品和实际使用体验,对采用的推动可能超过告诉人们必须做什么。
Hadfield 补充说,可以先让一小群早期使用者自由探索,再向全公司展示具体应用。看到熟悉工作中的有说服力的例子,可能促使采用自下而上扩散,而不必完全依赖命令。
一位来自 Google 的观众问,智能体如何从大量非结构化文档和记录中发现有用模式。Wimberly 建议依靠模型的耐心和处理规模,而不是假设模型比了解工作的人更聪明。
他建议人先亲自阅读一部分材料,把自己的发现转化为评估,再利用这些测试改进智能体或担任评分者的 AI。当系统达到预期表现后,就可以检查远超人力所能覆盖的材料。
一位来自 Royal Caribbean 的观众问,如何超越消除令人厌烦的任务,帮助人们想象完全不同的可能性。Hadfield 说,人们通常需要在自己熟悉的领域看到一个有野心的应用,才会相信 AI 能承担更广泛的结果。
他建议展示范围较窄但具体的流程重塑,例如在受监管行业替代一个繁琐的 12 步流程。看到实际运行的例子如何改变流程,比泛泛地听说 AI 能做什么更能改变预期。
同频道的其他文章
31:31EN → 简体中文
26:47EN → 简体中文
16:57EN → 简体中文
46:14EN → 简体中文
50:51EN → 简体中文
43:01EN → 简体中文