LinkedIn 的自我改进代理，先要修好评估裁判

Ziwei Guo 和 Saloni Gandhi 介绍了 LinkedIn 用户理解代理的改进循环。目标是从生产环境记录中学习，识别失败模式并提出修改，改善代理对会员职业兴趣的理解。

用户理解代理服务于更广泛的职业代理，后者旨在帮助 LinkedIn 会员实现职业目标。开发人员收集日常工作和生产流量中发现的问题，评估运行记录，再用反馈指导下一轮改进。

Guo 强调，评估器必须客观，并与用户反馈保持一致。否则循环可能优化错方向：质量信号决定系统如何识别瓶颈以及下一步尝试什么修改。

代理外围系统有多个可优化对象：规划逻辑、上下文与记忆、工具和数据接口，以及输出与日志存储。评估贯穿这些组件；底层模型为系统提供能力，但目前不在该项目的优化范围内。

Guo 描述了一条复杂度逐步上升的路线。目前工作集中在最直接的提示词修改；以后可能扩展到结构化上下文、工作流设计、代理框架代码，甚至优化器本身。这些是未来方向，并非当前成果。

循环分七步：运行代理并收集样本和记录；评分；诊断原因；提出修改；验证候选方案；更新提示词；最后用留出数据评估新基线。最后一步旨在确认改进能够推广到用于生成修改之外的样本。

反思步骤追问输出得分低的原因。问题可能在代理、模型、提示词或工具，也可能出在评估器或评分标准。候选修改先用相同的评估引擎和标准检验，再决定是否继续。

最后的留出集评估把更新后的系统与旧基线比较。如果修改被采纳，就成为下一轮迭代的起点；团队计划定期运行这一循环。

目标代理从会员标识符出发，获取搜索历史、个人资料、地点和明确表达的偏好等信息，再把这些信号综合成结构化的会员理解结果。

输出字段之一是偏好的职位名称。除了网络经理、客户经理等值，代理还提供置信度、支持信息的引用和简短解释。例如，反复保存的搜索记录可以为职位偏好提供证据。

评估裁判依据产品定义的评分标准，对代理的多个任务维度打分。示例既有总分，也有各维度分数和理由；评分从代表质量较差的 1 分到代表质量很好的 3 分。

反思首先按失败维度对样本分组，这一步不需要额外调用模型。第二级裁判随后逐条诊断并标记可能的根因，包括代理、代码、上下文、裁判本身或评分标准。

相似问题可能使用不同措辞，因此系统把近似重复的诊断合并为标准问题。例如，资料缺失和资料不足以反映完整情况，可能都指向支持信息不足。

接下来系统无需再次调用模型，就按频率归并和排序问题，为人工处理生成计分卡，并保存诊断供未来迭代使用。先前诊断可以为第二级裁判后续运行提供参考。

提出修改时，系统利用裁判证据和反思结果生成候选方案。团队使用 GEPA 分小批提出提示词修改、筛选候选方案并验证；候选方案获采纳后，会更新生产基线，供后续循环使用。

团队将工作分为三个方面：质量、自动化和生产更新。人工标注用于改进两级裁判；对裁判结果波动的分析则有助于应对语言模型作为评估器时的不稳定性。

工作流可按需每周、每两周或每月运行。目前生产更新仍有人参与，以保障质量。团队希望随着对流程的信心提高，逐步减少人工工作量。

Gandhi 说，团队通过该循环和 GEPA 生成的第一项改进，经过人工审查与定量测量后已部署。为了让评估器可靠地指导后续修改，团队还投入精力把其判断与人工标注比较。

幻灯片显示完成了 180 条人工审查。裁判给出 1 分或 2 分的输出，与审查者完全一致的比例分别为 55.7% 和 57.5%；给出 3 分时达到 80.4%。裁判识别优秀输出的能力强于区分较弱输出的能力。

不同维度的一致率差别也很大。幻灯片显示，偏好职位名称是观察中最弱的类别，一致率为 33.3%；主要专业领域为 46.7%，目标雇佣类型为 50%。这些差异提示团队需要澄清定义和证据规则。

一个反复出现的问题是把“看起来合理”误当成“信息完整”：返回的职位名称可能合理，却遗漏了会员意图的重要信号。其他分歧则来自领域、职能和技能界限不清，或部分正确时如何给分没有明确规定。

裁判有时会惩罚无害的格式差异，也会对能否从就业信息推断某些事实作出不一致的假设。被认为过于严厉的 37 条判断中，有 31 条针对的是被裁判打了最低分的输出。

这些分歧往往反映的是评估规则含糊，而不只是模型故障。团队澄清了大小写、职位名称规范化、同时担任多个职位、资历、地点偏好，以及错误与部分正确之间边界的规则。

修改评分标准后，报告的人工一致率从 57% 提升到 64%，平均误差从 0.96 降到 0.74。Gandhi 将这一改善归因于更清楚地定义正确评估，而不只是调整模型。

团队也对第二级反思代理进行了类似审查。找出失败原因比发现失败本身更难：当代理把问题归因于模型时，人工审查者更常同意；归因于其他原因，尤其是评分标准时，一致率低得多。

原有诊断分类没有明确的选项来表示第一级裁判判断错误。因此，反思代理可能把错误判断归咎于评分标准；它有时还会直接沿用第一级裁判的理由，而不独立对照代理输出检查。

解释听起来可信，并不等于诊断正确。如果优化器根据错误根因修改提示词，就可能改错系统组件。因此，团队把改进诊断能力与改进第一级裁判一起列为重点。

Gandhi 说，团队希望稳定第一级评分，提高根因诊断的可靠性。多数投票和留出集评估有助于降低单次语言模型判断的波动，采纳阈值和置信区间则为决策提供参考。

更广泛的衡量标准不只是系统生成了多少次提示词修改。团队希望跟踪哪些修改能够可靠生成和验证、下游回复质量是否提高，以及工程师维护代理是否节省时间。

为了把方法推广到多个团队，Gandhi 描述了一个分层结构：底层是有用的代理，其上依次是可重复评估、系统化反思和改进循环。每一层都依赖下面各层的可靠性。

设想中的共享基础设施将提供可复用评估框架和经人工校准的裁判，收集记录、诊断失败、自动生成候选修改，并使用留出数据和回归测试验证变化。自助组件可让其他团队采用循环，而不必从头重建。

Gandhi 区分了目标代理与改进引擎：引擎负责评估表现、诊断失败并提出修改；它的目标不只是一次性提高表现，还希望提高代理随时间改进的速度。

团队最后强调，必须能够信任所做的修改。该项目联合了评估、工程等不同领域的协作者，因为有效的改进循环既依赖候选修复的质量，也依赖其背后反馈的质量。