训练数据、智能体评测与多语言模型

在 YC Paper Club，Francois Chaubard 为训练数据与评测专题开场。他认为，AI 系统背后的数据值得与模型架构同等重视。

他回忆曾问应聘者：分类器达到 85% F1 后，接下来做什么？他更期待的答案是检查假阳性和假阴性、对错误分类，并找出最大的实际失效模式。

对于零售库存识别，冰柜玻璃起雾或有人挡住视线，可能比增加网络层数更重要。生产环境的输入可能不同于训练数据，因此团队必须了解模型在哪些陌生情形下失效。

Chaubard 认为专家数据和强化学习环境需要细致的产品设计。主观偏好与现实中的边缘情形不能简化为一堆通用文件。

界面变化说明数据维护为何会持续：软件工作流程的旧操作轨迹可能不再代表智能体必须使用的界面。他认为这种持续需求构成商业机会，其市场预测与判断属于个人观点。

Snorkel 的 Vincent Sunn Chen 将专家监督视为瓶颈：专家知道好工作应是什么样，但时间有限。把这些知识转化为可用于训练和评测的数据，本身就是研究问题。

早期数据工作流程常围绕单个标签或提示与回答对。智能体评测则可能需要任务、评分标准、工具和环境，每部分都需要大量工作来构建和维护。

Chen 描述仅靠人工标注的局限：每个样本都消耗专家时间，标签可能有噪声，任务变化还可能需要大量重新标注。医学等专业领域尤其难以扩展。

Snorkel 的数据编程方法把专家规则写成标注函数。这些程序化信号可以复用、修改和审计，但它们可能相互重叠，也可能出错。

弱监督模型估计这些不完美信号的可靠性，并把它们合成为概率标签。Chen 将这一挑战比作没有答案时，根据能力不同的学生投票推断答案。

随着编程智能体承担更长、更复杂的任务，Chen 认为评测也必须演进。一个基准变得容易，并不意味着所有相关软件工作都已解决。

他介绍与原 SWE-bench 团队合作者共同构建的 Senior SWE-bench，目标是表示更高层次的工程工作，例如理解日志、实现用户故事和作出架构选择。

任务使用相对高层的指令，而不规定所有实现细节。评测还尝试衡量代码质量以及变更是否符合代码库的实践。

Chen 描述验证器的取舍：固定测试执行可靠，却可能拒绝有效的替代实现；语言模型评判者可以适应不同方案，却可能接受看起来合理但无法工作的代码。

他们提出的折中方法是验证智能体。专家提供用户故事和要求，智能体根据候选补丁与规格编写确定性测试，执行相关代码路径。

团队对流程进行校准，检查测试不完整或奖励作弊等问题。Chen 说，其“tasteful pass”指标把正确性与符合代码库习惯、避免不必要膨胀等质量结合起来。

Chen 最后呼吁在智能体自主性提高、输出更难验证时开展更多研究并建设更多基准。他的公司也为基准工作提供资助。

Inception Labs 的 Volo Kuleshov 介绍扩散语言模型。他描述的模型不是严格从左到右逐个生成 token，而是从带噪序列开始，通过多步迭代同时改进多个位置。

Kuleshov 认为并行生成 token 可以提高吞吐量，并称其公司的模型速度超过每秒 1,000 个 token。这类比较取决于硬件、工作负载和测量条件。

他以实时语音智能体为例：处理链可能包括语音识别、语言模型和语音合成。更快生成可以减少其中一部分延迟，或允许不同的质量与计算取舍。

Kuleshov 说，广泛使用的客服基准可能没有充分覆盖真实企业政策、工具和复杂性。他还提醒，基准分数高并不意味着生产日志上的表现同样高。

他的团队使用 Tau Forge 生成强化学习环境，在可能时参考真实交互。以银行场景为例，系统可以合成政策、账户、数据库以及智能体可用的工具。

系统从场景和用户画像构建任务，再调整难度。Kuleshov 说，总能解决或难到无法解决的任务提供的学习信号较少，因此团队会筛选和修改任务。

他报告说，使用生成任务训练后，团队模型在另一组业务环境中的表现有所提升。他描述了按业务划分训练和测试以减少过拟合；这是公司报告的实验，并不能证明所有部署环境中的表现。

Shayne Longpre 介绍多语言预训练及不同语言数据集之间的相互作用研究。他说，同样的方法也可以用于其他数据来源或领域。

Longpre 以泰语为例，指出一个常见的网络来源语料中，泰语 token 远少于英语。只用稀缺语言训练模型可能反复看到同样材料并产生过拟合。

混合训练可以将目标语言数据与其他高质量、有帮助的数据来源结合。哪些语言有帮助需要通过实验判断：共同主题、数据质量和表示方式可能与语系同样重要。

研究人员比较单语和混合语言训练的学习曲线，以估计迁移效果。一个矩阵总结在其实验条件下，哪些来源语言有助于或干扰目标语言表现。

Longpre 说迁移矩阵会随模型规模变化：在他们的实验中，较大模型呈现更多协同，而较小模型有更多竞争。这些发现以所测试的模型和数据为条件。

迁移不一定对称：语言 A 帮助 B，不意味着 B 也以相同程度帮助 A。在他们的测量中，共用文字的预测作用略高于语系，但两者都有影响。

团队拟合考虑目标语言数据、有帮助的迁移语言及重复数据收益递减的扩展与混合法则。目标是在计算预算内估计损失，并选择数据配比和模型规模。

Longpre 最后提出实际问题：何时微调现有多语言模型、何时从头预训练，以及增加语言而不损失性能需要多少模型容量和数据。