罗福莉：智能体框架、模型训练与团队协作

张小珺邀请小米大模型团队负责人罗福莉进行长篇技术访谈。节目在 OpenClaw 和小米 MiMo V2 系列模型发布后录制，讨论智能体框架、模型训练、组织变化和未来方向。视频说明其英文翻译由 AI 生成，仅供参考。

罗福莉将 OpenClaw 视为自己重新认识智能体的转折点。最初她主要把它看作连接即时通讯的编程智能体：有新的交互界面，也能持续运行。亲自使用后，她改变了看法。

春节期间，她深夜安装工具并与它聊到天亮。系统对上下文的处理，包括对当前时间的感知，让她感到它有温度和自主性。她认为这种体验部分来自框架组织上下文的方式。

随后，她尝试让它讨论团队建设、好奇心、招聘和组织结构等自己原本怀疑它能否处理的问题。她说系统帮助她把想法整理成可复用的技能；这是个人使用经历，不是受控评测。

第三天，她开始探索研究任务，包括构建模拟多轮互动的用户智能体。她认为结果可以帮助生成更丰富的智能体场景，用于监督微调和强化学习；她的关注也从产品新鲜感转向研究辅助。

罗福莉指出，持续记忆、模型调度和自主性是框架中相互配合的部分。按她的经验，智能体有时可以通过寻找合适的工具或其他模型弥补单一模型的不足，但结果仍取决于框架和底层能力。

她说团队把 MiMo V2 Flash 和一个更小的模型接入框架，在没有大量针对性训练的情况下观察到有用的行为。她据此想研究编排如何帮助能力较弱的模型，而非把个别体验当作普遍的基准结果。

由此产生的研究问题是，如何让模型在不同智能体框架中稳定工作。罗福莉认为后训练需要适应智能体任务，而不只是聊天，包括不同工具、上下文、互动方式和环境。

她区分严肃编程与更广泛的日常任务：面向编程的智能体可能擅长软件工程，通用框架则增加消息、定时任务和持续记忆等功能，以支持不同的交互方式。

在她的描述中，框架是界面与模型之间的中间层，负责上下文、记忆、工具选择和编排；可见界面只是其中一部分。她预计编程产品和通用智能体产品会相互吸收有价值的设计。

罗福莉认为好的框架能帮助中等模型处理许多任务，但困难的长程任务或高要求编程可能仍需要更强的模型。她举的比例只是个人估计，并非独立测量的性能数据。

她说最初测试中 Claude Opus 4.6 给她的体验最强，并用它修改开源框架。改善配置后，她也能尝试其他模型。她想强调的是，模型和框架的进步可以相互促进。

在她看来，智能体自我改进包括同时调整模型和周边系统：既有记忆、技能等静态内容，也有决定使用什么信息与工具的动态工作流。不同应用可能需要不同架构和取舍。

她重视开源框架，因为用户可以检查并按自己的场景修改。她将这种灵活性与不能直接改变内部记忆和工作流的闭源系统作比较。

她回忆早期试验成本很高：第一天约花费 1000 美元，也尝试了更便宜的替代方案。配置逐步改善后，她开始考虑还能完成哪些任务，以及如何降低成本和延迟；数字只是单次实验的个人回忆。

假期结束后，她鼓励同事试用，并准备设备和群聊供大家分享发现。她说自己强硬的表述是为了传达紧迫感，实际并没有按对话次数检查或辞退任何人。

共同实验让同事看到彼此的用法，也一起改进框架。她认为团队迭代比单独工作更快，并帮助大家探索自家模型如何在智能体环境中运行。

她指出，更广泛测试仍暴露出与 Claude 相比的可靠性差距。不过，她相信用户社区通过共同实验，可以更快发现问题并改进智能体框架。

她说智能体可以加速过去需要数天或数周的部分研究工作，让多个想法并行测试。在她看来，执行变快之后，选择值得研究的问题和设计评测更重要；速度比较是她的个人估计。

罗福莉将编程与长程任务联系起来。她认为代码库中的跨文件依赖具有结构性，可能为处理长上下文提供有用训练材料；这是一种假设，并不保证编程能力能可靠迁移到所有领域。

软件开发还需要规划、回看修改和管理上下文，因此面向编程的框架可以为其他长任务提供思路。她的团队希望用监督微调和强化学习训练更多样的任务。

为了扩大覆盖范围，她介绍让更多人使用模型、再发现新场景的做法。难点之一是重建支持多步交互的环境，并定义有用的奖励信号；她没有公开团队的内部实现。

她指出，训练很长的轨迹有实际成本：生成和评估都需要时间和算力。她描述了结合长上下文预训练与较短后训练任务的思路，同时提醒能力和成本变化很快。

被问到 OpenClaw 为什么在中国似乎特别流行，她提出个人看法：对效率工具的需求和相对便宜的模型可能促进试用。她说自己并不全面了解硅谷的采用情况。

她区分早期狭窄的智能体评测与实用智能体的要求。修复漏洞的基准高分，未必能体现模型是否理解框架、管理上下文并完成更广泛的软件或业务流程。

她说技能可以表示公开预训练数据中没有的流程和组织知识。人们可以通过反复互动提供上下文，智能体再帮助整理为可复用的指令；她将其视作协作，而不是替代所有模型知识。

她预计智能体的影响会随时间扩展到更多没有明确标准答案的任务。她强调，随着系统进步、差异不再容易凭体验判断，评测仍然必要。

谈到隐私，她设想混合系统：较小的本地模型在设备上处理部分敏感任务，更复杂的工作交给云端。她说模型和框架都需要继续发展；本地处理本身也不能解决所有隐私和安全问题。

除了为智能体训练模型，她还看到两个未解决的问题：框架能否自我改进，以及人和智能体如何共同学习。访谈时她尚未看到这些想法被广泛实现。

她描述了可能需要不同取舍的两个目标：推动高价值长程任务的能力，以及让更多人能在日常场景使用有帮助的工具。后者尤其需要考虑多模态输入、成本和速度。

她认为更广泛的参与正在改变 AI 工作：开发者和用户可以贡献技能、框架修改和研究想法，而不必将所有改进留给模型研究者。这是她对智能体工具热潮的解释。

即使模型继续变强，她预计编排对于成本和速度仍然重要。较小模型未来可能以更低成本提供更强能力，但具体时间和性能只是预测。

谈多智能体系统时，她认为并行工作可以改善速度或成本，但尚未看到充分证据证明增加智能体总能提高最终质量上限。她期待未来研究检验协作能否带来更多收益。

她的长期目标是让智能体承担更复杂的研究和管理工作，包括数据访问、计算和评测。她将这一研究目标与追求日活用户作区分；这是她自己的优先级，并不意味着其他目标无效。

她讨论了智能体协助研究者开发更强模型的可能性，同时承认这是面向未来的假设。她用团队协作作类比，强调拥有不同上下文的专业智能体共同完成更大任务。

在她看来，好的框架通过记忆、消息、主动任务和工具协调，补充模型本来可能缺失的信息。框架也需要评测：目前人常常提供反馈和纠错，更好的自动评估仍是挑战。

谈到 MiMo V2 Pro、Omni 和 TTS 时，她说团队希望语言推理、多模态感知和语音输出在智能体工作流中协同。她将表现描述为团队目标和个人判断，并未证明组合已经达到人类智能。

将专门模型分开也有成本、速度和任务方面的考虑：语音生成不一定总需要最大的语言模型。编排应按任务选择能力，而协调和多模态理解仍有改进空间。

她说 MiMo V2 的设计强调长上下文效率，包括速度和成本。她讨论混合注意力并与其他架构比较，解释硬件瓶颈和推理设计会影响取舍；技术与性能说法反映录制时的个人叙述。

罗福莉介绍结合滑动窗口、全注意力和多 token 预测，以平衡长上下文效率与推理速度。她说团队在设计推理方案时发现可利用的计算余量；最佳组合取决于架构、硬件和工作负载。

她认为，模型设计要考虑部署硬件和后训练，而后者的周期与要求可能改变。为某个已知环境优化的架构可能在该环境中很高效；更简单的设计则可能为适应未来任务留下空间。

团队在不同模型规模下试验全注意力与滑动窗口注意力的比例。她将有关稀疏度的观察描述为实验结果，而不是普遍规律，并指出其他团队可能得到不同结果。

她还讨论定价：架构和推理成本很重要，但后训练以及模型在智能体工作流中创造的价值也可能影响定价。她描述的是团队的思考，并非市场的固定规则。

她说 MiMo V2 Flash 和 Pro 是并行训练的。较大模型在训练稳定性上需要更多工作，包括排查数值突增和专家激活不均；基础设施与研究团队需要共同调试。

她讨论了实验、预训练、后训练和推理之间的算力分配。访谈中提出的研究、预训练与后训练比例只是示意性的规划看法，不是通用公式；推理需求还取决于用户和任务。

对于大模型训练，她说第一步是把不稳定识别为问题。团队监测激活值、参数和专家行为，再检查原因可能来自架构、数值计算还是基础设施错误。

应对方式可能包括裁剪极端数值或调整归一化，各有取舍。她描述小团队跨基础设施和研究领域诊断问题，有时会暂停代价高昂的训练来调查，而不是只把截止日期作为唯一目标。

在组织上，她强调不同专业需要合作，广泛试用可以影响研究选择。她再次提到鼓励同事尝试智能体的经历，并说没有执行固定的对话次数考核。

她说做预训练数据的人也会转向后训练，将对数据多样性的经验带过去。她倾向于灵活分配工作，同时承认基础设施、数据、训练和产品仍需要不同技能。

她描述一种较扁平的团队结构：有人推动具体项目，但不一定对所有参与者拥有固定的层级控制权。她认为减少僵硬分工有助于贡献想法，也让人们能在不同训练阶段之间流动。

她的管理理念强调好奇心和共同动力。她相信亲手体验新工具能激发兴趣，但团队仍需要协调、技术基础和解决实际问题的方法。

她说训练过程中可能出现损失值突增。团队选择停下来调查反复出现的不稳定，有时花数天甚至更久测试原因。即使没有固定发布日期，反复失败和稀缺算力的消耗仍会带来压力。

她认为参数规模和上下文都会影响能力，也承认激活参数与推理成本之间存在取舍。她对达到某种智能体能力所需规模的判断只是当时的个人估计，不是已证实的最低门槛。

长上下文训练需要上下文中有用且密集的监督信号，构造这些数据可能困难或昂贵。她描述的是通过数据和训练选择逐步改善，而不是假定标称窗口很大就能有效利用每个 token。

多模态方面，团队探索将音频表示为离散 token，并研究重建与训练方面的取舍。她认为统一到语言模型的思路很有吸引力，但强调不能为了统一而牺牲整体效果。

她说编程智能体加快了基础设施开发，让她重新思考是否每种模态都必须使用相同架构。如果分开实现能得到更好的结果，团队可以选择不同方案，而不必为了形式上的优雅追求统一。

谈 MiMo V2 Omni 时，她认为文本、图像、音频和视频的联合感知对智能体互动有用。她分享了使用体验，但说基准证据以及多模态训练对通用智能的影响仍是开放问题。

她区分多模态感知和生成，并把两者结合的潜在收益作为假设。对于 TTS，她介绍离散音频和风格指令实验，同时承认录制时模型还未始终达到生产可用的稳定程度。

她将模型发展与生物进化作比较，认为两者环境和起点不同。现有模型依赖人类知识、算力和目标；她对未来模型行为的判断带有推测性。

她期待编程智能体处理更复杂的开发和验证，而不只是生成更多代码。屏幕之外，机器人可能是另一种交互方式，但硬件、电池和操作能力也有各自的限制。

她对 AGI 进展给出了较激进的个人估计，同时承认这个术语没有清晰定义。这些比例和时间线是访谈时的预测，并非经过测量的进度或共识。

比较模型团队时，她预计接下来数月会快速变化，认为研究敏捷性和适应智能体工作流很重要。她区分追上当时的模型与追上该模型未来版本这两件事。

她预计智能体使用会增加推理需求，芯片供应和存储可能成为限制。模型架构、算力供应和硬件需要在训练之前规划；她对需求的预测存在不确定性。

她总结了自己看重的三种品质：长期的架构和基础设施规划、敏捷的后训练，以及好奇心或投入。智能体辅助研究可能缩短规划周期，但团队仍需在结果出现前作出判断。

她说面向智能体的强化学习基础设施需要协调模型、工具和环境，而不只是处理模型的独立回答。这带来了兼容性、容错和不同资源之间调度的问题。

她把群体学习视为研究的一部分：人们带来不同专业知识、分享结果并共同改进框架。她也讨论更广泛的开源协作，让更多贡献者能够检查和改进系统。

回顾近期工作，她说随着工具和环境变化，自己经常修正之前的判断。她希望工作对他人有用，并考虑未来支持基础研究。

从 ChatGPT 回顾到后来的模型发布，她描述开源模型团队的不同重点：支持广泛生态、扩大模型规模，以及提高架构效率。她认为这些贡献可以互补，而不是简单分出输赢。

她回顾向推理和后训练转变的过程，包括与 DeepSeek R1 相关的工作。这段经历让她更加关注，在代码或数学中形成的能力是否能推广到原始任务之外。

她认为方法变化时，团队需要有学习空间。她介绍如何让经验较少的同事有机会构建系统、开展实验，同时避免过于细致的指令压制他们自己的想法。

对于智能体训练，她强调更复杂的端到端任务和环境，而不是只优化狭窄的基准。她说扩大智能体强化学习规模的具体方法仍在探索，并未公开团队内部结果。

她认为竞争包含更快的迭代和更多相互关联的决策：预训练、后训练、上下文长度、框架与推理硬件互相影响。她预计小团队可以借助智能体扩大能力，但承认当前多智能体系统仍有限制。

她支持开源，让更多人能够在不同硬件上开发和部署模型与框架。公司可能根据自身战略和资源作出不同选择；开源会加速进展是她的论点，不是保证。

被问到模型公司如何保持竞争力，她提到强的基础模型、可适应的智能体框架，以及有效利用已有资源的能力。她也认为组织需要重新考虑生产力变化后人和智能体如何协作。

她把研究描述为原创想法与可扩展工程的结合，并以模型架构和长上下文效率为例。团队重视自己的实验与外部反馈；她也承认访谈中一些观点以后可能被证明错误。

她说自己比起将既有经验当作潜力的固定尺度，更看重学习环境、好奇心、基础能力和多样性。她介绍从不同背景招聘，并鼓励大家分享想法、相互学习。

她认为后训练既需要仔细测试模型的人，也需要能处理模糊故障的基础设施工程师。她区分预训练对精确性的要求，与复杂智能体轨迹对容错和资源调度的需要。

她说大规模智能体强化学习和持续交互仍是困难的研究问题。访谈最后，她描述自己的工作作息，并明确说这不代表团队其他人的状态。