波兰语只占前沿训练数据的 1%，所以波兰自己做了一个模型

Nathan Labenz 把波兰当作一个有代表性的案例，而不是超级大国。3800 万人口和约 1 万亿美元的 GDP，分别约为美国的 10% 和 3%。这些钱和算力，不足以在前沿上与美国和中国竞赛，但足够的技术人才、语言自豪感和政治意愿，让它不愿成为下一个闭源模型提供方的客户。他的嘉宾是 Marek Kozlowski，他是波兰国家信息处理研究所 AI 实验室的负责人，也是 PLLuM（Polish Large Language Models，波兰大语言模型）项目的牵头人。

Kozlowski 把这个想法说得比“主权 AI”稍微宽一点。他谈的是本地化的大语言模型：针对某种语言或某个领域做适配的模型，在这一块上理解得更好、生成得更好。他给出的质量目标很直接：做出体量比流行的闭源系统小一个数量级的模型；在语言、文化或领域上，与大十倍的模型质量相当。它们应当开源、透明、安全，并尽可能保持有机的数据来源。在他的叙述里，国家级模型和银行内部模型，只是同一个动作在不同尺度上的样子。

Labenz 回忆说，InstructGPT 时代的模型是为了遵循英文指令而训练的，结果几乎是意外地迁移到了其他语言。Kozlowski 给出的数字就没那么让人安心了。在最大的开放和闭源模型中，超过 90% 的训练数据是英语和中文，其他语言合起来只占 10% 或更少。在一些语料里，波兰语大约占 1%，在另一些语料里更少。因此，大多数技能都是通过英文和中文指令习得的。迁移是真实存在的：一个用英文学会数学的模型，在中间步骤里可以翻译一段西班牙语提示，依然能算出答案。但迁移买不到的，是母语的质感。

他举的邮件例子很小，但很致命。一个没有浸泡在波兰语里的模型，依然能生成读者能看懂的内容，然后在中间冒出一句属于英语的套话，直译成中文就是“希望您身体和状态一直很好”。逐字看，语法是对的，但没有哪个波兰人会这么写。他认为，语法不等于语言。文化、习惯、历史，以及这一周正在流行的梗，都藏在一个正确的句子和一个母语句子之间的缝隙里。模型可以拥有很大的词汇量，却依然不会在合适的场合用对一个习语，也不知道哪些地名有历史包袱，哪些词现在正在走红。

标准基准测试抓不住这个缝隙。Kozlowski 对 MMLU 式测试的看法很直接：它们大多是 A/B/C/D 选择题，衡量的是理解、抽取、摘要和事实记忆，几乎测不到长篇生成，而且几乎从不用丹麦语或波兰语测试。“我们生活在一个被基准测试带偏了的世界里。”他的团队因此做了 PLCC，即波兰语言与文化能力基准（Polish Linguistic and Cultural Competency Benchmark），既覆盖语法和词汇，也覆盖文化、传统、历史，以及对歧义词的处理。他承认，目前的版本仍无法评估较长的波兰语结构。他们最在乎的东西，恰恰是排行榜仍然跳过的东西。

PLLuM 没有从随机权重开始，原因很无聊：钱和 token。Kozlowski 说，公开的模型报告显示，即便是 80 亿参数的模型，预训练要稳定，也至少需要 1 万亿个 token。去重和过滤之后，他的团队只有大约 2000 亿个波兰语 token，差了一个数量级。他们采用的方法是语言适配：拿 Llama 和 Mistral 的底座（一年前，它们的许可证对欧盟没有现在这么苛刻），在波兰语语料上继续预训练几个 epoch，然后才做 SFT 和偏好学习。英语能力会因为灾难性遗忘而下降。他们并不手动修剪其他语言，只是在波兰语上多训一些，接受这笔权衡。在他们谈话时，针对从零训练、规模为 1 万亿 token 的混合语言实验，仍在进行中。

他把三个阶段类比成童年。预训练是学单词、学结构、记住零散的事实：一个孩子学完这些，仍然不会做数学，也写不出文章。SFT 是上学：写诗、写摘要、做计算，也就是真正的能力训练。偏好学习则是打分的考试，告诉模型该纠正什么。如果其中任何一个阶段喂入的是另一个大语言模型生成的、语言质量很差的合成指令，模型就会退化。所以他们在他所说的有机数据上投入很多。几十到几百名标注员撰写指令和偏好，或者由机器起草，再由人逐行改写。工具都是内部的，没有类似 Scale AI 的数据供应商，也不做众包。大部分数据保持闭源，样本则上传到 Hugging Face，让外人看到它的大致形状。

录制前两周，他们在 arXiv 上发表了一篇近 100 页的论文《The PLLuM Family》，菜谱和权重都在里面。Kozlowski 说，开源不只是开放权重。它还包括指令和偏好样本，以及一步一步的配方。而最受欢迎的那些“开放”模型并不公布这些，因为这些痕迹被视为知识产权。还有一个不太引人注意的新发现：针对英语用户加固的模型，比针对波兰语用户加固的模型更容易被越狱，所以他们自己给 PLLuM 做了安全加固。除了质量之外，自己动手做的另一个理由是能力。一些 Llama 版本和 Kimi 已经在许可证里把欧盟排除在外了。市场会关闭，模型也会被禁止。“有时候，哪怕只能做出稍差一点的东西，拥有做它的能力也更好。”

美国实验室在写宪法和模型规范，并为结果是太“政治正确”，还是不够“政治正确”而争论不休。Labenz 问，波兰有没有对等的文件。Kozlowski 说，不太有，短期内也不会有。他们希望模型符合伦理，不去指责人，并避开仇恨言论，这也是美国和中国系统都声称达到的底线。他们目前并没有发布一长串模型必须遵守的行为要点。在他看来，波兰在这类价值工程上大约落后两年。当下的约束其实是关于数据的：你可以用什么来训练，而不是一份十五页的关于波兰灵魂的理论。

他同样对决定国家模型应该有多天主教没有兴趣。仍然有多数波兰人自认为是天主教徒，但城乡之间的差异是真实的，而且这一比例已经不如从前。实验室的立场是自由的：他们发布对话模型、指令模型和基座模型，由企业自己选择，因为有些约束会毁掉商业方案。他说，构建者不应替所有人决定如何给系统“调偏”。人们之后可以通过偏好训练，把模型训练成更窄的立场。更难的问题，是美国公司往往还能通过诉讼闯过去，而欧洲公司却闯不过去的那一类。《人工智能法案》对通用模型的规定，加上各国的作者权规则，比任何宪法都缺乏灵活性。这些文件可以排除掉训练集的 80%。真正左右质量的，是这一点。

《人工智能法案》第 2 章自 2025 年 8 月起生效，要求提供模型卡：用了哪些数据，系统如何加固，训练投入了哪些资源。Kozlowski 认为，这就是某些 Llama 版本和 Kimi 禁止欧盟使用的原因：供应商不愿披露数据配比。如果许可证不是问题，他仍然会按任务来区分。长篇生成、文章、邮件、历史叙述：他会非常抵触中国的模型，因为审查会在长文字里留下痕迹。抽取和分析的工作，比如从文档中提取事实，则是另一种风险，他对使用它们持开放态度。即便是 PLLuM 的语料，网页抓取仍然占大多数；科研图书馆和与出版商的双边协议只占少数。美国的爬虫，包括 Anthropic 的，依然会抓取那些在 robots.txt 里禁止它们的波兰网站，而在美国法庭上为此打官司，并不是波兰人现实可行的业余爱好。

这次对话中最有操作价值的一个论断，在硅谷却很少被讨论。关于 PLCC，Kozlowski 的团队观察到，一些 Anthropic 的 Claude 版本（他提到了 Claude 和 Haiku）相对前一版，在波兰语言和文化能力上有所下降。他们在 GPT 系列的一些部分也看到了同样的模式：不是上升，有些版本还下降了。机制是一种权衡，并不是什么谜团。实验室读的是付费市场，把算力投入到软件工程助手上；而小语种的生成能力，恰恰是被挤掉的那一块。

Labenz 原本以为，前沿实验室仍然想要它们能得到的每一个 token，甚至可能愿意为几千亿个波兰语 token 付费。Kozlowski 的证据却表明并非如此。如果下一次训练要在更多的编程轨迹和另一种语言之间做选择，而那种语言并不是收入中心，那么编程轨迹会胜出。对一家已经把 Claude 或 GPT 接进技术栈的波兰公司来说，失败模式很难看：新版本上线，你买到的能力下降了，然后你要么换供应商，要么回滚，前提是还提供回滚。在这种情况下，深度绑定云服务，就是在赌一家没有波兰市场的实验室会一直在意波兰。Kozlowski 的商业结论，可以用一句话概括主权 AI 的主张：把关键工作放在通用的云端模型上，就等于把能力曲线交给了一个不向你的市场汇报的团队。

Labenz 在自己的工作里也见过同样的模式：当输入和输出被框定，周围又有其他护栏时，一个训练得当的廉价网络，能追平一个庞然大物。Kozlowski 给出了具体数字。企业和政府机构很少需要一个能做一千件事的 ChatGPT，它们需要的是十件或二十件。如果每个用例至少写 1000 条指令（3000 条更好），然后对一个小模型做 SFT，质量就能达到或超过对大型云端 LLM 做少样本调用的水平。指令应当是有机的，或者是半自动、人在环中的。这是一个有决心的团队真正能做出来的数据集，它不是几千亿个 token。

本地部署往往不是一种偏好。有些行业不允许使用云，或者风险太高。一旦你买了 16 块 GPU，开始支付电费，所有人都会发现，什么都需要缩小规模。智能体式的系统会让压力更大：一个复杂的工作流可能会调用十几个模型，如果在每一个模型上都挂一个前沿检查点，能源账单就扛不住。在他看来，小型本地化模型就是那个未来的形状。PLLuM 本身是一个公共联合体，最初有 6 家研究所和大学，现在是 8 家，由数字事务部资助，目标是在公共部门实现合法、透明、本地部署的使用，而不是去争夺消费级聊天的市场份额。他说，对市政厅来说，给它们一个聊天机器人，比在通用基准上再提高一个百分点更重要，因为那些市政厅目前连一个机器人都没有。

一个更激进的动作是领域适应：在公司的闭源语料上继续预训练，让模型学会公司内部的行话。他们为中东欧最大的银行 PKO BP 这样做过，有些任务的表现提升很大。门槛很高。去重和过滤之后，你大约需要 100 亿个 token；这意味着在整理之前，要有 300 亿到 400 亿个。Kozlowski 估计，拥有这种规模闭源内部数据的欧洲公司，不到一百家。Labenz 反驳说，一家 40 人的公司，把 Slack、Google Docs、Jira 和合同修订历史都算进去，听起来已经是很多文字了。Kozlowski 说，那就数一数、去重、过滤，100 亿个 token 依然很难。销售和客服邮件可能还能用，但其他很多邮件在知识产权或网络安全方面过于敏感，碰都不能碰。

Kozlowski 最希望企业记住的一句话，出现在对话的后段。企业一上来就讨论选模型和部署，跳过了盘点，项目于是垮掉。他想要的顺序正好相反：先弄清你有哪些数据，哪些是高质量的，哪些是垃圾；弄清内部和外部规则允许你用哪些；然后才谈训练或服务。他说，即使是大型组织，往往也不知道自己的存储里有什么。清理这些存储本身就是一个问题，不是可以一笔带过的序幕。

这也是为什么他对联邦学习和加密数据联盟不太热衷，包括 Labenz 提到的 Near Protocol 和 Intelligent Internet 方案。方向是对的：匿名化、加密、共享存储库，在不交出原始文件的前提下训练。但在他实际看到的经济环境中，大多数公司连自己的内部数据都衡量不清楚，因此也无法加入任何人的混合训练。被大型联盟使用的、分布式且受保护的存储库可能会出现，但他说，那不是明年的项目。

Kozlowski 把过去几年看作一个平台期。推理能力在提升，但 GPT-5 相比 GPT-4，并不像 2022 到 2024 年的 ChatGPT、GPT-4 和多模态那样改写游戏规则。进步看起来是水平的。他倾向的解释是数据：最大的供应商已经收集了公开互联网能给它们的几乎全部有机文本，有些还在扫描从未上网的书籍。有机数据的水井已经快满了。Labenz 押注合成数据和模拟世界能打破停滞，但他承认，这个赌注尚无定论。无论如何，Kozlowski 认为，验证时代将让买家明白，大多数本地部署的工作并不需要庞大的通用模型。

如果进步持续下去，而且一笔 100 亿美元的训练确实能打败一笔 10 亿美元的训练，他的指南针依然是客户的指标，而不是公开的排行榜。他看到的大多数商业方案都不需要推理轨迹，它们需要的是一封能带来交叉销售的邮件。先从任务出发，为这个任务写一套基准，然后再选模型。他说，实验室和企业就像两列并行的火车，它们交汇的地方还在很远的前方。在国际层面，他看到的是另一种形式的同一种张力。快速的产品需要集中化：硅谷占了 90% 的初创公司。广泛的经济和社会回报，则需要在整个大陆上分布开来。两种战略不可能同时全力推进。中国如今付给研究人员的薪酬，已经和美国处在同一个区间。欧洲的公共部门甚至很难定义目标函数：一千万名客户，或者每周 1000 万美元的订阅收入，并不是政府部门被允许的思考方式；而用对待 NFL 四分卫的方式去高薪聘请小众人才，在政治上也不成熟。在他的叙述里，Mistral 曾是欧洲这个“村子”的希望，现在却有 30% 到 40% 归微软所有，开放程度也不如从前。

他并不灰心。波兰目前正在大力投入 AI 工厂，也就是 GPU 和数据中心，同时也在推动少数几个类似 PLLuM 的公共项目，他认为欧盟内部大约只有两三个。在拉斯维加斯的一场领导力峰会上，美国的主办方对一个政府部门竟然会资助这件事感到惊讶。在他看来，价值不仅仅在于那个检查点。即使他们做出的东西比中国或美国的版本稍差一点，拥有做出它的技能，也意味着在将来某个岔路口，他们可以选择另一条路。他一再重复说，这个选项的价值，可能比它在记分牌上看起来的要大。

Kozlowski 最后请听众去看 11 月那篇 arXiv 论文《The PLLuM Family》，近 100 页，涵盖数据配比、训练阶段以及配方的其余部分。对一个 3800 万人口的国家来说，这份文件本身就是一种立场。模型并不庞大。团队知道它们是怎么做出来的，并愿意告诉你如何去做。在这个项目里，只有权重而没有菜谱，就只是半开放的姿态。论文是另一半。

对 IT 负责人或政府部门来说，操作清单很短，本周就能开始。在选购 GPU 之前，先盘点数据。算一算领域适应能否凑够 100 亿个干净的 token；如果凑不够，就跳过继续预训练，去写那 1000 条指令。每次云端模型升级，都在你自己的文化和长文本测试集上做一次回归测试。先定义业务指标，比如那封能卖出去的信、那项正确的抽取，在这样的测试建立之前，不必理会通用排行榜。并且要为任何一个可能悄悄遗忘你的语言的实验室，留出退出的通道。