Phi-3 Mini：Microsoft 的小模型、手机部署与一场身份存疑的本地测试

摘要

30 秒看懂

Matthew Berman 考察 Microsoft 的 Phi-3 Mini、训练数据、报告的基准测试和手机离线演示，然后在本地测试他认为是该模型的系统。测试界面却显示了与之冲突的 Llama 7B 标签，因此无法确认生成这些回答的模型身份；这些例子也不是受控评估。

1模型大小与 MMLUMicrosoft 的图表在单一基准上比较 Phi-3 不同版本与其他 2024 年模型，尺寸轴采用活跃参数数量。
2Mini 的训练配方技术报告介绍了 38 亿参数、3.3 万亿训练 token、过滤后的网络数据和合成数据。
3手机离线运行作者报告称，4 位量化模型在 iPhone 14 上推理速度超过每秒 12 个 token。
4基准结果因任务而异所示表格中 Phi-3 Mini 的 MMLU 得分为 68.8，但在包括 TriviaQA 在内的其他测试中落后于 Mixtral。
5身份存疑的本地演示Berman 报告了有好有坏的提示测试结果；界面上的 Llama 7B 标签使模型身份无法确认。

要点建议

Microsoft 报告称，拥有 38 亿参数的 Phi-3 Mini 使用了 3.3 万亿 token 的过滤数据和合成数据进行训练。
论文报告的测试中，4 位版本在 iPhone 14 上离线运行，速度超过每秒 12 个 token。
模型的基准比较取决于具体任务、模型版本和评估设置。
论文指出模型的事实知识有限，训练数据以英语为主。
视频中的非正式测试有成功也有失败，但界面显示的 Llama 7B 标签与讲者所称的 Phi-3 Mini 身份相冲突。
Berman 估计智能体能处理 95% 的助手任务，这属于推测，而非实测结果。

主题Local inference 模型与训练 Benchmarks Open-weight models

全文

按章节阅读整理后的全文

对照原始文稿

只看原始文稿

Phi-3 与训练数据

Berman 介绍模型家族、Microsoft 的基准测试，以及使用过滤和合成数据的思路。他将自己对手机助手的期待与论文结果区分开来。

Microsoft 的 Phi-3 家族旨在通过精心挑选训练数据，提升小型语言模型的能力。在这篇 2024 年 4 月的评测中，我先看技术报告，再进行一组本地测试。它的吸引力在于模型足够小，可以在手机上运行，而不必为每项任务连接云端。

Microsoft 的图表比较了模型大小与 MMLU 衡量的质量。图中展示了 4K 和 128K 上下文版本的 Phi-3 Mini，以及作为预览版展示的 Phi-3 Small 和 Medium。Phi-3 Medium 有 140 亿参数；与之比较的 Mixtral 8x7B 是专家混合模型，总参数和活跃参数数量不同。单张图上的位置不能证明模型在所有任务上都更优。

我设想一个能调用搜索、记忆和工具，或许还能由智能体协调的端侧助手。我推测，即使小模型不如 GPT-4 和 Claude 3 Opus 等前沿模型，这种系统也可能处理大量日常请求。我估计的 95% 是预测，并非论文的实测结果。

报告介绍了拥有 38 亿参数、使用 3.3 万亿 token 训练的 Phi-3 Mini。Microsoft 报告其 MMLU 得分约为 69%，MT-Bench 得分为 8.38，并称它在选定的学术和内部测试中与 Mixtral 8x7B 和 GPT-3.5 不相上下。这些结果来自特定评估，不能证明它在所有用途中表现相当。

幻灯片 2 / 7Phi-3 技术报告摘要报告了 Phi-3 Mini 的训练规模和部分基准得分。

作者强调训练数据的重要性：经过过滤的网络资料和合成示例，沿用了 Phi-2 的方法并扩大规模。较大的模型可以帮助过滤和创建供小模型使用的训练数据。录制时我不确定具体发布条款以及从哪里下载权重，因此不能将我的不确定视为对许可证的确定判断。

论文对比了基于固定数据源的扩展规律假设，与强大语言模型过滤或生成数据所带来的可能性。研究人员认为，这种方法能让小模型达到过去通常需要更大模型才能实现的性能。这类模型究竟真的在推理，还是在复现训练中学到的模式，仍是我这几个例子无法解决的问题。

上下文、手机部署与基准测试

报告介绍了上下文长度、量化和手机测试。表格还展示了不同任务的差异与已知局限。

Phi-3 Mini 的默认上下文为 4K token；单独的 128K 版本通过 LongRoPE 扩展上下文。该模型采用类似 Llama 2 的模块结构和 32,064 个 token 的词表，论文称这使现有工具更容易适配。模型还经过了聊天微调。

幻灯片 3 / 7报告中的手机部署报告介绍了 4 位量化以及在 iPhone 14 上离线推理的情况。

Microsoft 报告称，4 位量化的 Mini 占用约 1.8 GB 内存，在搭载 A16 芯片的 iPhone 14 上完全离线运行时，速度超过每秒 12 个 token。这是在所测配置下观察到的结果，不能保证每部手机、每个提示或每种上下文长度都能达到同样表现。

论文的基准表中，Phi-3 Mini 在五样本 MMLU 上得分 68.8，Llama 3 8B Instruct 为 66.0，Mixtral 8x7B 为 68.4，所列 GPT-3.5 版本为 71.4。其他项目的结果不同：例如，Mini 在 TriviaQA 上得分 64.0，Mixtral 为 82.2。具体基准和设置很重要。

幻灯片 4 / 7基准测试表表格展示了多个模型版本在 MMLU、TriviaQA 等具体任务上的得分。

论文指出小模型的事实知识是一个弱点，包括它在 TriviaQA 上的表现。搜索或检索可以弥补这一局限，但可靠的工具使用也需要单独测试。作者还说模型主要限于英语；我推测，为其他语言制作专用模型也许是另一条路。

本地设置与编程测试

Berman 演示 LM Studio 配置、一个简单脚本和一次失败的贪吃蛇游戏尝试。可见的模型标签与他所称选用的模型并不明确一致。

演示中，我在 LM Studio 搜索 Phi-3 Mini 4K Instruct，选择下载不到 8 GB 的 FP16 版本，而不是 Q4 版本。当时的界面需要一个 Phi-3 预设，我下载后将它拖入软件。我将系统提示留空，把温度设为 0.2，并在机器上启用 Apple Metal。

幻灯片 5 / 7LM Studio 预设画面中的配置提供了演示所用的提示格式。

一个打印 1 到 100 的简单 Python 脚本成功了，界面显示速度为每秒 33 个 token。贪吃蛇游戏则更难：首次生成的代码中 directions 和 screen 变量未定义。请求修复并添加建议的定义后，程序仍无法成功运行，所以我把这次尝试记为失败。

对于这个规模的模型，我预计问答和检索辅助使用会比复杂编程更有前景。模型拒绝了提供撬开汽车方法的请求；改称是电影剧本之后，它仍然拒绝，并错误地声称助手由 OpenAI 开发。我对训练数据作了推测，但模型的自我描述不能证明其来源。

推理测试与最终评价

不同提示既得到正确答案，也出现错误。这些非正式例子不能确立模型的整体性能，尤其是界面标签仍存在疑问。

模型正确回答：如果有足够空间且条件相同，20 件衬衫可以和 5 件一样在 4 小时内晾干。它还正确排列了 Jane、Joe 和 Sam 的速度，回答了 4 + 4，并算出 25 − 4 × 2 + 3 等于 20。这些只是单个例子，不是全面的推理基准。

针对酒店每晚收费 99.95 美元、另加 8% 税和一次性免税 5 美元费用的问题，模型给出了正确表达式：1.08 × 99.95 × x + 5。接着，它未能答对一个涉及自身回答字数的问题，给出了错误字数，还附上了错误解释。

在三个杀手的谜题中，模型解释说原来的杀手剩下两人，新来的人也成为杀手，因此在所述假设下总数仍为三人。它还按要求为三个人及其年龄生成了 JSON。这两个答案都通过了我的非正式检查。

倒扣杯子与弹珠的问题得到了错误回答：它没有追踪倒扣杯子拿走后留在桌上的弹珠，而是讨论微波炉。另一个关于人物信念追踪的问题中，尽管措辞有些混乱，它正确区分了 John 认为球在盒子里，以及 Mark 知道球在篮子里的情况。

幻灯片 6 / 7杯子和弹珠问题回答未能正确追踪弹珠的位置，而界面显示了有冲突的 Llama 7B 模型标签。

要求模型写出 10 个以“apple”结尾的句子时，第三句就失败了。最后的挖坑问题中，它算出合计每小时能挖 10 个坑、每个坑需要十分之一小时，却又自相矛盾地称 50 名工人仍需要 5 小时。理想的线性扩展下答案是 6 分钟；实际空间限制可能使这种扩展无法实现。

我的结论是，对于一个小模型来说，这些结果令人印象深刻但并不稳定，特别是在贪吃蛇程序和一些推理任务上。不过有一个重要限定：虽然我说自己测试的是 Phi-3 Mini，演示界面却显示“Llama 7B”和 FP16 模型信息。仅凭视频无法判断是标签有误还是加载了另一个模型，因此不能有把握地将观察到的回答归于 Phi-3 Mini。