Phind Code Llama 34B 对比 GPT-4：一次 2023 年 Python 编程测试

2023 年 8 月，Matthew Berman 用少数 Python 任务比较 Phind 微调的 Code Llama 模型与 GPT-4。他在检验一项关于编程表现的声明，但两个界面、模型设置以及少量单次提示不能确立普遍排名。

Meta 的 Code Llama 在 Llama 2 基础上增加面向代码的训练。最初发布包含 7B、13B 和 34B 规模，以及 Python 和指令微调变体，采用 Meta 的 Llama 2 社区许可证。权重可获取并不意味着所有用途都没有许可证条件。

Berman 展示 Phind 的声明：其微调 34B 模型在 HumanEval 上的 pass@1 分数为 67.6% 和 69.5%，相比之下其引用的 GPT-4 数字为 67%。这些是针对该基准和版本报告的结果；Phind 变体并非未经修改的 Meta 模型，这种比较也不能普遍证明它在所有编程任务中更好。

在自己的测试中，Berman 将经过 GPTQ 量化的 Phind Code Llama 34B 变体加载到托管的 RunPod 文本生成界面，而 GPT-4 在 ChatGPT 中运行。他为 Code Llama 设置 2048 token 的生成限制和 0.01 的 temperature。不同服务环境与设置限制了两次运行的直接可比性。

两个模型都生成了打印 1 至 100 整数的 Python 代码，Berman 运行后均成功。接着他要求两者使用 Pygame 实现贪吃蛇游戏，这比短小的独立函数更有挑战。

Phind Code Llama 游戏可以打开并移动，但 Berman 注意到蛇会无限增长，撞到自己时也不会结束；撞墙则会结束。他称赞窗口能够运行，同时承认缺陷，并认为进一步提示可能改善结果。

GPT-4 的贪吃蛇版本也能打开。在他的短暂测试中，蛇吃到食物后增长，撞到自己时游戏结束，因此 Berman 认为这次运行更成功。这些观察仅限展示的例子，不能验证所有游戏机制。

他转向 Python Principles 练习。两个模型都通过了返回大写字母位置的函数测试。在“全相等”列表挑战中，Phind 变体通过网站检查，而 GPT-4 生成的版本未通过一个测试；Berman 将其视为前者获胜。

下一个练习要求为非负数添加千位分隔符。两个模型都使用格式化功能生成简洁 Python 代码，并通过展示的检查。随后 Berman 尝试更难的问题：返回奇偶数字交替的最长子串，长度相同时选择最先出现的子串。

Phind 变体对交替子串的尝试抛出错误，GPT-4 的答案也没有通过网站检查。Berman 将两者都判为失败。少量问题和单次样本可以揭示具体优缺点，但不能衡量整体生产可靠性。

在重构实验中，Berman 要求 Phind 模型生成原始及重构后的 Python 示例，分别运行后看到相同输出。GPT-4 接着使用类重写这个例子；他认为代码比期望更长，但运行后也得到画面中的预期数值。

Berman 反过来测试：GPT-4 生成自己的示例和重构版本，两者都打印出画面所示的面积和周长。当他要求 Phind 模型重构 GPT-4 的示例时，界面没有返回可用回答。他记录为失败，同时表示不知道问题是否出在自己的设置。

Berman 总结说，在他测试的少量任务中，Phind Code Llama 与 GPT-4 不相上下，其中一个列表练习里 GPT-4 的答案没有通过。他的积极评价反映的是 2023 年的这些例子，并非当前模型排名，也不能证明任一模型在所有方面都更好。