早期 GPT-3.5 微调流程演示

我演示早期 GPT-3.5 Turbo 微调流程，用来改变模型的风格和输出格式。这是一份历史教程：模型、API、笔记本、费用和可用性都可能变化。微调不会自动降低成本或保证准确性。

视频中的过程大致分三步：准备包含 system、user 和 assistant 消息的样例，上传数据，再创建微调任务。完成后服务会返回一个可用于 API 请求的自定义模型标识。

我使用署名 Matt Shumer 的 Google Colab 笔记本，以 GPT-4 生成合成样例并训练较小的模型。目标行为是夸张的讽刺评论风格。合成数据很方便，但应针对目标用途审核和评估样例。

演示中我选择 0.8 的温度并请求 50 个样例，然后安装笔记本依赖并运行生成单元。这些只是示例设置，并非通用最优值，也不能保证 50 个样例足够。

笔记本使用 API 凭据生成样例。我在录制中说展示的密钥会被撤销；凭据应妥善保密和管理，不应复制到共享笔记本中。

笔记本创建 system 消息，把生成的样例转换成所需消息格式并上传文件。我启动训练任务并查看进度；按我当时的经验，任务大约需要 20 分钟。

任务成功后，我获取微调后的模型名称，并用一个新的寿司问题测试。回答采用了要求的讽刺语气，展示了风格调整的效果，但这只是单个例子。

我建议把这种方法调整用于个人或企业聊天机器人。实际部署需要有代表性的训练数据、独立评估，并关注当前 API 文档和价格。