摘要
30 秒看懂
Karpathy 讨论专业化、能力保留和更深层模型定制的成本。
- 1保留能力微调可能影响已有能力。
- 2上下文Karpathy 称上下文是相对便宜的定制机制。
- 3权重改变权重可能影响整个模型。
要点建议
- 上下文是相对便宜的行为调整方式。
- 微调会改变模型权重。
- 专业化要保留能力并具备成本效益。
全文
按章节阅读整理后的全文
01
调整模型
Andrej Karpathy 认为，深度调整 AI 模型的方法仍在发展中。他以微调时不损失已有能力为例说明挑战。
Andrej Karpathy 认为，深度调整 AI 模型的方法仍在发展中。他以微调时不损失已有能力为例说明挑战。
他对比了上下文窗口和改变模型本身：他认为前者是相对便宜且有用的行为定制方式。
02
权重与专业化
Karpathy 说，持续学习和专业化需要更好的方法来调整模型权重并提升特定领域的表现。
Karpathy 说，持续学习和专业化需要更好的方法来调整模型权重并提升特定领域的表现。
改变权重可能影响整个模型及其能力，因此比改变上下文更棘手。发言者补充，这种定制还必须在经济上可行。
同频道的其他文章
38:06EN → 简体中文
No Priors: AI, Machine Learning, Tech, & Startups· 2026年10月29日播客 · 3 人对谈Serval 的 Jake Stauch：面向企业 IT 的编程智能体嘉宾 Jake Stauch · 主持 Sarah Guo, Elad GilStauch 解释 Serval 为什么挑战 ServiceNow、如何处理权限与审批，以及为什么后台智能体仍然难以安全部署。
1:07EN → 简体中文No Priors: AI, Machine Learning, Tech, & Startups· 2026年10月27日播客George Kurtz 谈 AI 可能如何改变网络攻击嘉宾 George KurtzCrowdStrike 首席执行官介绍他对威胁变化的判断。
39:23EN → 简体中文No Priors: AI, Machine Learning, Tech, & Startups· 2026年10月15日播客 · 2 人对谈防守方的窗口期：Greg Brockman 谈 AI 生成知识、药物研发与网络安全的新规律主持 Sarah Guo, Elad GilOpenAI 总裁解释了为什么攻克未解的数学难题，是科学领域的有力证据，主动式智能体（Agent）如何改变产品形态，以及为什么安全支出必须超过软件支出。
1:04EN → 简体中文No Priors: AI, Machine Learning, Tech, & Startups· 2026年10月14日播客Walter Goodwin：芯片设计中缓慢的步骤嘉宾 Walter Goodwin一位芯片创始人解释自动化为何不能消除所有计算瓶颈。
1:09:44EN → 简体中文No Priors: AI, Machine Learning, Tech, & Startups· 2026年10月9日播客 · 2 人对谈1 万块 GB300 跑四周：Reflection 的开源模型账本主持 Sarah Guo, Elad GilMisha Laskin 在 No Priors 节目中讲述 Reflection 如何训练 Beam、为什么强化学习的投入超过了预训练，以及为什么西方需要自己的开源权重。
0:39EN → 简体中文No Priors: AI, Machine Learning, Tech, & Startups· 2026年10月8日播客Michael Lee 谈用 AI 重新思考组织嘉宾 Michael Lee一位商业领导者认为机会不止是加快任务。