30 秒看懂
Andrej Karpathy 演示如何使用语言模型应用进行问答、搜索、文档处理、编程与多模态任务。2025 年 2 月的示例具有历史时点;重要结果和当前产品信息应另行核实。
- 1聊天如何工作聊天应用把 token 和上下文传给模型。
- 2选择模型推理模型在较难问题上投入更多计算。
- 3搜索与研究搜索结果和引用仍需核实。
- 4上下文中的文档上传的文件提供具体上下文。
- 5代码与数据运行生成的代码并不免除检查的必要。
- 6多模态输入语音、图像和视频提供更多交互方式。
- 7个人工作流自定义指令和工具可以支持个人任务。
要点建议
- 聊天应用把 token 和上下文传给模型。
- 推理模型在较难问题上投入更多计算。
- 搜索结果和引用仍需核实。
- 上传的文件提供具体上下文。
- 运行生成的代码并不免除检查的必要。
- 语音、图像和视频提供更多交互方式。
- 自定义指令和工具可以支持个人任务。
按章节阅读整理后的全文
聊天与模型
基本交互与推理。
在 2025 年 2 月的教程中,Andrej Karpathy 演示自己如何使用大语言模型应用。他展示的界面、模型名称、价格和可用性都是当时的情况,可能已经变化。
他解释聊天应用如何将用户输入和对话历史转化为 token,交给模型处理并展示生成结果。模型的回答可能有用,但不应默认正确。
面对简单问题时,他会考虑信息是否常见且稳定。即使是熟悉的事实也可能出错或因情境而异,因此重要答案应对照可靠来源核实。
Karpathy 比较可选模型与推理模型。他介绍在较难任务上投入更多计算的做法,同时提醒观众注意自己实际使用的模型和服务档位。
工具与文档
搜索、研究与上传的上下文。
搜索和深度研究为工作流程增加外部信息。检索到的页面或生成的引用仍是需要检查的证据,并不能保证最终综合结论正确。
上传文档可以将具体材料放进上下文窗口。Karpathy 演示了针对文件提问,而不是只依赖模型参数中编码的信息。
代码与成果
分析、界面与编程。
Python 解释器让应用运行生成的代码,并把结果返回给模型。他演示数据分析和绘图,但输入、代码与结果仍需检查。
他展示交互式 artifacts 和代码编辑器,说明如何处理生成的界面与代码。这些例子反映 2025 年可用的工作流程,并非对工具的永久排名。
多模态与个人使用
音频、图像、视频与定制。
教程从文字扩展到语音输入输出、实时音频、图像理解与生成,以及视频。Karpathy 区分了语音转文字流水线和更直接处理音频的系统。
他演示 NotebookLM 如何使用上传的资料和生成音频,随后讨论图像输入、OCR 和视觉输出。生成的摘要和视觉解读仍可能出错。
Karpathy 介绍基于摄像头的交互、生成视频和记忆设置。他指出保存的记忆可能涉及隐私,说明了解应用保留哪些信息很重要。
他用自定义 GPT 进行语言学习练习,包括提取词汇。最后他强调生态变化迅速,不同工具各有所长。