摘要
30 秒看懂
Matthew Berman 介绍 LLaVA 团队关于推理能力、光学字符识别和更高分辨率图像支持得到改进的说法。他列出了模型变体,并展示用于本地运行的 Ollama 命令;基准比较是作者当时报告的结果,并非普遍排名。
- 1作者报告的改进Haotian Liu 介绍了推理、OCR、世界知识方面的改进,以及对更高分辨率输入的支持。
- 2范围有限的基准比较发布公告称模型在几个基准上超过 Gemini Pro;这是作者报告的、针对特定任务的比较。
- 3模型与本地使用Berman 列出了几个语言模型骨干,并表示 Ollama 支持在本地使用该版本。
要点建议
- LLaVA 1.6 是一个多模态模型系列,可以同时接收图像和语言输入。
- 开发者报告称,与先前版本相比,它在推理、OCR、世界知识和图像分辨率方面有所改进。
- 此次发布包含基于 Mistral 7B、Vicuna 7B 和 13B,以及 Hermes-Yi 34B 的变体。
- 团队与 Gemini Pro 的比较涉及选定基准,不能证明它在每项任务中都更出色。
- Berman 在 2024 年的演示中展示了本地命令 `ollama run llava`。
全文
按章节阅读整理后的全文
01
LLaVA 1.6 与图像理解
Berman 介绍这一多模态版本,并阅读作者关于改进和基准结果的说法。他列出了可用的模型骨干。

新版 LLaVA 已可用于多模态任务,包括理解图像。在 2024 年 1 月的发布公告中,作者 Haotian Liu 表示 LLaVA 1.6 改进了推理、光学字符识别和世界知识,并支持更高分辨率的图像输入和更多任务。
作者还报告称,该模型在几个基准测试中超过了 Gemini Pro。这是针对特定报告测试的比较,不能证明它在每项任务中都更优秀。此次发布列出了不同规模的基础语言模型:Mistral 7B、Vicuna 7B 和 13B,以及 Hermes-Yi 34B。
02
通过 Ollama 运行
他指出 Ollama 已提供支持,并展示本地运行命令。这些操作说明反映的是 2024 年 1 月视频中的情况。

Ollama 宣布支持 LLaVA 1.6,为拥有合适硬件的用户提供了本地运行模型的方式。在这次演示中,我指向模型库并展示命令 `ollama run llava`。这些设置细节描述的是视频发布时的工具情况。
同频道的其他文章
34:21EN → 简体中文Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构,并质疑 AI 快速发展与安全之间的张力。
0:26EN → 简体中文Sam Altman 谈 AI 世界中的人类价值与问题解决Sam Altman · OpenAI在一段简短的访谈摘录中,Altman 思考解决难题的乐趣,以及人在解读结果时的作用。
0:36EN → 简体中文Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原,并对 Kimi K3.1 的测试给予积极评价。
0:21EN → 简体中文AI 生成的 Kimi 基准图表使用了虚构分数Matthew Berman · Forward FutureMatthew Berman 要求生成一张 Kimi K3.1 Pro 基准图表,随后发现图中的数字只是示意性占位值。
25:50EN → 简体中文Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。
32:20EN → 简体中文本地 AI 究竟适合谁?成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权,与硬件成本、设置复杂度及推理速度之间的关系。