测试 DeepSeek Janus-Pro 的图像理解与生成能力

原标题Testing DeepSeek Janus-Pro for Image Understanding and Generation

Matthew Berman 借助赞助商提供的云 GPU 演示,用图表、表情包和图像提示词测试这款 7B 多模态模型。

MBMatthew Berman讲者 · Forward Future
频道
Matthew Berman
发布
2025年2月1日
视频
6:44
阅读
4 分钟
幻灯片
3
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

2025 年 2 月,Matthew Berman 测试了支持图像理解和文生图的 DeepSeek Janus-Pro-7B。他演示了流程图转代码、电子表格转录、表情包解读和两张图像生成,其中一次表情包解读失败。Vultr 参与赞助了视频并提供云计算环境;这些结果只是示例,并非受控基准测试。

  1. 1统一的多模态模型Janus-Pro-7B 能理解图像输入并生成图像。它并非首个结合这些模态的研究系统。
  2. 2基准测试范围DeepSeek 报告的 GenEval 和 DPG-Bench 结果比较的是特定模型及设置,并非视觉质量的所有指标。
  3. 3赞助云端演示Vultr 参与赞助了视频;Berman 在 AMD MI300X 云硬件上运行 Gradio 界面。
  4. 4视觉任务模型根据流程图生成 Python 并转录电子表格,但误读了一张职场表情包。
  5. 5图像生成Berman 生成了宇航员和酒杯图片,认为效果不错,但并不出众。

要点建议

  1. Janus-Pro 模型系列结合了多模态理解与图像生成;此前已有研究探索统一模型。
  2. DeepSeek 报告称,其 GenEval 成绩高于特定版本的 DALL-E 3 和 Stable Diffusion 3 Medium,但这不能证明它在每项图像任务中都更优。
  3. Berman 的流程图转代码和电子表格示例看似成功,但模型误解了第二张表情包。
  4. 演示运行在 Vultr 托管的 AMD Instinct MI300X 上,因此展示的速度不能证明模型在每台本地计算机上的表现。
  5. Janus 仓库与模型采用不同的许可条款;部署或商业使用前应检查模型许可。
  6. 视频中提到的云服务促销与定价属于历史信息,受当时条款约束。
全文

按章节阅读整理后的全文

只看原始文稿
01

Janus-Pro 与云端环境

Berman 介绍模型并查看 DeepSeek 报告的图像基准成绩。他披露了与 Vultr 的合作,并使用 AMD 云 GPU。

DeepSeek 发布了多模态模型 Janus-Pro,它既能回答有关图像的问题,也能生成图像。我在 2025 年 2 月测试了 70 亿参数版本。模型权重可以获取,但它能否方便地在某台本地计算机上运行,取决于内存、软件和硬件。

DeepSeek 的 Janus-Pro 基准图表
幻灯片 1 / 3DeepSeek 的 Janus-Pro 基准图表报告在选定的图像理解和生成基准上,与特定早期模型进行比较。

DeepSeek 报告称,在其评估中,Janus-Pro-7B 的 GenEval 得分为 80%,DALL-E 3 为 67%,Stable Diffusion 3 Medium 为 74%。这是论文特定条件下的一项基准结果,不能证明 Janus-Pro 在所有情况下生成的图像都更好([技术报告](https://arxiv.org/abs/2501.17811))。作者还报告了 DPG-Bench 的成绩。

看到单个模型兼具理解和生成能力令我兴奋,但它并非第一个尝试二者兼顾的研究系统:[Janus 论文](https://arxiv.org/abs/2410.13848)讨论的早期统一系统包括 Chameleon 和 Emu3。[Janus 仓库](https://github.com/deepseek-ai/Janus)提供了代码,模型使用则受单独的 DeepSeek 模型许可约束;应检查适用条款。

Vultr 参与赞助了这段视频。我在 Vultr 托管的 AMD Instinct MI300X 上通过 Gradio 界面运行 Janus-Pro,并指出服务器也可以提供 API。这是云端演示,不是本地计算机速度测试,也没有单独衡量模型或硬件各自对性能的贡献。

02

测试图像理解

模型解读表情包、将流程图转换为 Python,并转录电子表格。其中一张表情包的解读失败。

首先,我上传一张描绘 DeepSeek 与 OpenAI 竞争的表情包,要求模型解释。模型识别出这是一种竞争关系的视觉笑点,但部分描述并不准确。我展示的环境没有启用网络搜索。

接下来,我要求模型将一张猜数字流程图转换为可运行的 Python。我粘贴并运行它生成的代码,多次猜测后程序报告我获胜。这是针对这个简单例子的成功演示,并不能证明生成的程序总能符合任意流程图。

猜数字流程图
幻灯片 2 / 3猜数字流程图Berman 要求模型将这张简单的图表转换为可执行的 Python。

然后我提供一张电子表格截图,要求模型输出 CSV。我目视检查后觉得结果正确,但没有展示逐单元格的独立核对。在第二张对比初创公司和大公司的表情包中,模型没有理解笑点,将大公司一侧描述为高效和协调,而不是理解其中的批评。

03

生成图像

Berman 在同一界面中生成两张图片并分享感受,最后介绍 Vultr 当时的促销活动。

在展示的界面中,我没有加载其他模型,直接切换到图像生成,请它先生成一名身处丛林、色彩柔和的宇航员,再生成反光表面上的一杯红酒。我认为图片效果还不错,但并不出众。这两个例子属于主观演示,不是完整的图像质量评估。

生成的酒杯图片
幻灯片 3 / 3生成的酒杯图片这是云端演示中模型生成的一个例子。

我的结论是这个小模型很有前景,随后再次推广 Vultr 托管的 AMD 硬件。我提到前 30 天可获得 300 美元促销额度;该优惠属于 2025 年的合作内容,目前是否可用及具体条件应向服务商核实。

同频道的其他文章

12 张幻灯片34:21EN → 简体中文
Matthew Berman· 2026年10月27日Matthew Berman 解读 Anthropic 的上市文件、AI 增长与治理Matthew Berman, Sam Altman · Forward Future主持人审视 S-1 中的财务指标、算力战略和投票结构,并质疑 AI 快速发展与安全之间的张力。AnthropicAI Safety企业 AI+2
0:26EN → 简体中文
Matthew Berman· 2026年10月25日Sam Altman 谈 AI 世界中的人类价值与问题解决Sam Altman · OpenAI在一段简短的访谈摘录中,Altman 思考解决难题的乐趣,以及人在解读结果时的作用。Human-AI CollaborationFuture of WorkAI Strategy
2 张幻灯片0:36EN → 简体中文
Matthew Berman· 2026年10月25日Kimi K3.1 与魔方求解演示Matthew Berman · Forward FutureMatthew Berman 展示一个被打乱的虚拟魔方如何复原,并对 Kimi K3.1 的测试给予积极评价。评估编程智能体Open-weight models
2 张幻灯片0:21EN → 简体中文
Matthew Berman· 2026年10月24日AI 生成的 Kimi 基准图表使用了虚构分数Matthew Berman · Forward FutureMatthew Berman 要求生成一张 Kimi K3.1 Pro 基准图表,随后发现图中的数字只是示意性占位值。Benchmarks评估Generative media
6 张幻灯片25:50EN → 简体中文
Matthew Berman· 2026年10月24日Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。Open-weight modelsBenchmarksAI cost & performance+1
2 张幻灯片32:20EN → 简体中文
Matthew Berman· 2026年10月23日本地 AI 究竟适合谁?成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权,与硬件成本、设置复杂度及推理速度之间的关系。Local inferenceOpen-weight modelsAI cost & performance+1