12 个开源 AI 项目:智能体、视频、编程与语音

原标题Twelve Open-Source AI Projects for Agents, Video, Coding and Voice

Matthew Berman 介绍从长时任务智能体到文档 OCR、技能安全检查和本地语音生成的工具。

MBMatthew Berman主持 · Forward Future
频道
Matthew Berman
发布
2026年6月24日
视频
15:12
阅读
5 分钟
幻灯片
7
原文
英语
在 YouTube 打开
往下滚动阅读时,视频会缩到右下角继续播放。字幕跟随阅读语言。
阅读语言共 2 种语言可读
由 AI 从英语原文翻译。打开“对照原文”可以逐段核对。
摘要

30 秒看懂

2026 年 6 月,Matthew Berman 介绍了 12 个 AI 项目及其针对的工作流程,涵盖智能体视频制作、研究、网络安全、编程、OCR、技能扫描、视频编辑和语音。视频是一份项目导览,并非对性能或安全声明的独立评测。

  1. 1用智能体制作视频OpenMontage 协调制作任务;Hyperframes 将网页动画转换为视频;Palmier Pro 则提供集成智能体的 Mac 编辑器。
  2. 2处理长时任务的智能体DeerFlow 结合子智能体、记忆、沙箱和技能;Hermes 则是另一个可配置的智能体选择。
  3. 3安全与技能检查网络安全技能集提供防御框架;NVIDIA 的 SkillSpector 旨在安装技能前识别风险模式。
  4. 4改善编程上下文与流程Codebase Memory MCP 为代码结构建立索引,Matt Pocock 的技能和 gstack 则把工程流程编成可重复的步骤。
  5. 5文档和语音百度 Unlimited-OCR 展示页面识别和定位;Voicebox 结合语音输出与转写,并支持本地模型。

要点建议

  1. OpenMontage、Hyperframes 和 Palmier Pro 以不同方式辅助 AI 视频制作。
  2. DeerFlow 和 Hermes 提供智能体框架,面向编程的技能和 MCP 工具则补充工作流程或代码库上下文。
  3. Unlimited-OCR 面向文档识别与版面定位,Voicebox 将语音生成和转写放在同一界面中。
  4. SkillSpector 扫描智能体技能的潜在风险,但扫描不能保证安全。
  5. 星标数、平台支持和性能数字反映视频拍摄时的情况,并非独立验证的结果。
全文

按章节阅读整理后的全文

只看原始文稿
01

OpenMontage 与 DeerFlow

Berman 介绍智能体辅助视频制作,以及面向长期研究任务的框架。

我收集了 12 个涉及视频、编程、安全、文档和语音的开源 AI 项目。这些是值得探索的工具介绍;我提到的 GitHub 热度和性能数字是 2026 年 6 月的快照,并非独立测试结果。

OpenMontage 旨在将编程智能体变成视频制作团队。用户用自然语言描述创意,它便协调研究、写稿、素材生成、编辑和合成。示例是一支科幻预告片,使用生成的动态片段和配乐,并通过 Remotion 合成;项目也介绍了解说、屏幕演示、动画等工作流程。

OpenMontage 视频制作示例
幻灯片 1 / 7OpenMontage 视频制作示例项目页面介绍了从创意到合成视频的流程。

字节跳动的 DeerFlow 是面向较长任务的智能体框架,结合子智能体、记忆、沙箱、工具和可扩展技能。视频提到的例子包括数据管线、幻灯片、仪表盘和内容工作流;Berman 建议将它作为其他智能体系统之外的另一种尝试。

02

网络安全技能与 Hyperframes

技能集将安全框架用于智能体工作,Hyperframes 则将网页动画转换为视频。

Anthropic Cybersecurity Skills 仓库为支持技能的智能体整理了网络安全框架和技术。Berman 建议用它帮助检查并改善代码库的防御,提到了 MITRE ATT&CK 和 NIST 等框架,并承认自己并非网络安全专家;拥有这些技能本身并不能证明系统安全。

HeyGen 的 Hyperframes 将 HTML、CSS、媒体和可定位播放的动画渲染为 MP4。Berman 提到产品演示、幻灯片和动态图形等用途。它使用 Chrome 和 FFmpeg,并可配合动画库,将面向网页的内容制作转化为视频制作流程。

03

代码智能与工程技能

Codebase Memory MCP、Matt Pocock 的技能和 gstack 分别处理代码导航与结构化开发流程。

Codebase Memory MCP 旨在让编程智能体了解代码库的结构。项目页面宣称索引速度快、支持多种语言且可减少 token 消耗;Berman 还介绍了三维代码图。这些是项目方的说法,并非他在视频中独立测得的结果。

Codebase Memory MCP
幻灯片 2 / 7Codebase Memory MCP项目页面列出代码索引方法和性能声明。

Matt Pocock 的技能把开发实践整理为智能体指令。Berman 强调了用于选择合适流程的 Ask Matt,以及一个围绕文档提问的工作流,帮助细化项目领域术语和记录。其思路是把有经验开发者的习惯变成可重复的工程流程。

与 Garry Tan 相关的 gstack 把智能体技能组织成开发流程。Berman 介绍了一个类似办公时间咨询的流程,用来质询创业想法,之后依次进行规划、构建、审查、测试、发布和复盘。这些技能旨在让上下文从一个阶段传递到下一阶段。

Gstack 开发流程
幻灯片 3 / 7Gstack 开发流程图中列出从思考、规划到发布和复盘的顺序。
04

OCR 与智能体技能扫描

Unlimited-OCR 读取并定位文档内容,SkillSpector 扫描与安全风险相关的技能模式。

百度的 Unlimited-OCR 是用于文档识别的开放权重视觉语言模型。演示中,它在论文 PDF 上标出段落,同时显示提取的文本和页面位置。Berman 指出,把文字与正确位置对应起来比单纯提取文字更困难。

Unlimited-OCR 文档示例
幻灯片 4 / 7Unlimited-OCR 文档示例PDF、提取出的文本与识别的页面区域并排展示。

NVIDIA 的 SkillSpector 在安装前扫描智能体技能。项目介绍了对提示注入、数据外泄和权限过大等模式的检查,支持仓库、压缩包和文件等输入。Berman 建议检查技能;扫描有助于发现风险,但不能保证技能安全。

SkillSpector 扫描类别
幻灯片 5 / 7SkillSpector 扫描类别项目列出技能扫描器寻找的风险类型。
05

编辑、智能体与本地语音

Palmier Pro、Hermes 和 Voicebox 分别覆盖编辑、智能体及语音工作流。

Palmier Pro 是 Mac 视频编辑器,视频拍摄时它可通过 MCP 连接智能体,并包含生成式 AI 功能。Berman 展示了通过指令让智能体操作编辑器的思路。他表示当时支持 macOS,希望未来支持更多平台。

Palmier Pro 智能体集成
幻灯片 6 / 7Palmier Pro 智能体集成编辑器为兼容的智能体提供 MCP 接口。

Hermes Agent 是 Berman 介绍的另一种智能体框架,可作为 OpenClaw 的替代选择。他强调了其反复使用中改进的思路,包括项目所称的处理失败技能的能力。他建议观众尝试,同时表示完整评测需要另做一期视频。

Voicebox 结合语音生成和转写,并可选择本地模型。展示的界面支持创建和编辑语音、使用类似时间线的故事编辑器及添加音频效果。Berman 展示了 Qwen 模型并谈到声音克隆;使用他人的声音需要取得适当同意。

Voicebox 界面
幻灯片 7 / 7Voicebox 界面演示展示语音生成界面和可编辑的音频。

同频道的其他文章

6 张幻灯片25:50EN → 简体中文
MBMatthew Berman· 2026年10月24日Kimi K3.1 Pro 实测:3D 演示出色,表现不一,价格有竞争力Matthew Berman · Forward FutureMatthew Berman 测试这款开放权重模型的编程、3D 渲染和视觉讲解能力,并比较基准成绩与价格。Open-weight modelsBenchmarksAI cost & performance+1
2 张幻灯片32:20EN → 简体中文
MBMatthew Berman· 2026年10月23日本地 AI 究竟适合谁?成本、取舍与混合模式的未来Matthew Berman · Forward FutureMatthew Berman 权衡数据控制和自主权,与硬件成本、设置复杂度及推理速度之间的关系。Local inferenceOpen-weight modelsAI cost & performance+1
45:08EN → 简体中文
MBMatthew Berman· 2026年10月21日Sam Altman 谈 AI 发现、意识、算力与以人为本的未来Matthew Berman, Sam Altman · Forward Future在与 Matthew Berman 的对谈中,Altman 讨论科学进步、个人助手、递归自我改进与人类自主权。AI for sciencePersonal agentsConsciousness+2
0:32EN → 简体中文
MBMatthew Berman· 2026年10月21日Sam Altman 谈持续存在的软件工作需求Sam Altman, Matthew Berman · OpenAI在一段简短访谈中,Altman 表示,尽管 AI 正在改变软件的制作方式,软件需求可能比人们预想的更大。Future of WorkSoftware engineering编程智能体
5 张幻灯片12:14EN → 简体中文
MBMatthew Berman· 2026年10月14日Gemini 4 Argon 实测:3D 演示、电子表格原型与基准成绩Matthew Berman · Forward FutureMatthew Berman 用游戏和视觉项目测试 Google 模型,并比较公布的编程与智能体基准。GeminiBenchmarks编程智能体+1
5 张幻灯片10:36EN → 简体中文
MBMatthew Berman· 2026年10月13日Meta Muse Wonder 实测:基准成绩强劲,演示表现不一,额度限制影响体验Matthew Berman · Forward FutureMatthew Berman 测试 Meta 模型的浏览器演示,并分析公开的基准成绩、使用方式和成本。模型与训练BenchmarksAI cost & performance+1