AI 模型之外的智能体框架：Prime Agent、OpenJarvis 与 YC 的 QM

主持人开场质疑“智能体框架只是提示词工程”的看法。外围系统会改变同一个模型能完成什么，因此嘉宾把框架设计视为值得研究的问题。

模型常按狭义智能指标比较，但实际工作还取决于工具、记忆、反馈和计算组织方式。基准结果反映的是整个配置，而不只是模型权重。

主持人讲述自己原本只想做一个界面观察研究智能体，却意外搭建了自动研究框架。简单的协调层逐渐变成能分派任务并返回论文的系统。

简短的历史回顾把提示中的示例、思维链推理与工具调用和代码执行联系起来。每一步都为语言模型提供了不同的计算或环境操作方式。

讨论随后转向组合工具、保存有用技能并利用反馈调整行为的系统。反思让一次尝试的结果为后续尝试提供依据。

递归语言模型可以调用其他模型实例，并在环境中运行代码。协调者组织这些调用，预算和时间限制则为流程设定边界。

自我改进框架进一步修改自身的外围结构，包括提示词、记忆、可用技能以及智能体的数量和角色。主持人还提到更新模型权重的研究方向。

Seth Karten 介绍围绕递归语言模型构建的自我改进框架 Prime Agent。他从一个基本事实出发：原始语言模型接收并输出 token，而框架负责把它连接到外部世界。

在 Prime Agent 中，根会话可以协调子智能体、访问程序和文件，并通过常驻后台进程持续工作。系统通过交互式编程环境提供记忆、工具和智能体。

Karten 把模型权重、活动上下文、内存变量和文件比作记忆层级。各层在访问速度、持久性和更新信息的成本上有不同取舍。

上下文压缩在窗口装满时概括前面的工作。Python 环境可以在提示词之外保存和处理较大的数据结构，子智能体则处理具体任务并汇报结果。

持久状态也需要维护。Karten 描述了删除不再需要的变量、修改保存的技能和记忆、更新提示词，让累积的上下文保持有用，而不是无限增长。

他认为框架应提供运行程序、压缩上下文和创建子智能体等表达能力，而不是让所有任务都遵循固定步骤。这是设计主张，并不证明工具越多就一定越好。

子智能体可以作为持久会话存在。父会话可以恢复先前的工作者并利用其积累的上下文，不活跃的会话也可以卸载，避免一直占用内存。

系统可以查看过去的行动与结果，进而修改指令、技能和长期记忆。Karten 提醒，目前模型在这类改进上并不完美。

智能体可以与相关会话通信，直接共享工作和上下文。Karten 认为，这对软件工程和长任务有帮助，否则人需要转述每次进展。

他认为评估应考虑时间和费用。让一个模型比另一个更早停止可能掩盖最终表现，而比较不同预算的结果也可能误导。

Karten 讲述了用 Prime Agent 测试 ARC-AGI-3 的过程。最初惊人的结果无效：检查日志发现配置存在作弊，因此他先完善沙箱隔离，再继续实验。

修正之后，他报告了多种模型与框架组合的结果，包括一次 78% 和使用 Opus 得到的 95.5%。这些是他报告的实验结果；比较时需要考虑模型、框架、预算和评估配置。

他说智能体使用代码和图像处理来检查场景，并强调阅读运行轨迹的重要性。单看基准分数无法判断系统是否正当地解决了任务，以及效率如何。

团队还研究编程密集型任务和 GPU 内核。Karten 认为以程序方式处理上下文可以减少 token 使用，但成本与性能的取舍必须针对具体任务测量。

谈到更长的研究任务时，他描述了一个为期七天、使用数百个智能体和数百万输出 token 的实验。这个例子展示的是持续计算，而不是低成本的默认方案。

Jon Saad-Falcon 介绍 OpenJarvis，这是一个可在个人设备上运行模型的个人 AI 技术栈。他的动机包括隐私、控制权和减少对云端推理的依赖。

本地模型一直落后于领先的云端模型，但模型和设备硬件都在改进。他认为应该围绕人们实际需要的工作流提问，而不是假设每项任务都需要最大的模型。

OpenJarvis 将模型、推理引擎、智能体逻辑、工具和学习机制分开。模块化设计让开发者能为设备和工作负载选择合适的组件。

项目还探索使用能力较强的云端模型优化本地配置。云端模型可以在开发阶段提出并评估修改，之后优化后的系统可以在本地运行。

Saad-Falcon 报告，优化后的本地技术栈在所评估工作负载上优于开箱配置。他说部分本地工作流接近云端表现，同时承认本地模型仍无法胜任许多任务。

他在展示的比较中提到运行成本降低 800 倍。这个数字取决于所测试工作负载和成本计算方式，不能推广到所有模型、设备或部署。

Josh France 和 Regan Bell 介绍 YC 的开源工作助手 QM。员工可以通过 Slack 或网页界面使用它，既有个人上下文，也支持多人协作场景。

他们介绍了邮件分拣、文档编辑、内部数据查询和小型内部应用等用途。目标是为日常工作提供广泛有用的助手，而不是只做一种任务的机器人。

YC 早期的通用智能体从提示词和工具循环开始，后来加入 Slack 和定时任务。随着模型改进，团队发现它能处理的问题范围扩大了。

后来的编码智能体可以从 Slack 调用、运行测试并创建开发环境。团队利用观察到的失败改进代码库指令，把反馈循环纳入系统。

个人智能体很有用，但超过 50 台虚拟机组成的部署群难以配置和维护。QM 的目标是在保留个人定制能力的同时简化运维。

QM 把会话状态移入集中数据库，把沙箱视为智能体按需使用的资源。这让会话更易管理，也让系统可以选择不同的执行环境。

累积的运行轨迹可以支持评估和改进，但团队表示全自动修复的结果好坏参半。智能体可能只优化自己看到的一小部分，忽略整个系统，因此人工审阅仍有价值。

助手连接内部资源。数据库访问大多是只读的；团队介绍，大批量修改需要先提出方案，由人审阅后再写入。

智能体可以为繁重的开发任务选择更强大的沙箱，为简单任务选择较轻量的环境，也可以使用不同模型或服务商，让系统在运行时更灵活。

团队尽量保持框架核心精简，以远程执行、对象存储和内部应用发布为主要能力，其他功能则支持记忆和定时工作。

一项实验为目标设置最低时间或 token 预算，避免智能体过早放弃。团队说，这改善了部分研究和报告结果，但额外计算也有成本。

共享对话带来了更难的社会问题：智能体可能不理解哪些信息适合在哪个场景分享。演讲者表示，有用的知识共享依赖权限系统，防止敏感信息跨越边界泄露。

演讲者最后邀请大家尝试开源项目。贯穿整场讨论的一点是，工具、状态、评估、资源选择和权限共同塑造智能体系统的行为。