You Kaichao 谈 vLLM 如何从开源项目成长为 AI 基础设施公司

主持人 Zhang Xiaojun 介绍本期嘉宾 You Kaichao，他是 Inferact 联合创始人兼首席科学家。Inferact 源自校园开源项目 vLLM，本期将讨论一个社区项目如何成长为一家公司。

开场提出一个问题：维护者为了让自己相信的项目持续发展，需要放弃什么？节目也会探讨模型、基础设施与硬件如何协同设计。

预告中，Zhang Xiaojun 提出一个技术问题：如何为需求各异的工作负载设计推理引擎？模型与基础设施协同设计将是访谈主线之一。

开场预热视频提出：面对不同模型和负载，推理引擎该如何更有效地利用能源？Kaichao 将其概括为模型与基础设施的协同设计，并提到 DeepSeek 在基础设施方面的专长。

预告还区分了 token 和电力：DeepSeek 的 token 不能直接换算成 Kimi 的 token，因为每个模型的输出都带有自身特性。

Kaichao 自我介绍说，自己在 Tsinghua 完成本科和博士学位。如今他是 Inferact 联合创始人兼首席科学家，负责维护 vLLM 生态，并希望为 AGI 提供软件服务；他也认识 Zhang 播客中的几位嘉宾。

在进入技术话题前，Zhang 先问 Kaichao 的个人经历：他最早何时接触编程，是否参加过竞赛。

You Kaichao 觉得自己是典型的理科生。他曾获得省级物理竞赛一等奖，但这并没有实质改变他的高考结果。

You Kaichao 最初通过几何画板等可视化工具接触编程，用它绘制函数，也制作过物理动画模拟。

You Kaichao 最初通过XuetangX学习 Python。备赛时他已通过在线课程学习大学物理，后来出于好奇开始学编程。

XuetangX在物理课程之外也开设 Python 教学。You Kaichao 说，那是他第一次认真学习一门编程语言。

他说，学习课程帮助自己更深入地理解难题，比反复刷题更有收获。即使高考没有考到这些额外知识，这段学习仍让他觉得很有价值。

Zhang 提到，Kaichao 的高考分数只比 Tsinghua 录取线高出约两分，并问他后来如何在大学里实现反超。

Kaichao 说，进入 Tsinghua 后，他不再纠结高考分数，而是转向自己想学、想做的事情。

You Kaichao 给教授发了十多封邮件，是因为修了十多门课，并非刻意表现自己。他确实喜欢学习和探索不同主题。

在清华，You Kaichao 研究迁移学习和数据稀缺条件下的泛化。他说，这和后来让他为人熟知的推理系统似乎相距甚远。

You Kaichao 约在 2018 年进入 AI 研究领域，当时会议论文只有数百篇，不像现在数量庞大。起初，他觉得学术评审机制运转良好。

会议投稿量呈指数增长，审稿人数却没跟上。You Kaichao 发现，评审数量和质量都难以满足论文增长的需求。

后来，他不再把发表论文当作首要目标。他觉得会议规模已经大到审稿人无法可靠评估所有投稿。

除了同行评审的问题，You Kaichao 还发现算法进步越来越依赖机器学习系统。仅靠更好的算法，无法突破数据、算力和实现方面的限制。

他回忆自己读新论文时，常觉得每篇都揭示了一个新方向。但许多想法可以先用小实验尝试，真正困难的是判断它们能否扩展到大规模。

他和其他学生有时会设想已发表方法的变体，但小实验无法证明某个想法能规模化。后来他认为，这是空想与可用系统工作的关键区别。

You Kaichao 说，小实验可能让想法看起来很有前景，但扩展到大规模后往往会暴露系统瓶颈。他当时的项目还没有在大规模下产生同等影响。

You Kaichao 读书时经常参加业界活动。2022 年 VALSE 会议期间，他与旷视的 Zhang Xiangyu 交流，这让他看到计算机视觉算法如何受专用硬件影响。

2022 年 VALSE 会议上，You Kaichao 与当时在旷视从事计算机视觉研究的 Zhang Xiangyu 交谈，由此体会到算法与专用硬件之间的紧密关系。

旷视曾专门为目标检测和计算机视觉开发硬件。工程师需要手动管理不同层级缓存间的数据移动，这让 You Kaichao 直观地看到系统限制。

Kaichao 说，专用硬件与算法之间的联系给他留下了深刻印象。加上其他经历，他因此从算法研究转向大规模系统研究。

You Kaichao 把机会变化与时代联系起来：早期算法研究相对开放；后来 scaling 时代更看重算力和数据，也让高效利用这些资源的系统变得更重要。

You Kaichao 说，何恺明所在的时代，算法研究有更多未知领域。Scaling law 受到重视后，研究者往往可以通过增加数据和算力改善结果，系统的重要性也随之上升。

You Kaichao 本科时做研究不多；他通过课程和实验室提供的机会逐渐转向 AI。

本科期间，You Kaichao 学习了公开课程，包括李飞飞的计算机视觉课程和 Christopher Manning 的自然语言处理课程。之后他进入实验室继续学习 AI。

Kaichao 原本考虑过出国留学，但疫情打乱了计划，于是留在 Tsinghua。此后他继续在那里研究迁移学习和数据稀缺条件下的泛化。

他研究的数据稀缺方法通常是在现有方案上增加通用技巧，把准确率提高一两个百分点。成果很大程度上依赖其他团队的任务和资源。

You Kaichao 开始读博时，GPT-3 刚发布，大模型正在兴起。他所在实验室缺少预训练算力，因此他转而研究微调方法。

大模型微调研究带来的提升有限，但更大的预训练模型很快就超过了这些结果。You Kaichao 因此认为，相比渐进式算法改进，系统工作可能提供更持久的贡献。

博士后半段，You Kaichao 转向机器学习系统。2024 年他以访问学者身份回到 Berkeley，开始直接参与 vLLM 和推理研究。

这段 Berkeley 实习早于 You Kaichao 获得清华特等奖学金；他在 2019 年底前后获奖。这两件事都影响了他对自身选择的看法。

RISE Lab 将机器学习算法与系统研究结合起来：Michael Jordan 领导算法方向，Ion Stoica 从事机器学习系统研究。

在 Berkeley 的 RISE 实习期间，You Kaichao 接触到机器学习和系统研究者。当时即将跟随 Ion Stoica 读博的 Zhuohan Li 向他介绍了自己的研究经历。

Zhuohan Li 当时刚进入 Stoica 课题组读博，You Kaichao 是本科实习生。听他介绍研究后，You Kaichao 加了他的微信。

2019 年暑期访学结束后，Kaichao 回到 Tsinghua。后来 Michael Jordan 和 Ion Stoica 到校访问，他帮忙安排活动，也和两位教授交流了研究。

Kaichao 说，他担心自己做出的东西无人使用。一次访问活动期间，他问 Ion Stoica，怎样才能做出真正有人愿意用的机器学习软件。

Stoica 告诉他，好的软件总会找到用户。这番话帮助 You Kaichao 克服了“做出的东西无人采用”的担忧。他说，这只是早期影响，并没有立即决定他的职业方向。

Tianshou 用于训练游戏智能体。You Kaichao 与本科同学 Jiayi Weng 一起开发这个项目，获得了构建可复用系统的实践经验。

2022 年底 ChatGPT 发布时，Kaichao 发现朋友 Jiayi Weng（网上昵称“青苹果”）已经成为 ChatGPT 的训练师，他的名字也频繁出现在 OpenAI 博客文章中。Kaichao 因此向他请教自己未来该走哪条路。

You Kaichao 认为，算法和数据研究与公司的资源紧密相关，而基础设施工作可以构建可复用系统。他当时也在权衡疫情带来的影响和自己的长期方向。

到 2023 年秋天，国际交流恢复了，RISE Lab 也已更名为 Sky Computing Lab。Kaichao 当时已决定继续研究机器学习系统，于是问 Ion Stoica 能否回 Berkeley 做访问学者。

You Kaichao 告诉 Stoica，四年来他一直在想自己能否做出有人使用的东西。这次访问让他重新面对初到 Berkeley 时提出的问题。

vLLM 项目源于一系列人际联系和时代机遇。You Kaichao 说，2019 年的实习让他认识 Zhuohan Li，并在项目出现之前就开始关注系统。

回顾转向系统研究的过程，You Kaichao 认为既有个人选择，也有时代因素。实习、开源尝试和大模型兴起相互推动。

You Kaichao 区分理论机器学习研究和打造他人可用的实践基础。他说，两者没有高下之分，只是自己更喜欢基础设施。

You Kaichao 更喜欢构建支持他人工作的实践基础。他不认为理论和系统有优劣之分，区别只在于个人偏好。

You Kaichao 和 Jiayi Weng 把 Tianshou 做成可复用的强化学习工具包。两人同样希望打造他人能用的东西，这与研究兴趣相近同样重要。

You Kaichao 和 Jiayi Weng 志趣相投，一起开发 Tianshou。他们的合作源自共同兴趣，而不是为了创业。

You Kaichao 对学术发表失去兴趣是一个渐进过程。博士早期他仍相信研究流程，后来才认为系统研究更符合自己的目标。

清华特等奖学金表彰了 You Kaichao 早期的工作，主要是 2019 年之前的成果。他说，这项荣誉并没有立即决定他未来的方向。

You Kaichao 说，如今清华特等奖学金较少被当成绝对排名。奖学金可以肯定成绩，但不应变成限制学生身份的公共标签。

You Kaichao 记得清华有多个奖学金项目，许多成绩优秀的学生都获得过奖励。这些奖项旨在认可成就，而不是从学生中选出唯一赢家。

You Kaichao 回忆，一些奖学金获得者年纪尚轻时就受到广泛关注。他认为学生可能还不够成熟，难以承受这种公众目光。

他记得，获奖本科生的宣传有时声势很大。学校后来减少了这类宣传，意识到学生还没准备好面对过度曝光。

公众有时把奖学金说成是在清华本科生中选出十位最优秀者。You Kaichao 认为，这种说法给年轻学生的奖项附加了过多意义。

You Kaichao 说，大学应该是学生参与其中的舞台，而不只是旁观的地方。他以校友身份分享这个看法，并非仍在寻求认可。

Zhang Xiaojun 问 You Kaichao 是否很早就偏爱标准化、通用型工具。You Kaichao 提到 Tianshou：这是一个小型机器学习系统，能帮助研究者复用成果。

You Kaichao 对论文逐渐失去兴趣，部分原因是投稿结果难以预料，还要为渐进式成果反复辩论。系统研究则可以追查性能提升的来源。

做系统研究时，You Kaichao 可以追溯性能提升的原因，并解释背后的原理。他觉得这比依赖不确定的论文评审更可预测。

他认为系统研究很有成就感，因为优化投入能带来可测量的提升。研究者可以检查具体机制，解释发生了什么变化。

You Kaichao 说，真正有影响力的算法研究机会很少，而且需要强大的资源支持。缺少这样的环境，再巧妙的想法也难以验证或扩展。

他更看重具体的实用指标：用户是否采用软件、给仓库点星，或反馈软件确实有帮助。可复现的性能提升能给用户明确、可验证的收益。

工具已经实用后，团队可以再写论文记录它的作用。此时评审者面对的是一个能运行的成果，而非推测性的主张。

他喜欢能明确告诉用户某种方法为何快一倍。例如，结果可以由其他人复现，他们的反馈也能提供实践验证。

主持人问 vLLM 是如何起步的。Kaichao 说，他 2019 年就认识了 Ion Stoica，但 vLLM 是后来、约在 2023 年年中随着 PagedAttention 论文工作而诞生的。

在 vLLM 出现之前，You Kaichao 只能独自探索，而欧美的大模型研究正在加速。后来这个项目让他得以参与系统研究浪潮。

You Kaichao 是在 vLLM 启动后加入的：项目约于 2023 年年中启动，6 月开源，在他 2024 年访问前已经开始成长。

vLLM 最初团队来自 Ion Stoica 的学生，起初是实验室研究项目。Zhuohan Li 是创始研究者之一。

Kaichao 把 vLLM 放在 Berkeley 的开源基础设施传统中来看，并提到 BSD、RISC-V、RAID、Spark 和 Ray。这些项目都从研究环境起步，后来发展成长期服务业界的系统。

You Kaichao 说，项目先是研究工作，随后学生成为维护者，并发展出更广泛的社区。他觉得 vLLM 有机会像 Spark 一样成为行业基础设施。

Kaichao 回忆，有人建议研究团队设定一个专注五年的目标，让博士生持续投入某个领域。时机合适的项目可能由此成长为 Spark 那样的重要基础设施。

You Kaichao 认为 vLLM 可能成为 Berkeley 传统中的下一个基础设施项目。他到达时，项目已经开源并吸引了用户。

You Kaichao 发现，维护开源项目比预期困难，因为博士生处于不同阶段。新生需要研究成果，临近毕业的人则忙于求职。

他解释了学生所处阶段的重要性：博士一年级学生通常需要论文，快毕业的学生则忙于找工作。处于中间阶段的人可能有时间维护基础设施。

临近毕业的学生忙着求职、进入业界，通常抽不出时间维护开源软件。项目需要找到日程允许他们长期投入的维护者。

You Kaichao 决定转变研究方向后，作为第四位核心贡献者加入项目。他并非为了个人名声创立项目，而是想为重要项目出力。

他是第四位核心贡献者，并全身心投入项目。最早的维护者包括 PagedAttention 论文作者和 Woosuk Kwon（Woosuk Kwon）。

一位早期贡献者已有丰富开源经验，后来成为 Inferact 的 CEO。You Kaichao 说，核心团队是在合适时机能够全职投入的一群人。

Woosuk Kwon 是继 Zhuohan Li 和另一位维护者之后，最早全职投入项目的人之一。You Kaichao 随后加入，既有时间，也觉得项目值得长期维护。

You Kaichao 不认同一定要由后来领导项目的人来创办它。他说，关键是有人在机会出现时为有用的项目做出贡献。

You Kaichao 认为 vLLM 很有吸引力，因为大模型训练完成后还需要推理服务来生成输出。项目满足了模型和硬件迅速变化时不断增长的需求。

推理是训练后的环节：模型需要服务系统才能生成输出。You Kaichao 认为，vLLM 占据了大模型技术栈中的关键位置。

回到 Berkeley 之前，You Kaichao 在交换申请中就提出了项目设想。他的兴趣已经转向推理，以及能产生实际影响的软件。

Kaichao 区分了 vLLM 和与之相关的 PagedAttention 论文。论文提出了一种借鉴操作系统虚拟内存的 KV 缓存管理方法；vLLM 则在此基础上发展成完整的推理系统。

他说，vLLM 要解决的更广泛问题是：当模型和硬件快速演进、彼此紧密耦合时，如何提供高效推理。PagedAttention 管理自回归推理过程中产生的中间状态，也就是 KV 缓存。

PagedAttention 并非孤立的理论技巧：研究者分析大语言模型推理时也可能得出类似想法。论文的贡献是把方案具体化，并用大量实验验证价值。

尽管实验很多，PagedAttention 论文在会议评审中仍只是勉强达到录用线。论文接收后，作者发布了 vLLM 原型，让用户能在实际系统中体验这项技术。

PagedAttention 与 vLLM 成为推理系统的核心，后来团队又加入了其他优化。You Kaichao 说，项目范围逐渐超越最初的论文。

团队先做出展示收益的原型，再向公众开源。You Kaichao 认为，这与 Stoica 的理念有关：有用的软件应该分享出去并找到用户。

论文原型开源后，Ion Stoica 鼓励团队继续维护 vLLM，把它发展成开源推理项目。Woosuk 和 Zhuohan 延续了这项工作，之后 Simon 和 Kaichao 也加入进来。

You Kaichao 说，人们自然会进出公司，但维护者离开时，开源项目更容易受到影响。团队面临的挑战是让这项工作足够有意义，从而留住维护者。

You Kaichao 重视有意义的工作，而不是在公司层级中晋升。他加入 vLLM，是因为维护重要基础设施比追求头衔更有意义。

You Kaichao 说，贡献者有时会因个人原因离开，不能强求。维护者依靠工作意义和共同承诺，而不是头衔来凝聚团队。

团队的基本需求很简单：食物、住处、电脑和网络。You Kaichao 说，共同的目标感让他们能够接受资源有限的处境。

创始人开玩笑说，团队除了吃住、网络和电脑之外什么都没有，但因为相信这项工作仍然满足。这种使命感帮助他们熬过艰难时期。

You Kaichao 把 2024 年描述为重构之年：在 2023 年发布 PagedAttention 论文和原型之后，团队着手让系统可靠起来，能在研究演示之外真正使用。

2025 年，随着模型和硬件发展，团队转向大规模部署。开放模型的发展也越来越集中在中国，因而需要更强的本地支持。

2025 年中国开源模型迅速发展，vLLM 因而需要支持更多新架构。You Kaichao 说，团队在中国的社区帮助满足了这些需求。

开源项目会有人加入，也会有人离开，这让 vLLM 团队的进展显得不确定。You Kaichao 说，他们熬过了一段多变的时期，并没有严格照着固定计划行事。

主持人问，既然用户可能感觉不到太大变化，团队为什么还要做 V0 到 V1 的重构。Kaichao 说，这是为了应对模型与硬件不断演进给推理引擎带来的新挑战。

他把模型比作将资源转化为有用产出的发电机，把硬件比作能源。这一比喻引出推理引擎和模型为何需要协同设计。

他把重构比作新一代电力基础设施取代旧系统：底层系统发生显著变化，用户仍应感受到连续一致的服务。

V0 到 V1 的目标，是在应用切换模型和硬件时保持一致的用户体验。用户不应该每换一种后端就重新学习一套接口。

V0 和 V1 反映了模型与硬件需求持续变化的现实。团队希望通过版本演进，让用户在这些变化中仍能使用一致的接口。

2024 年，vLLM 处理的模型架构与硬件还没有紧密耦合。一些复杂的注意力方法会影响推理引擎，但整体工作负载尚算可控。

起初，模型架构与硬件还没有紧密耦合。一些复杂的注意力方法会影响引擎，但专用模型大量涌现的浪潮还没有到来。

DeepSeek V3 在 You Kaichao 从 Berkeley 回来时发布，不久后又推出 R1。它们快速发布且经过优化的架构，改变了推理框架需要支持的内容。

DeepSeek 的 MoE 模型迭代了好几代，vLLM 增加了相应的优化实现来提供服务。团队需要了解模型团队在基础设施上的选择。

DeepSeek 的优化基础设施促使 vLLM 学习其实现方式。You Kaichao 说，模型发布与基础设施技术开始更加直接地相互影响。

模型发布速度很快，团队必须在生态稳定之前及时适配。You Kaichao 回忆，一些公司准备在大型行业活动上发布模型，需要推理支持，压力随之而来。

中国开源模型日益复杂，vLLM 必须提供支持并加强与用户的沟通。You Kaichao 在 2025 年投入精力发展中国的 vLLM 社区。

中国用户最初较难参与以美国为中心的项目交流渠道，例如 Slack；时差也让线下协作不便。You Kaichao 帮助建立了本地 vLLM 社区。

国外的沟通软件给中国用户带来障碍。维护者于是创建了中文 vLLM 社区，让用户更容易获得支持。

You Kaichao 回到中国后发现，许多 vLLM 用户因时差和渠道有限，很少直接联系维护者。本地社区帮助缩小了这个距离。

PyTorch Foundation 的治理调整为 vLLM 提供了正式的治理归属。You Kaichao 说，这解决了一个问题：比大学实验室更庞大的项目，应该由什么机构保障延续性。

一些创始人不确定 vLLM 能否长期找到维护者。Stoica 建议效仿成熟开源项目，建立持久的基金会治理模式。

基金会提供治理和开源承诺，但不主导 vLLM 的技术路线。工程决策仍由维护者和贡献者在项目内部作出。

PyTorch Foundation 托管许多顶级项目，包括 PyTorch 本身。You Kaichao 说，基金会能提供治理，却不会接管技术方向。

基金会可以保证 vLLM 继续作为开源项目存在，并保护项目名称。大学实验室无法承诺学生毕业后的项目延续。

实验室五年的学生周期无法保证项目长期维护。基金会可以持有项目身份和商标，另一个组织则负责持续提供工程力量。

创始人希望 vLLM 在商业化过程中仍保持开源。Inferact 可以主导技术开发，其他社区公司也能参与贡献。

Inferact 并不是唯一开发 vLLM 的组织。Red Hat、NVIDIA 和 AMD 等也会贡献代码；基金会则确保项目名称和开源状态属于公共领域。

基金会持有 vLLM 商标，并保证项目保持开源。Inferact 是技术领导者，但并非项目或其名称的唯一所有者。

Stoica 提醒说，如果没有公司来支撑，发展到 vLLM 这个规模的项目可能会消亡。他用大型基础设施项目背后的组织支持作比喻。

Stoica 认为，vLLM 已成为重要基础设施项目，却缺少能长期支撑它的组织。You Kaichao 说，公司可以支持开发，同时让项目继续开源。

单独一家公司无法对开源生态强加条件。如果某家公司控制项目，其他贡献者可能不接受它的路线或治理方式。

Kaichao 说，公司可以支撑 vLLM 的发展，但创始团队当时还是缺乏创业经验的学生。他们必须在承担这份责任与更稳妥的学业、就业道路之间作出权衡。

You Kaichao 说，学生团队对创业既陌生又不自在。他们必须决定是否离开安全的学术道路，承担从未承担过的责任。

Stoica 早在 2024 年就建议学生创办公司。创始人缺乏创业经验，但也明白其他公司不可能永远派员工来维护 vLLM。

Kaichao 早已决定加入 vLLM 创业团队，但其他成员还没下定决心。他无法独自创业，于是先接受博士后职位，等大家准备好再一起行动。

You Kaichao 已经决定加入创业公司，但其他人还没作出承诺。等待大家共同决策时，他先接受了一份博士后职位。

Kaichao 问 Michael Jordan，自己该选择高薪工作，还是继续支持 vLLM。Jordan 凭借过往经验建议他支持项目；Kaichao 觉得这番建议很有说服力。

Kaichao 说，这番建议让他更加确信团队最终需要成立公司来维持 vLLM 的发展，只是当时还没到合适的时机。

You Kaichao 认为另一位创始人可能更适合担任 CEO。他说，团队的职责分工源于各自的优势和经验，而不是职位头衔。

所有创始人都认为 vLLM 需要一家公司支持才能继续发展。他们也意识到，不能总指望外部公司在项目需要时派人帮忙。

团队发现，合作伙伴只能在自身优先事项范围内提供帮助。他们不能无限期要求其他公司的员工维护 vLLM，因此需要自行招聘。

创始人最后认为必须自己创办公司。CTO Woosuk Kwon 最犹豫，因为他在外部有特别好的机会。

创始人考虑了 Woosuk Kwon 加入其他公司可能获得的财富。他们问，如果 vLLM 日后失败，这些报酬还是否重要。

为了说服 Woosuk Kwon，创始人问他：如果几年后 vLLM 失败，他会不会后悔当初离开？这个问题触及了他对项目的感情，也超越了商业计算。

创始团队说服 Woosuk 加入，也邀请了多年参与开源项目的 Roger 等伙伴。他们有着共同目标：为 AI 时代打造推理引擎。

尽管外界提供了高薪机会，创始人还是选择创业，因为他们想把 vLLM 做好。公司注册前夕，一家大型科技公司的高管试图把四位创始人一起招过去。

对方开出高额报酬，希望他们为公司搭建推理基础设施。但创始团队当时已决定创办 Inferact，于是毫不犹豫地拒绝了。

Woosuk 没有加入 xAI 或 Thinking Machines Lab，不过他曾在 Google DeepMind 兼职。Zhuohan Li 没有加入 Inferact，因为他更早毕业、已经开始工作，也在原公司承担了自己的职责。

Zhuohan Li 的算法促成了 vLLM 推理引擎的诞生，但他没有加入 Inferact。他在 2024 年就毕业了，比其他人早；当时大家还没准备好创业，他已在 OpenAI 和 Meta 有自己的工作。

Zhuohan Li 毕业后已建立自己的职业发展路径，没有加入 Inferact。You Kaichao 说，他们没有要求他放下现有工作和责任。

You Kaichao 说，自己很早就作出决定，之后很少怀疑。他们认为项目重要到值得一试，宁愿努力让它成功，也不愿去接受高薪职位。

You Kaichao 说，四位创始人都希望 vLLM 成功，尽管 Zhuohan Li 没有加入公司。他们共同思考的是：如果不试着维持这个项目，日后会不会后悔？

主持人问 vLLM 实际上如何治理。Kaichao 说他先谈项目本身：他们采用常见的分层模式，由一小组“仁慈的独裁者”作最终决定。

vLLM 采用分层治理：少数“仁慈的独裁者”作最终决定，约十几位核心维护者负责日常领域，外围还有更广泛的贡献者。

少数决策者作最终决定，约十几位核心维护者负责日常领域。PyTorch Foundation 的治理结构也有大型公司和硬件厂商参与。

基金会治理中有大型公司和芯片厂商参与，但工程路线仍由技术维护者主导。

You Kaichao 说，开源项目更像俱乐部，而不像公司：贡献者可以离开，项目也没有雇佣关系中的管理权力。即便如此，负责人仍需要解决分歧的流程。

维护者每周同步优先事项。You Kaichao 说，难点在于决定该支持哪些功能和工作负载，而不只是接收更多外部贡献。

推荐系统开发者反对移除 Beam Search，因为这项功能对他们很重要。You Kaichao 说，vLLM 必须优先满足核心推理场景。

Beam Search 是一个艰难的取舍。推荐系统开发者虽然很需要它，但 You Kaichao 认为它太复杂，也不适合 vLLM 优先支持的大语言模型工作负载，于是将其移除。

项目并不优先支持每一个小模型，包括一些只有几亿参数的模型。维护者会聚焦用户实际部署的模型。

贡献者超过两千人，vLLM 无法审核每一项改动。You Kaichao 说，团队必须决定哪些事不做；AI 编程代理还会增加贡献量。

Kaichao 说，按贡献者活跃度计算，vLLM 已成为 GitHub 上最活跃的项目之一。大量贡献既是好事，也是负担：维护者得筛选提交，并决定有限的审核时间该投向哪里。

有些培训项目鼓励学生提交内容很少的 PR，以便增加求职筹码。You Kaichao 说，这让维护者不堪重负，也削弱了有意义的贡献。

有些 PR 完全由代理生成，没有人类参与或负责。维护者把这种空洞的自动生成提交称为“AI slop”。

有些提交由代理生成，缺少人类负责和上下文。维护者称之为“AI slop”；他们可能直接拒绝，不把有限的审核时间花在缺乏实质内容的工作上。

主持人问这是否是更普遍的社区趋势。Kaichao 提到 PyTorch 维护者 Edward Yang 的文章：维护者可能没有精力审核每个 PR，与其逐一审查，不如亲自实现真正需要的功能。

Kaichao 说，维护者可以让编程智能体实现某项功能，因为他们更了解代码库和用户需求。因此，准确报告真实问题会变得格外重要。

You Kaichao 不确定社区是否应该更多依赖 AI 贡献，但 vLLM 仍需要人类维护者提前考虑尚未公开的模型和硬件。

维护者必须考虑未来几个月才会出现的模型和硬件，而不只是当前发布的产品。这需要通用编程代理所不具备的背景和预判能力。

他认为，项目的延续很大程度上依赖创始团队持续参与。当技术骨干发生变化时，社区也必须适应，可能因此失去方向。

You Kaichao 提醒，编程代理会造成一种错觉，让人觉得所有软件都很容易写。有些项目仍然需要深厚的领域知识和持续的技术判断。

主持人问开源社区分裂或衰落的原因。You Kaichao 说，项目能否成功取决于是否满足真实需求，以及能否维持幕后工作。

影响力大的项目还需要可持续的维护者。You Kaichao 提到，重要开源依赖往往长期得不到投入，直到严重故障暴露风险。

招募 Woosuk Kwon 尤其重要，因为项目需要一位能把握技术方向的维护者。You Kaichao 说，只靠他和 Simon 两人是不够的。

You Kaichao 说，一些根基良好的项目也会因维护不足而陷入困境。即使软件很关键，社区往往要等到它出问题才愿意投入。

他以 OpenSSL 事件为例：关键软件长期只有少数人维护。这个教训是，所有人都依赖着可能资源不足的基础设施。

开源维护经常资金不足，直到故障发生，人们才意识到自己依赖了它。You Kaichao 说，只要软件还能用，社区的重要性就很容易被忽视。

如果把 vLLM 放进一家大公司，项目治理就可能受到该公司的利益影响。其他贡献者未必接受这种安排，生态也更难团结。

被问到公司在什么时候变得不可或缺时，Kaichao 说并没有一个单独的转折点。到 2025 年，团队在人员、法律和算力方面的需求不断增加，开源社区已难以稳定满足。

第一个问题是人力：志愿者来来去去，重要功能很难持续推进。公司可以让成员全职专注于项目。

和公司合作还需要签保密协议。没有法人实体的开源社区无法签 NDA，也无法接触合作方的机密部署信息。

团队需要一个能签协议、接收合作方信息的法律实体。客户希望有人协助部署大型推理集群，这种合作也需要合法身份。

到 2025 年，很多性能优化必须在集群层面完成。别人临时借给他们的算力可能随时被收回或转作他用，很难据此安排长期工程工作。

Kaichao 说，借来的集群可能一个月后就被收回，或被提供方拿去处理紧急内部任务。团队无法围绕这种没有保障的资源制定长期计划。

到 2025 年，项目规模让团队难以继续无公司运作。创始人一直在等待合适时机，也等着完成学业。

创始人都毕业后，决定创办公司。Simon 与 You Kaichao 想法相近，Woosuk Kwon 则还需要时间考虑个人风险。

创始人请 Woosuk Kwon 设想一下：如果他放弃高薪职位加入 vLLM，几年后项目却失败会怎样。他考虑了几天，最终同意加入。

团队还要讨论融资，这也是他们最缺乏经验的领域之一。由于投资者此前已支持 vLLM，融资过程比他们预想的顺利。

A16Z 在 2023 年就为 vLLM 开源项目提供过资助。后来也有其他投资者捐款支持社区，所以 Inferact 成立前，他们已经了解这个项目。

Sequioa 和真格基金也支持过开源社区。投资者很早就看到了 vLLM，并认为它是重要基础设施。

Kaichao 说，投资者一直在等创始人作决定，有人甚至说资金早已备好。即使种子轮融资结束后，团队仍不断收到大额 SAFE 投资的意向。

尽管种子轮金额很大，Inferact 仍计划根据发展和阶段目标安排融资。You Kaichao 说，他们谨慎乐观，不会只因为有钱可拿就融资。

You Kaichao 说，投资者感兴趣是因为 vLLM 在开源模型发布中处于核心位置：新模型需要推理引擎支持，客户也准备好了。

投资者看好 vLLM，是因为它在开源模型生态中处于核心位置：每个新模型和芯片都需要推理支持。Kaichao 说，客户也一直在等他们成立公司。

创始人当时还在完成学业，没有太多时间经营公司。七月毕业后，他们才能更认真地推进创业。

Kaichao 说，他一直催促大家尽快创办公司。主持人接着问，几位创始人如何分工，以及 Ion Stoica 扮演什么角色。

Stoica 对行业有广泛视角，会建议公司每个阶段应该聚焦什么。创始人再各自负责具体领域和已有合作关系。

创始人根据已有联系人和工作来划分职责。Ion Stoica 提供高层建议，每位创始人则推进自己熟悉的方向。

四位创始人仍以某种形式共同承担技术领导责任：谁负责的领域出现决策，谁就可以推进，其他人会支持。Kaichao 说，社区没有因此失去对 Inferact 的信任；许多用户本来也希望他们成立公司，这样团队就能签 NDA、获取资源。

公司通常把算力留在内部，很难借给外部团队。捐款也带来实际问题，例如资金由谁持有、怎样购买所需算力。

有了员工和硬件，团队能更稳定地支持新模型和加速器发布。合作伙伴也可以作出过去依靠志愿者难以承担的承诺。

商业伙伴会在 Inferact 帮助整个项目支持新模型和硬件时提供支持。You Kaichao 说，许多伙伴希望 vLLM 能继续服务社区。

当社区需求与商业请求冲突时，社区需求仍然优先。You Kaichao 说，目前需求超过团队能力，Inferact 可以拒绝那些会让团队偏离项目的客户。

PyTorch Foundation 不管理项目日常技术决策。维护者和公司负责工程工作，基金会提供治理支持。

创始人说，他们从未考虑过关闭 vLLM。如果想做闭源项目，完全可以另建专有系统；他们相信开放基础设施对生态更有益。

公司名称把“inference”（推理）与“act”（行动）结合起来。You Kaichao 希望 vLLM 成为推理的代名词，由 Inferact 围绕它构建服务。

Kaichao 希望 Inferact 能把 LLM 推理做到可靠、成熟，让人们想到推理时就会想到 vLLM 和 Inferact。公司会建设 vLLM 生态，同时探索托管 Endpoint 等商业服务。

一种产品可能是托管式按量付费服务。另一种是 BYOC（客户自带云）：客户提供机器，Inferact 提供软件，在这些机器上生成 token。

Inferact 不是按小时出售工程师的咨询公司。它的价值应该来自生成更多 token，或降低客户的算力成本。

经营公司改变了团队设定优先级的能力。作为志愿者项目时，维护者只能催大家完成工作；现在全职员工需要对交付负责。

在志愿者项目里，维护者只能请同学完成任务。作为公司员工，团队可以承诺截止时间并协调全职投入。

创始人现在每天同步，合作比同学时期兼职贡献时紧密得多。全职负责让他们能围绕具体承诺协调工作。

谈到今年的计划，Kaichao 说 Inferact 会继续专注开源 LLM 推理生态：推出新一代推理引擎、支持新模型和硬件，并应对新型 Token 工作负载。

You Kaichao 说，公司还需要证明开源推理如何满足客户需求。接下来，访谈从公司历史转向技术协同设计。

主持人请 Kaichao 面向非技术听众解释模型与基础设施为何需要协同设计。Kaichao 从人们常用的类比说起：Token 就像电力。

You Kaichao 把系统比作能源基础设施：硬件是自然资源，模型是发电机，推理引擎则像电网，把有用产出送给用户。

他接着问，面对某个地方现有的能源，发电机应该怎样设计。这引出了模型与基础设施协同设计的思路：让发电机适配能源来源，并匹配负责输送产出的电网。

“Hardware Lottery”描述了一个现象：想法能否成功，部分取决于它是否适合现有机器。随着摩尔定律放缓，硬件专用化让这种影响更明显。

制程进步带来的通用性能提升放缓后，芯片越来越专用。模型和软件需要适配这些芯片，才能发挥它们的性能。

Kaichao 以 Hinton 的 Capsule Networks 为例，说明某些想法难以适配 GPU 硬件。他还说，模型架构决定推理效率的上限：如果上限太低，系统工程师再优化也无法弥补。

模型团队开始使用硬件时，芯片已经造好，因此算法往往需要适应现有能力。硬件设计者也需要了解自己希望加速的算法需求。

被问到模型架构如何提升推理效率时，Kaichao 举了 RoPE 为例。主持人请他具体说明，设计良好的架构如何改善推理系统效率。

随着序列变长，RoPE 得到广泛采用；FlashAttention 又让高效注意力内核更容易使用。需要重写内核的位置编码方法失去了实际优势。

随着 FlashAttention 普及，需要修改注意力内核的位置编码逐渐不受青睐。RoPE 能配合已有内核，更容易高效使用。

RoPE 体现了良好的适配：旋转位置编码可以与注意力内核配合。FlashAttention 的高效实现也让那些需要改动注意力核心的替代方法吸引力降低。

You Kaichao 称 DeepSeek 的基础设施团队世界一流，但不想作绝对排名。他说，算法与系统协同设计的能力让它脱颖而出。

2024 年初，DeepSeek 的算法研究者研究 MoE 模型时，也学习如何高效实现。双方合作让架构和运行时一同演进。

DeepSeek 的算法研究者学习基础设施限制，系统工程师也帮助设计高效实现。You Kaichao 说，协同设计应该是双向的，而不是算法团队单方面向系统团队提需求。

You Kaichao 说，条件允许时应该招聘同时懂算法和基础设施的人。至少也要通过紧密合作，让双方了解彼此的限制。

基础设施也不该支配算法决策。You Kaichao 以 Expert Choice 路由为例：有利于系统负载均衡的选择，未必能产生研究者想要的模型行为。

主持人问算法团队和基础设施团队应该谁的话语权更大。Kaichao 说，很多公司由算法团队主导，基础设施团队往往较被动；他认为双方都应理解彼此并共同参与设计。

DSpark 是一种面向自回归模型的推测解码方法。草稿过程提前提出 token，再由主模型并行验证。

推测解码让草稿模型先提出若干后续 token，再由更大的模型验证，把部分自回归生成变成可高效验证的批量计算。

You Kaichao 说，DSpark 属于 DFlash 系列，并非 vLLM 团队从未见过的新想法。他们已关注这条路线数月，也在做相关优化。

DSpark 是一种推测解码方法：草稿过程提出多个 token，再由目标模型验证。如果猜测过长且多数被拒绝，就会浪费计算。

团队此前已探索 DFlash 相关优化，因此 DSpark 并不令他们意外。You Kaichao 还提到，他们与 DeepSeek 和腾讯混元讨论过高效实现。

Kaichao 说，vLLM 团队也会向 DeepSeek 和 Tencent Hunyuan 学习如何优化推理。他把这类交流也看作协同设计的一部分。

You Kaichao 提醒，领导者可能被称为基础设施专家，却并不真正了解 AI 基础设施。糟糕的领导会阻碍真正懂技术的工程师发挥作用。

不了解 AI 基础设施的领导者可能给出错误方向，让团队里的专家无法做好工作。You Kaichao 区分了技术声誉与实际专业能力。

建设集群需要大量资金：团队需要资金、土地和稳定电力。DeepSeek 的基础设施经验部分来自早期量化交易业务和自建数据中心。

在模型生命周期的大部分时间里，训练曾是主要成本。随着推理使用量上升，成本结构发生变化：服务效率越来越决定模型能产生多少有效输出。

训练是一次性前期成本，而每生成一个 token 都会产生推理成本。使用量增加后，模型服务效率日益重要。

了解模型将如何部署，能让基础设施团队针对性优化。You Kaichao 说，模型使用量超出早期相对有限的推理规模后，这一点就更重要了。

推理需求如今与有限的电力供应竞争。水电和风电资源都有上限，因此专用硬件与高效执行模型和原始算力同样重要。

电力供应不能无限增长，所以基础设施团队必须同时优化资源约束和需求。算力稀缺让专用加速器和效率更加重要。

发电机的比喻说明了硬件为何重要：能源和发电机必须匹配。适合某种水电配置的设计，换到另一种配置可能效率不佳。

模型团队与基础设施团队不能各自为战。算法若改变注意力维度或状态形状，可能给内核团队带来事后难以解决的问题。

主持人请 You Kaichao 举一个最能体现协同设计的例子。他提到 DeepSeek：基础设施团队很强，算法研究者也懂系统，能作出相互兼容的选择。

DeepSeek 过去从事量化交易，需要建设数据中心并优化性能。You Kaichao 认为，这段经历是其基础设施能力的来源之一。

拥有数据中心可以获得控制权并降低成本，但会让快速扩张变得困难。You Kaichao 说，其他团队未必能复制 DeepSeek 对基础设施的紧密控制模式。

DeepSeek 在自身条件下做得非常出色，但其受控数据中心和硬件选择，其他团队很难原样复制。

Kaichao 说，协同设计需要耐心：人们得花时间了解另一个领域，同时也需要合适的人碰到一起的机缘。他觉得自己属于少数同时有算法和基础设施经验的人。

他说，算法团队和基础设施团队看问题的方式常常不同。算法研究者可能关注理论表达能力和下游效果；基础设施工程师则从手头硬件及其可高效执行的计算出发。

要把硬件性能发挥到极致，两个团队必须弄清算法需要什么，以及怎样实现。Kaichao 说，自己在两个领域都积累过多年经验，可以帮助双方相互理解。

You Kaichao 说，vLLM 会在模型发布前与模型团队合作，让新系统在发布时已有推理支持。没有兼容引擎的开源模型很难使用；紧密合作也让双方了解彼此需求。

You Kaichao 说，vLLM 会在模型公开前提供支持，让发布团队提前验证推理。没有推理引擎的模型虽已开放，实际却可能无法使用。

Kaichao 说，欧洲和美国的算力较充足，中国则相对稀缺。这也解释了为何中国模型更重视效率，以及模型架构会给推理基础设施带来不同要求。

全注意力为每个 token 保留的状态相对简单，但状态会随序列增长且本身不变。其他设计可能以不同方式更新状态，给基础设施团队带来不同的内存管理问题。

一些混合架构和交叉注意力设计会产生更复杂的状态。You Kaichao 说，vLLM 不必同等支持每种实验性架构：如果一种设计仍不常见，团队可以先观察，避免不必要的复杂性。

电力类比有其局限。电力规格是标准化的，只要符合本地标准，设备就能使用；一种模型的 token 却无法直接换成另一种模型的等价 token。

每个 token 都带有生成它的模型特征。You Kaichao 把问题比作电压标准每天变化：工具链和应用必须适应不同模型和推理服务商。

模型行为、token 格式和服务商选择让生态变得多样。工具链必须处理这些差异，开发者还要考虑模型本身也在持续变化。

因此，token 并不是可以直接使用的标准商品。它的质量取决于模型和生成它的推理栈，目前的生态既充满活力，也较为碎片化。

Kaichao 说，Token 的质量会受到模型和推理引擎设计的共同影响，因此当前生态既繁荣又有些混乱。被问到 vLLM 支持多少种架构时，他说大约有两三百种。

项目还得移除过时架构和功能。支持数百种模型，只有在维护者让兼容层保持可管理、聚焦用户仍在运行的模型时才有价值。

MoE 模型带来三大系统挑战。第一是细粒度专家：DeepSeek 的工作表明，更细的专家划分可能改善模型，但也让路由和执行更复杂。

MoE 会根据输入把每个 token 路由给选定专家。GPU 尤其擅长处理可预测、静态的数据流；依赖输入的路由则更难让硬件始终高效运转。

超大型 MoE 模型的总参数量可能达到万亿级，但每个 token 只激活其中一小部分。部署这类模型需要专家并行、数据并行和精心设计的通信机制。

MoE 之后，研究者还在探索线性注意力和稀疏注意力等架构。You Kaichao 预计这些方向会继续发展，同时也会研究位置编码和其他 test-time scaling 方式。

Test-time scaling 并非新概念：集成方法会让多个模型，或同一模型的多次运行，共同回答一个问题。这会在推理阶段投入更多计算，以增加获得好答案的机会。

另一种方式是让单个模型花更多时间推理难题。近期推理模型可能生成数十万个 token，因此单次请求的成本会异常高。

智能体系统通过另一种方式扩展：它们与环境交互时会多次短暂调用模型。每一步可能只有几百个 token，但模型会反复观察结果并决定下一步行动。

这些方式带来不同的推理负载。长推理链是一次昂贵请求；智能体则需要在许多轮短调用中持续保留上下文和状态。

多轮智能体离不开前缀缓存。保留共同历史后，后续调用便能复用已经计算过的内容，而不必每次从头处理相同提示。

编程智能体的工具链应该保持前缀稳定，让推理引擎复用缓存。但有些模型会在后续轮次删掉之前的推理内容，因此工具链和推理引擎可能需要协同设计如何延续状态。

不同工具链构造请求的方式不同，模型架构也各有优化需求。You Kaichao 说，这种碎片化意味着工具链和推理基础设施需要共同设计。

他提醒，不要反复修改提示开头的工具调用范围。每次请求的前缀都会因此变化，推理引擎就无法复用缓存，可能不得不重新处理整个上下文。

当前日期等经常变化的信息不应每次都放在请求开头。模型需要时可以通过工具询问日期，这样就能保持稳定前缀以便缓存。

有些工具链会把所有任务都安排在整点，造成流量突然激增。You Kaichao 重复了 Moonshot 提出的“龙虾群”比喻：建议把任务时间随机化，让需求更平滑。

他关注 DeepSeek 招聘智能体框架设计人员。该公司已经紧密协同设计模型与基础设施，You Kaichao 希望其工具链工作能展示如何让智能体框架也与推理系统共同设计。

更大的趋势是模型设计与芯片设计日益紧密耦合。You Kaichao 认为模型必须适应现有硬件；如果不适配，专用芯片就无法发挥应有性能。

You Kaichao 引用 David Patterson 的图灵奖演讲说，摩尔定律已无法持续带来可靠的通用性能提升。系统要变快，越来越需要针对特定工作负载设计的专用芯片。

矩阵乘法的重要性已经大到足以塑造现代加速器。既然芯片围绕矩阵乘法做了专门优化，模型架构也会受益于把关键计算组织成高效矩阵运算。

矩阵乘法能解决许多问题，因此如今的高性能芯片越来越专门针对矩阵乘法设计计算单元。模型架构也应尽量把计算表达成能高效利用这些单元的形式。

Kaichao 提到 NVIDIA 从 Ampere 迈向 Hopper：Hopper 的 FP8 能力理论上可提供两倍于 FP16 的吞吐量。但把整个模型都量化到 FP8 容易损失精度，模型设计必须设法有效利用新硬件。

DeepSeek 对权重采用分块量化，对激活采用按通道量化，这也契合新一代硬件格式。但仅靠分块量化仍无法解决矩阵乘法中的精度问题。

DeepSeek 通过在矩阵乘法后用向量单元累加结果，解决了精度问题，同时让芯片上的计算单元并行工作。Kaichao 说，团队的技术报告公开写下了这个方法及其理由。

被问到方法论上的教训时，他说团队需要能从第一性原理推理的人。在快速变化的领域里，他们必须分辨真正有用的技术与一时流行的做法。

有些性能团队改了代码、报告加速，却不知道原因。You Kaichao 说，扎实的优化还需要理解 GPU 基准测试、温度、功耗和时钟频率。

模型研究者还需要了解不同批处理条件下注意力机制实际如何计算，而不只是看教科书公式。理解这些细节，才能评估各种延长上下文的方法。

不同团队因硬件和资源限制不同，完全可以作出不同选择。共同要求是从第一性原理理解问题，并解释为什么所选方案应该有效。

学习 GPU kernel 时，You Kaichao 先研究 GPU 编程模型及其设计空间。这样遇到非法内存访问时，他能运用工具和调试方法解决，而不是靠试错。

他发现 CUDA core dump 是一种存在已久的 GPU 故障调查方法，但 AI 基础设施领域鲜有人知。向 NVIDIA 工程师请教并分享后，他说这个方法帮助团队解决了棘手的 kernel bug。

Kaichao 建议用第一性原理看清时代发展的主线，过滤噪声，持续投入有用的方向。主持人随后请他预测模型架构与基础设施的发展。

Kaichao 说，架构和基础设施会随着需求变化，因此很难作出大胆预测。他的第一个判断是，面向人的模型上下文长度可能会稳定在百万 Token 左右；一些科学领域则可能需要更多。

对话型模型的上下文窗口，他认为不必再大幅增长。长周期任务和终身学习可以依靠外部记忆、技能模块或子智能体，而不必把所有内容塞进一个提示词。

Kaichao 说，这只是一个大胆猜测，过几年可以再回头检验。主持人接着问，国内追求效率是否能跟上海外的测试时扩展和推理 Token 需求增长。

Kaichao 说，效率和扩展并不冲突：Token 需求越大，高效推理就越迫切。Harness 可以与推理引擎协同设计；用户也能换用更便宜的模型，或减少不必要的 Token 消耗。

他把推理比作夏季用电高峰。用电人数增加并不意味着发电厂应该放弃；它们需要在有效利用资源的同时增加发电量。

他预计 Token 的供需会逐渐趋于平衡。供给侧可以提升生产效率，需求侧也应做好规划、提高模型使用 Token 的效率；主持人随即问国内外发展有何不同。

Kaichao 觉得海外目前更快追求效果，国内则更快提升效率。被问到中国开源的影响时，他说美国顶尖模型转向闭源后，中国接过了开源的旗帜。

主持人问美国的开源社区是否活跃。Kaichao 说，美国的开源推理技术比开源模型更活跃，不过 Mistral、Poolside 等公司仍在开源模型。Inferact 主要服务北美市场，那里也会使用中国开源模型。

被问到中美 AI 基础设施竞争时，Kaichao 认为更像是双方各有约束。中国高端算力不足，因此需要充分利用现有资源，包括适配国产芯片；但土地和电力供应相对充足。

美国拥有更多高端芯片，但土地和电力供应受限。Kaichao 预计，美国下一波基础设施建设会着重扩大电力供应。

Kaichao 说，OpenAI、Anthropic 和 Gemini 等美国顶尖模型仍然闭源，而中国顶尖模型则大多开源。他预测开源模型最终会胜出，因为人们能大规模使用并观察它们的行为。

他把核电站发出的电和模型生成的 Token 作比较：城市可以使用电力，却不必知道发电技术；但每个模型 Token 都带有生成它的模型印记，用户可以利用这些数据训练或调整模型。

模型必须投入使用，因此训练数据优势很难永远保密。编程智能体让公司更快收集交互数据，建立内部的模型改进循环。

被问到哪些公司已开始建立这种循环时，Kaichao 提到 Zhipu 和表现很强的 GLM 5.2 编程能力。他不了解其数据流程细节，但认为 Zhipu 在数据收集方面有突出优势。

Kaichao 说，模型能力难以长期守住。更持久的优势是快速迭代，因为竞争者能借鉴成功能力，而开源模型会越来越普及。

他说自己押注开源模型，而不是某个国家。无论哪个国家的模型开源，他都会支持；模型是必须大规模使用的民用技术，不像核武器那样可以藏起来作为威慑。

模型一旦被广泛使用，用户就能大规模收集数据，最终复现其能力。主持人问这对 Inferact 和 vLLM 意味着什么；Kaichao 说公司专注推理，模型本身可以由其他人提供。

主持人问模型公司会不会自己做推理，以及 vLLM 为何仍有必要。Kaichao 说它们确实自建推理系统，但那些系统往往依赖严密控制的集群，很难部署到外部环境。

Kaichao 说，vLLM 希望提供通用的开源推理服务。它可以运行在租来的云机器上，虽然无法像公司自有集群那样极致优化，但仍能打造性能不错的推理引擎。

主持人问 vLLM 能否成为 AI 推理领域的 Linux。Kaichao 说这正是他们努力的方向：Red Hat 已把 vLLM 打包进企业 Linux 发行版，帮助这些系统运行 AI 工作负载。

公司并非为了融资而融资。You Kaichao 说，他们希望先证明商业模式可以扩展，再按照公司进展逐步筹集资金。

主持人说 Kaichao 对开源社区的投入超出预期，并问这种性格从何而来。Kaichao 说，这和他成长的时代有关：从大学开始，他接触的科技文化就很开放，鼓励开源。

You Kaichao 的开源习惯始于大学：开始做技术工作前，先搜索现有项目并在其基础上构建。他认为开源是一种全球文化，而非某个国家的特点。

Kaichao 说，开源是一场全球运动，与国籍无关。它从开源操作系统等领域发展起来，如今已延伸到许多技术领域。

他认为，分享技术见解、与社区自由交流，也是一种开源贡献；开源不只是开放算法或代码。

You Kaichao 说，写作能检验自己是否真正理解一个想法。他喜欢把想法形式化，因为写下来之后就能验证，即便最初的猜测很大胆。

Inferact 在新加坡和美国都有团队，很多协作只能通过文字和线上会议完成。Kaichao 说，大家不太会共同撰写长文档，而是直接通过 Slack 沟通。

Kaichao 建议年轻人先弄清自己想做什么，再从第一性原理出发努力。他希望他们能扎实积累，而不是被竞争压力牵着走。

被问到后摩尔定律时代的 AI 上限是否取决于系统时，Kaichao 说那是 David Patterson 的判断，他也认同。他以 FlashAttention 为例：系统工程让精确的 softmax attention 得以高效实现，取代了许多早期近似算法。

FlashAttention 证明精确的 softmax attention 也能高效运行。Kaichao 接着谈到自回归解码：它刚出现时曾被批评太慢，因为每次只能生成一个 Token。

系统工程让自回归解码变得更实用：vLLM 把连续批处理和 PagedAttention 结合起来，推测解码则一次验证一小段候选 Token。这些系统改进改变了算法的实际成本。

研究者也在探索线性注意力。Kaichao 提到 Songlin 在 Mamba-2 中提出的分块并行算法：把计算拆成多个区段，让系统能更高效地执行。

能被系统高效实现的算法才更有机会留下来。Kaichao 将此称作“硬件彩票”，并说在高度专用、快速变化的时代，团队必须与芯片和 Agent Harness 协同设计。

协同设计能为短期进步创造空间，却无法回答所有长期问题。Kaichao 追问：万亿参数模型是否足够，十万亿参数会不会更好，上下文窗口是否需要达到一千万 Token。

主持人问 AGI 最终能达到什么水平、人类历史将如何发展。Kaichao 说，这既是历史问题，也是技术问题；从历史角度看，人类正处在技术转折点。

计算机不仅让人们保存技术，也能保存前人的语言、思想和生活。You Kaichao 把这种积累称为一条指数曲线，AI 可以在其基础上继续发展。

AI 可以利用人类历史留下的大量记录进行训练。主持人问，当这种增长达到新阶段时，碳基智能与硅基智能将如何共存。

You Kaichao 说，人类和硅基系统各有所长。模型总结训练数据中的模式，而人类能够带来更广阔的背景和原创见解。

在他理想的未来，人类引导机器智能，并利用机器的执行能力改善世界。主持人问命运时，You Kaichao 说自己还没有找到观察命运的方法。

被问到命运时，You Kaichao 说自己无法观察命运，因此没有充分理由相信它。随后主持人开始快问快答。

You Kaichao 没有特别喜欢的食物。他认为 Berkeley 最塑造自己的人生：他在那里参加本科交换，也在那里攻读博士。

这个冷知识的后半段是：模型输出的 Token 有时能泄露推理引擎的线索，例如启用了多少步推测采样。Kaichao 接着推荐 Jonathan Lee 的歌曲《Hill》，其中“还有好多话想说却没说”这句歌词很贴合当下。

被问到影响 AI 发展的重要论文时，Kaichao 除了 Transformer 和 GPT-3，还提到系统工程领域的 FlashAttention、vLLM 和 Flash Linear Attention。随后他说自己的关键判断是开源模型最终会胜出，主持人又问起工作室名称“Language Is the World”。

You Kaichao 把维特根斯坦的说法联系到一个结果：五次及以上的一般方程无法仅靠算术运算和根式求解。他思考，语言的边界是否也限制了人们的想象。