AI 模型拆分的三种方法与权衡

拆分模型计算大致有三种方法：拆分模型权重、拆分输入激活值，或将模型分成多个阶段，即流水线并行。讲述者说，流水线并行有助于处理过大的模型，但本身并不能改善延迟。

拆分权重也称模型并行或张量并行，既能应对模型规模，也可能改善延迟。但拆分本身有成本，因此性能需要权衡。

输入拆分的成本相对较低，但通常不能解决模型规模问题。注意力机制需要特别处理：由于 token 会关注其他 token，把它们拆开会给系统增加复杂性。

讲述者给出的实践建议是：只在必要的程度上拆分。拆分会引入开销，但如果模型无法以其他方式容纳，有时就不得不进行一定程度的拆分。