vLLM

vLLM 正在调整推理框架的抽象策略：一边为热门模型提供硬件专用优化，一边用硬件无关层承接长尾模型和更多加速器。

在同一模型权重和硬件条件下，仅改变请求路由，长上下文场景的首字延迟可下降七成以上。围绕调度、内存和服务层的“权重之外”优化，正在成为大模型推理工程的新重点。

vLLM 教程系统梳理了 MHA、GQA、MLA、RoPE、ALiBi 和 MoE 等模型架构组件，解释它们如何影响 KV cache 大小、attention 内核实现与推理性能。