MoE部署

一项单变量实测显示，本地运行125B模型时，约18GB可用显存差异可将专家缓存槽位从5,784提升至19,530，并把吞吐从140.6 tok/s提升至256.2 tok/s。对中小企业而言，显存采购的关键不只是容量，而是能否装下热专家、避免PCIe溢出和并发切碎缓存。