分类：大模型
18GB显存换来82%吞吐：中小企业本地运行125B模型的容量参考
掘金作者吴佳浩发布的一篇实测分析，把中小企业本地运行125B大模型时最容易被忽略问题量化了：在同一台机器、同一份模型、同一套参数下，仅改变显卡上约18GB的可用显存，推理吞吐从140.6 tok/s提升到256.2 tok/s，增幅为82%。测试基于2,890条逐请求遥测、1,507次请求、1,362个资源采样点和317个服务端指标采样点，为本地和私有化部署提供了一组可直接参考的容量规划数据。
18GB显存差，首先改变的是专家缓存覆盖
这项测试中的模型采用专家路由机制。引擎会依据 expert-profile.bin 中的24,576个排名对，把访问最频繁的专家优先放入显存。第一轮可用显存较少时，专家缓存自动分配到8.31 GiB，对应5,784个槽位；第二轮可用显存增加后，缓存扩大到26.01 GiB，槽位升至19,530，数量为第一轮的3.38倍。
显存并不是全部变成缓存。测试显示固定开销约为6.0 GiB，且不会随缓存扩大而增加，因此新增显存大部分进入专家缓存。两轮缓存槽位相差18,122 MiB，约合17.7 GiB，与18GB差异相对应。
- 缓存覆盖率提升56个百分点。
- decode专家缓存命中率提升13.2个百分点。
- 第一轮用23.5%的槽位装载最热专家，命中率达到86.5%。
- 第二轮未命中降至0.3%，第一轮未命中为13.5%，未命中的请求量相差45倍。
这也解释了为什么命中率看似只提升一成，性能却出现大幅变化：真正决定速度的不是命中部分，而是少量未命中引发的数据搬运和等待。
吞吐提升可以计算：每1 GiB缓存约增加6.53 tok/s
测试进一步把命中率、PCIe溢出比例和decode速度配对。2,890条样本的Pearson相关系数r为0.779。数据显示，命中率达到95%附近会出现明显换挡：90%至95%区间速度数值为143，95%至99%区间升至280。
第二轮将PCIe溢出打到0.00%，这被认为是吞吐提升82%的直接来源。测试中的PCIe实测带宽为13.9 GB/s。按照每token 480次专家查表，即48层乘以10专家计算，1%溢出对应4.8个专家，每个专家1.38 MB，即6.6 MB/token；除以13.9 GB/s后约为0.47 ms/token。若以141 tok/s计算，每token约7.1 ms，理论影响约6.6%。但实测慢了39%，约为理论值的6倍。作者认为，代价并不只是传输慢，而是GPU计算依赖串行，专家未到达时后续算子只能等待。
在性能预测上，测试给出了较实用的线性关系：第一轮专家缓存为7.45 GiB，decode速度为140.6 tok/s；第二轮为25.14 GiB，decode速度为256.2 tok/s。按此拟合，每增加1 GiB专家缓存，速度增加6.53 tok/s；截距为91.9 tok/s，属于缓存为0时的外推值，不能作为真实性能引用。换算关系可写为：缓存约等于整卡可用显存减去6.0 GiB，decode约等于91.9加6.53乘以缓存GiB。
对采购而言，这条公式意味着32GB显卡的边界较清晰：卡上可用约31.8 GiB，减去6.0 GiB固定开销，可给缓存约25.8 GiB，按1.318 MiB/槽计算约19,600槽，占24,576槽的79.8%。若要达到100%覆盖，需要约38.5 GiB可用显存，即32.1 GiB缓存加6.0 GiB开销，对应48GB级别显卡。
成本、并发和PCIe带宽决定部署可用性
测试还揭示了几个容易被误读的信号。两轮GPU利用率接近，分别为89.1%和89.8%，但功耗相差47%。吞吐更高的一轮多消耗47%电量，却多产出82%吞吐，单位能耗下降20%。作者据此判断，GPU利用率只能说明是否有任务占用，功耗与吞吐组合才能反映有效产出；当两者背离时，瓶颈通常在数据搬运路径。
并发也不是简单的加速手段。在这台32GB显卡上，parallel=4的聚合吞吐为179.3，低于parallel=1的220.0；单流decode从204降至186，4并发时每客户端只剩58 tok/s。测试认为，在这块卡上，parallel=1是合理选择，因为并发会把缓存覆盖切碎，触发更多PCIe溢出。
多客户端压测同样显示，单卡专家搬运带宽是共享资源。并发数从1到16时，吞吐数值分别为192、220、216、213、209，整体平坦甚至微降；TTFT数值则从0.16增至7.28，接近线性增长。两轮测试均未拒绝请求，说明部署没有启用准入控制；作者建议生产环境加入队列上限，避免延迟不可控膨胀。
稳定性方面，两轮均为100%成功、零漂移、零显存泄漏。硬件层面，RTX 5090本身支持Gen5，但测试机插在Gen3 ×16槽位，实测host到device带宽为13.9 GB/s，链路能力只有显卡能力的四分之一。
这份样本把中小企业部署125B模型时的选型问题拆成了可核对的项目：显存能否装下热专家，固定开销有多少，PCIe带宽是否会放大未命中损失，以及并发是否会切碎缓存。对本地推理团队来说，32GB显卡并非不能运行，但其覆盖上限和吞吐边界已经被明确；若目标是更高覆盖率和稳定吞吐，48GB级别显存才是更直接的答案。
原创文章，作者：点点，如若转载，请注明出处：https://www.dian8dian.com/18gb-xian-cun-huan-lai-82-tun-tu-zhong-xiao-qi-ye-ben-di
