分类：大模型
首Token延迟降低32.4%：是石科技把推理优化推向集群调度
2026 CCF全国高性能计算学术大会期间，是石科技发布TokenFleet分布式调度框架，围绕请求路由、跨机房容量协同和混合负载治理提升大模型推理集群的有效产出。其GLM5.3调优数据显示，在所测显卡集群与负载条件下，预测延迟路由使P95首Token延迟降低32.4%，P50首Token延迟降低71.3%。在模型质量、服务要求与算力预算一致条件下，该系统希望提高有效Token产出，降低单位有效产出成本。
路由先算缓存收益与排队代价
TokenFleet将推理服务比作一座Token工厂：GPU是设备，推理实例是工位，业务请求是订单。实际集群中，一次短问答和一份长文档消耗的计算与显存可能差异很大，只按请求数量分流，难以均衡各实例的真实工作量。KV缓存可以复用长前缀、减少Prefill阶段的重复计算，但缓存命中高的实例也可能积累更多排队，省下的计算时间未必能转化为更快响应。
TokenFleet中的TokenPilot负责在同一模型池内选择实例。它会结合输入规模、输出预算、可复用前缀、队列、在途Token、KV缓存压力与预测延迟，对候选实例进行评分。其中，输出预算是约束条件，并不代表实际输出长度。其判断重点不是寻找缓存命中率最高的实例，而是比较预计处理代价，评估缓存节省的计算能否抵消额外等待。是石科技提供的GLM5.3调优数据显示，采用预测延迟路由后，P95首Token延迟降低32.4%，P50首Token延迟降低71.3%。改善率按（基线值－优化值）÷基线值计算，延迟下降不直接等于成本下降。
跨机房协同与混合负载治理
FleetMind把调度范围扩展到多个机房。它关注的是实际可用的模型服务容量，而非单纯空闲GPU。系统会汇聚各机房模型可用性、实时容量与网络状态，先选择执行机房，再由本地决策引擎选择具体推理实例。当热点机房排队时，其他机房是否有同版本模型就绪端点、是否有服务余量，以及权限、数据地域、回源时延、排队、计算、缓存和传输成本，都会纳入判断。短周期调整新请求去向，长周期调整模型副本与预热位置，可减少容量错配。
SLOMax则处理同一集群内的混合负载。实时对话关心首Token响应和持续生成速度，长上下文任务依赖输入处理能力与KV容量，离线批量任务关注完成期限和吞吐。若混在同一队列，长Prefill和批量负载可能挤压交互请求，超时、取消与重复执行会消耗算力却未形成合格交付。SLOMax结合输入长度、输出预算、任务类型与租户服务目标，进行等级准入、分池排队和容量协调，并将结果反馈给后续调度。
TokenFleet用Goodput衡量效果，即完整测试时段内成功完成且满足服务要求的输出Token总量除以测试时长。在GLM5.3收益测算示例中，采用流控协同调度后，总输出吞吐增加约1.5%，达标输出吞吐提高约29.4%，达标比例从约67%升至约86%。这是测算结果，实际收益仍需结合具体负载与服务门槛验证。
推理服务从资源规模走向有效交付
是石科技此前发布的Meta-Infer高效推理引擎侧重单个推理实例效率，TokenFleet则把优化推进到集群层面。该公司定位为独立第三方全栈算力运营商，不绑定特定大模型厂商，业务覆盖硬件、组网、调度、优化与运营；其算力集群运行SLA达到99.95%以上，纳管超过20000P+算力资源，运营10多个超智算中心，其中有2个国家级超算中心，团队成员曾荣获3项戈登·贝尔奖。
对国产推理服务而言，GPU数量和总吞吐只是基础条件。多租户、多机房、多任务形态下，排队与闲置可能同时发生，真正影响业务体验的是合格交付能力。TokenFleet把请求、容量和服务要求放到同一套调度机制中，使推理系统更多围绕有效Token产出组织资源。硬件提供算力基础，软件调度则影响这些算力能转化为多少可用服务。
原创文章，作者：点点，如若转载，请注明出处：https://www.dian8dian.com/shou-token-yan-chi-jiang-di-32-4-shi-shi-ke-ji-ba-tui-li
