GPU集群
-
首Token延迟降低32.4%：是石科技把推理优化推向集群调度
是石科技发布TokenFleet分布式调度框架，通过请求路由、跨机房容量协同和混合负载治理提升推理集群有效产出。GLM5.3调优数据显示，P95首Token延迟降低32.4%，达标输出吞吐测算提高约29.4%。
是石科技发布TokenFleet分布式调度框架，通过请求路由、跨机房容量协同和混合负载治理提升推理集群有效产出。GLM5.3调优数据显示，P95首Token延迟降低32.4%，达标输出吞吐测算提高约29.4%。
