Strata
-
单张RTX 5090跑125B MoE：Strata把大模型本地化的难题拆开给你看
125B级MoE模型不再只属于服务器。Strata在单张RTX 5090上通过量化、专家缓存、KV分层和投机解码跑通大模型，本地AI部署的工程路径正在被重新定义。
125B级MoE模型不再只属于服务器。Strata在单张RTX 5090上通过量化、专家缓存、KV分层和投机解码跑通大模型，本地AI部署的工程路径正在被重新定义。
