本地大模型
-
单张RTX 5090跑125B MoE:Strata把大模型本地化的难题拆开给你看
125B级MoE模型不再只属于服务器。Strata在单张RTX 5090上通过量化、专家缓存、KV分层和投机解码跑通大模型,本地AI部署的工程路径正在被重新定义。
-
苹果M6芯片落地Mac mini:2nm制程与双16核神经引擎强化本地AI
苹果在新款Mac mini中推出M6芯片。作为苹果首款2nm消费级芯片,M6配备12核CPU、12核GPU和双16核神经引擎,重点强化本地AI推理与大模型运行能力。
-
苹果把 M5 Ultra 装进 Mac Studio:36 核 CPU、80 核 GPU,为本地大模型推理铺路
苹果在新款 Mac Studio 中推出 M5 Ultra,最高配备 36 核 CPU、80 核 GPU 和 1.2 TB/s 统一内存带宽。相比单纯强调峰值性能,这颗芯片更值得关注的方向,是它为本地大模型推理和专业 AI 工作负载提供的硬件基础。