模型量化

本文从数学角度解释大模型量化如何将 FP32 权重和激活映射到低比特整数，并分析 S、Z、量化误差与信噪比，说明 8-bit 甚至 4-bit 量化为何可行。

125B级MoE模型不再只属于服务器。Strata在单张RTX 5090上通过量化、专家缓存、KV分层和投机解码跑通大模型，本地AI部署的工程路径正在被重新定义。

llama.cpp 的 Q4_K_M 量化方案通过混合精度和双重量化，在压缩模型体积的同时保留关键层效果，为本地大模型部署提供了更现实的工程路径。