低比特推理
-
大模型端侧部署的关键算术：FP32 如何映射到低比特整数
本文从数学角度解释大模型量化如何将 FP32 权重和激活映射到低比特整数，并分析 S、Z、量化误差与信噪比，说明 8-bit 甚至 4-bit 量化为何可行。
本文从数学角度解释大模型量化如何将 FP32 权重和激活映射到低比特整数，并分析 S、Z、量化误差与信噪比，说明 8-bit 甚至 4-bit 量化为何可行。
