<aside> 💡

将量化难度从激活迁移到权重

</aside>

论文

• 论文地址

  SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models

背景[1]

以上是大模型量化困难的原因，总结下来就三点：

• 激活比权重更难量化（之前的工作LLM.int8()表明，使用 INT8 甚至 INT4 量化 LLM 的权重不会降低准确性。）
• 异常值让激活量化更困难（激活异常值比大多数激活值大约 100 倍。如果我们使用 INT8 量化，大多数值将被清零。）
• 异常值持续存在于固定的通道（channel）中（固定通道存在异常值，并且异常值通道值较大）

SmoothQuant 技术原理[1]