README.md

📝 论文阅读笔记

核心量化论文的阅读笔记，每篇包含：核心贡献、关键公式、与相邻工作的关系、我自己的理解。

计划覆盖的论文

QAT 核心

• LSQ (ICLR 2020) — Learned Step Size Quantization
• LSQ+ (2020) — 扩展到非对称量化
• PACT (ICML 2018) — Parameterized Clipping Activation
• DoReFa-Net (2016) — 低比特训练开山之作

PTQ 核心

• AdaRound (ICML 2020) — 自适应舍入
• FlexRound (ICML 2023) — Element-wise Division 舍入
• GPTQ (ICLR 2023) — Hessian-based LLM 量化
• AWQ (MLSys 2024) — Activation-Aware Weight Quantization
• SmoothQuant (ICML 2023) — 迁移量化难度
• SpinQuant (ICLR 2025) — 可学习旋转矩阵

LLM QAT

• QLoRA (NeurIPS 2023) — NF4 + Double Quantization
• LLM-QAT (ICLR 2024) — Data-free KD for QAT
• EfficientQAT (2024) — 两阶段 QAT

前沿

• QuaRot (2024) — Hadamard 旋转
• BitNet b1.58 (2024) — 三值化 LLM
• KVQuant (2024) — KV Cache 量化