GDFQ：基于Data-Free的低比特量化方法

GDFQ

本文是华南理工大学的一个团队发表在ECCV2020上的基于生成器的低比特无数据量化（GDFQ）工作。为消除数据依赖问题，GDFQ利用知识匹配生成器以利用预训练全精度模型的分类边界知识与分布信息生成有意义的假数据，以实现精度损失较少的低比特无数据量化。

• 论文题目：Generative Low-bitwidth Data Free Quantization
• 论文网址：https://arxiv.org/abs/2003.03603
• 论文代码：https://github.com/xushoukai/GDFQ

动机

针对无法获得原始数据情况，为消除数据依赖的同时获得比较好的量化效果。本文贡献在于：

• 提出了一种名为GDFQ的方案，该方案无需任何真实数据即可执行4bit量化。作者提出这是第一个低位宽无数据量化方法。
• 提出了一个有效的知识匹配生成器，可以通过从预训练全精度模型中挖掘知识来构建数据。生成的数据保留了分类边界知识和数据分布信息。
• 与现有无数据量化方法相比，在图像分类数据集上的实验证明了我们方法的优越性能。

方法

设计核心在于设计一种生成伪数据的生成器，以便进行监督学习以提高量化性能。总体框架如下图所示：

知识匹配生成器

训练过程

交替优化生成器G和量化模型Q。另外，为了使Q的微调更加稳定，首先仅对G进行几次训练作为预热过程。

GDFQ算法伪代码

实验结果

评估G生成的伪数据是否能够匹配分类边界信息

伪数据分类边界可视化

数据集 4-bit 精度比较

数据集 4-bit 精度比较

消融实验