PACT：量化神经网络的参数化剪切激活

深度学习算法在巨大的计算成本下实现了高分类准确率。为了解决这个成本，提出了多种量化方案——但大多数技术专注于量化权重，而权重相比于激活则相对较小。本文提出了一种新颖的激活量化方案，在训练期间使神经网络能够以超低精度的权重和激活良好运作，而不显著降低准确率。这种技术，称为参数化剪切激活（PACT），使用在训练期间优化的激活剪切参数α，以找到合适的量化比例。PACT允许将激活量化为任意位数的精度，同时相对于已发表的最先进量化方案实现更好的准确性。我们首次展示了权重和激活均可以量化为4位精度，同时在一系列流行模型和数据集中实现与全精度网络相当的准确性。我们还展示了利用这些低精度计算单元在硬件中可以通过显著减少加速器计算引擎的面积，同时能够将量化模型和激活数据保留在片上存储器中，进而实现超线性推理性能的提升。