ECA-Net: 深度卷积神经网络的高效通道注意力

最近，通道注意力机制显示出在提高深度卷积神经网络（CNNs）性能方面的巨大潜力。然而，大多数现有方法致力于开发更复杂的注意力模块以实现更好的性能，这不可避免地增加了模型复杂性。为了克服性能和复杂性之间的权衡悖论，本文提出了一种高效通道注意力（ECA）模块，该模块仅涉及少量参数，同时带来明显的性能提升。通过剖析SENet中的通道注意力模块，我们实证证明避免降维对于学习通道注意力至关重要，适当的跨通道交互可以保留性能同时显著降低模型复杂性。因此，我们提出了一种无降维的局部跨通道交互策略，可以通过一维卷积高效实现。此外，我们开发了一种自适应选择一维卷积核大小的方法，以确定局部跨通道交互的覆盖范围。所提出的ECA模块高效且有效，例如，我们模块的参数和计算量相较于ResNet50的主干分别为80与24.37M，以及4.7e-4 GFLOPs与3.86 GFLOPs，性能提升在Top-1准确率方面超过2%。我们在图像分类、目标检测和实例分割方面广泛评估了我们的ECA模块，使用了ResNets和MobileNetV2作为主干。实验结果表明，我们的模块在性能上优于其同类，同时更为高效。