HydraNets：面向高效推理的专用动态架构

人们对改进深度网络架构设计以使其兼具高准确度和低成本的兴趣日益浓厚。本文探讨了在图像分类背景下，将语义专业化作为提高推理计算效率（单位成本准确度）的一种机制。具体而言，我们提出了一种名为 HydraNet 的网络架构模板，该模板能够将用于图像分类的最先进架构转换为利用条件执行实现高效推理的动态架构。HydraNets 是包含专门用于计算视觉相似类别特征的独立组件的宽网络，但它们通过针对任何单个输入图像仅动态选择评估少数组件来保持高效率。这一设计得益于一种软门控机制，该机制在训练期间促进组件专业化，并在推理期间准确执行组件选择。我们在 CIFAR-100 和 ImageNet 分类任务上对 HydraNet 方法进行了评估。在 CIFAR 上，将 HydraNet 模板应用于 ResNet 和 DenseNet 系列模型可将推理成本降低 2-4×，同时保持基线架构的准确度。在 ImageNet 上，与具有相似推理成本的高效基线架构相比，应用 HydraNet 模板可将准确度提高多达 2.5%。