组成视觉推理的元模块网络

神经模块网络（NMN）由于其手工制作的神经模块具备明确的多跳推理能力，展现出强大的可解释性和组成性。然而，大多数NMN面临两个关键缺陷：1）可扩展性：针对特定功能定制的模块在复杂任务中扩展到更大的功能集时显得不切实际；2）通用性：刚性预定义的模块库使得在新任务/领域中对未见功能的推广变得困难。为了设计更强大的NMN架构以供实际使用，我们提出了以新型元模块为中心的元模块网络（MMN），该模块能够接纳功能配方并动态转化为多样化的实例模块。这些实例模块随后融合成一个执行图，用于复杂的视觉推理，继承了NMN的强解释性和组成性。通过这样灵活的实例化机制，实例模块的参数继承自中心元模块，随着功能集的增加保持相同的模型复杂性，从而承诺更好的可扩展性。同时，由于功能被编码到嵌入空间，未见功能可以根据其与先前观察到的功能的结构相似性进行便捷表示，这确保了更好的通用性。在GQA和CLEVR数据集上的实验验证了MMN相较于先进NMN设计的优越性。对GQA数据集中未见功能的合成实验也展示了MMN的强通用性。我们的代码和模型已在Github上发布。