重新审视深度网络的自然梯度

我们评估了自然梯度，这是一种最初在 Amari (1997) 中提出的算法，用于学习深度模型。本文的贡献如下。我们展示了自然梯度与另外三种最近提出的深度模型训练方法之间的联系：无海森 (Hessian-Free) (Martens, 2010)、Krylov 子空间下降 (Vinyals 和 Povey, 2012) 以及 TONGA (Le Roux et al., 2008)。我们描述了如何使用未标记的数据来改善自然梯度获得的泛化误差，并从经验上评估该算法相较于随机梯度下降对训练集排序的稳健性。最后，我们将自然梯度扩展以结合二阶信息和流形信息，并使用截断牛顿方法提供新算法的基准，以便替代使用对角近似。