残差学習、再帰神経ネットワーク、および視覚皮質のギャップを埋める

残差ネットワーク（ResNet）、再帰神経ネットワーク（RNN）、および霊長類の視覚皮質との関係について議論します。特別なタイプの浅いRNNが、層間での重み共有を伴う非常に深いResNetと正確に同等であるという観察から始めます。このようなRNNの直接的な実装は、パラメータのオーダーが桁違いに少ないにもかかわらず、対応するResNetと同様の性能を示します。1) RNNとResNetアーキテクチャの一般化と、2) 中程度に深いRNNのクラスが視覚皮質の腹側ストリームの生物学的に妥当なモデルであるという仮説を提案します。CIFAR-10およびImageNetデータセットでテストすることにより、アーキテクチャの効果を示します。