動的計算グラフにおけるオンザフライ操作バッチ処理

PyTorch、DyNet、Chainerなどの動的ニューラルネットワークツールキットは、静的に宣言された計算（例：TensorFlow、CNTK、Theano）で動作するツールキットに比べて、さまざまな次元および構造のデータに対処するモデルを実装するための柔軟性を提供します。しかし、既存のツールキット（静的および動的の両方）は、開発者が高性能のアルゴリズムとハードウェアを活用するために必要なバッチに計算を整理することを要求します。このバッチ処理のタスクは一般的に困難ですが、アーキテクチャが複雑になるにつれて主な障害となります。本論文では、操作を自動的にバッチ処理するアルゴリズムと、そのDyNetツールキットでの実装を紹介します。開発者はミニバッチ計算を単一インスタンス計算の集約として単純に記述し、バッチ処理アルゴリズムが計算効率の良いバッチ処理された操作を使用して、それらをシームレスにオンザフライで実行します。様々なタスクにおいて、手動バッチで得られるスループットと同様の結果を得ており、手動ではバッチ処理が不可能なアーキテクチャにおいて単一インスタンス学習に対する比較可能な速度向上も得ています。