ツリー構造における長短期記憶

連鎖構造の長短期記憶 (LSTM) は、音声認識や機械翻訳などの幅広い問題において効果的であることが示されています。本稿では、記憶セルが再帰的プロセスで複数の子セルまたは複数の子孫セルの履歴記憶を反映できるツリー構造に拡張することを提案します。このモデルを S-LSTM と呼び、言語や画像の解析構造などの階層間の長距離相互作用を考慮するための原理的な方法を提供します。意味の合成のためのモデルを活用して、テキストの意味を理解し、自然言語理解における基本的な問題を解決します。そして、S-LSTM メモリブロックで合成層を置き換えることで、最先端の再帰モデルを上回る性能を示します。また、与えられた構造を利用することで、構造を考慮しない場合よりも良い性能を達成するのに役立つことを示します。