報酬制御されたスパイクタイミング依存性可塑性の学習理論と生体フィードバックへの応用

報酬制御されたスパイクタイミング依存性可塑性（STDP）は、行動に関連する適応的変化を自己組織化の方法で、局所的なシナプス可塑性を通じて達成する方法を説明する可能性のある学習ルールの候補として最近浮上しています。しかし、これまでこの学習ルールの能力と限界は、コンピュータシミュレーションを通じてのみ検証可能でした。本記事は、報酬制御されたSTDPの分析的処理のためのツールを提供し、報酬制御されたSTDPが望ましい学習効果を達成する条件を予測できるようにします。これらの分析結果は、ニューロンが報酬制御されたSTDPを通じて、前シナプスニューロンの空間的および時間的な発火パターンを分類することを学習できることを示唆しています。また、特定の前シナプスの発火パターンに対して特定のスパイクパターンで応答することを学ぶこともできます。最後に、得られた学習理論は、システムの全体的な報酬を増加させるためにどのシナプスの重みを修正すべきか判断するのが非常に難しいクレジット割り当て問題にも、自動的に解決できることを予測します。これは、FetzおよびBakerによるサルの生体フィードバックに関する基本的な実験結果の説明を提供します。この実験では、サルは皮質の特定のニューロンの発火率を増加させることで報酬を得て、この極めて難しいクレジット割り当て問題を解決することができました。この実験のための私たちのモデルは、報酬制御されたSTDPと変動性の自発的発火活動の組み合わせに依存しています。したがって、このモデルは、ニューロンの皮質ネットワークに特有のトライアルごとの変動性に対する可能な機能的説明も提供しますが、現在存在する人工計算システムには類似のものはありません。加えて、私たちのモデルは、報酬制御されたSTDPが大規模な再帰的神経ネットワークのすべてのシナプスに適用でき、ネットワークダイナミクスの安定性を危険にさらすことなく活用できることを示しています。