Kooperatives Codieren kontinuierlicher Variablen in Netzwerken mit Sparsamkeitsbeschränkung

Ein Merkmal biologischer und künstlicher neuro- und neuraler Netzwerke ist, dass Neuronen den Bereich kontinuierlicher sensorischer Eingaben und intrinsischer Variablen mit überlappenden Antworten abdecken. Es ist charakteristisch für die zugrunde liegende rekurrente Konnektivität im Kortex, dass Neuronen mit ähnlicher Abstimmung sich überwiegend gegenseitig erregen. Der Grund für eine solche Architektur ist unklar. Mit einem analytisch tractable Modell zeigen wir, dass sie natürlich aus einem kooperativen Codierungsschema hervorgehen kann. In diesem Schema unterstützen Neuronen mit ähnlichen Antworten sich gezielt, indem sie ihre Berechnungen teilen, um den gewünschten Populationscode zu erhalten. Dieses Teilen ermöglicht es jedem Neuron, effektiv auf eine Vielzahl von Eingaben zu reagieren, während es nur wenige Feedforward- und rekurrente Verbindungen erhält. Wenige starke, spezifische rekurrente Verbindungen ersetzen dann viele Feedforward- und weniger spezifische rekurrente Verbindungen, sodass die resultierende Konnektivität die Anzahl der benötigten Synapsen optimiert. Dies deutet darauf hin, dass die Anzahl der benötigten Synapsen ein entscheidender beschränkender Faktor in biologischen neuronalen Netzwerken sein könnte. Synaptische Einsparungen nehmen mit der Dimensionalität der kodierten Variablen zu. Wir finden einen Kompromiss zwischen der Einsparung von Synapsen und der Reaktionsgeschwindigkeit. Die Reaktionsgeschwindigkeit verbessert sich um Größenordnungen, wenn man das Zeitfenster zwischen erregenden und verzögerten Hemmströmen nutzt, das entsteht, wenn, wie in Experimenten festgestellt, eine Spikefrequenzanpassung vorhanden ist oder starke rekurrente Erregung durch starke, kurzzeitig verzögerte Hemmung ausgeglichen wird.