Informationstheoretische Maße angewendet auf Deep Learning Modelle

Es ist möglich, die Leistung bestehender Deep-Learning-Architekturen durch die Verwendung zusätzlicher informationstheoretischer Maße zu verbessern. In dieser Arbeit werden zwei verschiedene Deep-Learning-Architekturen modifiziert und Experimente werden über mehrere Datensätze durchgeführt, um deren Wirksamkeit zu bestimmen. Variationale Autoencoder können mit der Maximierung der wechselseitigen Information kombiniert werden, um entwirrte Darstellungen zu erzeugen, die nützlicher für nachgelagerte Aufgaben wie Klassifikation sind. Bei kontrastiven Verlusten, wie dem von SimCLR verwendeten, zeigt der Austausch und die Verbesserung von I mit anderen Messungen der wechselseitigen Information NCE Potenzial zur Verbesserung der begrenzten Schätzfähigkeiten der wechselseitigen Information, die die Batch-Größe auf NCE auferlegt.