TREET: Schätzung der Transferentropie über Transformer

Die Transferentropie (TE) ist ein Maß in der Informationstheorie, das den gerichteten Fluss von Informationen zwischen Prozessen offenbart und wertvolle Einblicke für eine Vielzahl von realen Anwendungen bietet. Diese Arbeit schlägt die Schätzung der Transferentropie über Transformer (TREET) vor, einen neuartigen transformerbasierten Ansatz zur Schätzung der TE für stationäre Prozesse. Der vorgeschlagene Ansatz verwendet die Donsker-Vardhan (DV) Darstellung zur TE und nutzt den Aufmerksamkeitsmechanismus für die Aufgabe der neuronalen Schätzung. Wir schlagen eine detaillierte theoretische und empirische Studie der TREET vor und vergleichen sie mit bestehenden Methoden. Um die Anwendbarkeit zu erhöhen, entwerfen wir ein Optimierungsschema zur geschätzten TE, das durch das Lemma der funktionalen Darstellung motiviert ist. Danach nutzen wir das gemeinsame Optimierungsschema, um die Kapazität von Kommunikationskanälen mit Gedächtnis zu optimieren, was ein kanonisches Optimierungsproblem in der Informationstheorie ist, und zeigen die Gedächtnisfähigkeiten unseres Schätzers. Schließlich wenden wir TREET auf die Analyse von realen Merkmalen an. Unsere Arbeit, die mit modernen Methoden des tiefen Lernens angewendet wird, öffnet eine neue Tür für Kommunikationsprobleme, die noch gelöst werden müssen.