Multi-Skalen-Attention mit dichtem Encoder zur Erkennung handgeschriebener mathematischer Ausdrücke

Die Erkennung handgeschriebener mathematischer Ausdrücke ist ein herausforderndes Problem aufgrund der komplizierten zweidimensionalen Strukturen, mehrdeutigen Handschriftseingaben und variierenden Größen handgeschriebener mathematischer Symbole. Um dieses Problem zu lösen, schlagen wir kürzlich ein auf Aufmerksamkeit basierendes Encoder-Decoder-Modell vor, das mathematische Ausdrucksbilder von zweidimensionalen Layouts in eindimensionale LaTeX-Zeichenfolgen umwandelt. In dieser Studie verbessern wir den Encoder, indem wir dicht verbundene konvolutionale Netzwerke einsetzen, da sie die Merkmalsabbildung stärken und die Gradientenweiterleitung insbesondere bei kleinen Trainingssätzen erleichtern können. Wir präsentieren auch ein neuartiges Multi-Skalen-Attention-Modell, das angewendet wird, um die Erkennung von mathematischen Symbolen in unterschiedlichen Maßstäben zu bewältigen und die feinen Details, die durch Pooling-Operationen verloren gehen, wiederherzustellen. Validiert durch die CROHME-Wettbewerbsaufgabe übertrifft die vorgeschlagene Methode die aktuellen Methoden signifikant mit einer Genauigkeit von 52,8 % bei der Ausdruckserkennung auf CROHME 2014 und 50,1 % auf CROHME 2016, lediglich unter Verwendung des offiziellen Trainingsdatensatzes.