Erfahren Sie mehr über Manchu-Wörter mit einem neuen visuell-sprachlichen Rahmen

Die Manchu-Sprache, eine Minderheitensprache Chinas, hat einen bedeutenden historischen und Forschungswert. Eine zunehmende Anzahl von Manchu-Dokumenten wird in ein Bildformat digitalisiert, um eine bessere Erhaltung und Untersuchung zu gewährleisten. Kürzlich konzentrierten sich viele Forscher darauf, Manchu-Wörter in digitalisierten Dokumenten zu identifizieren. In früheren Ansätzen wurden verschiedene Manchu-Wörter anhand visueller Hinweise erkannt. Wir stellen jedoch fest, dass visuelle Ansätze einige offensichtliche Nachteile haben. Einerseits ist es schwierig, zwischen ähnlichen und verzerrten Buchstaben zu unterscheiden. Andererseits sind Teile von Buchstaben, die durch Brüche und Flecken verdeckt sind, schwer zu identifizieren. Um mit diesen beiden Herausforderungen umzugehen, schlagen wir einen visuell-sprachlichen Rahmen vor, nämlich den Visuell-Sprachlichen Rahmen für die Manchu-Worterkennung (VLMR), der visuelle und semantische Informationen kombiniert, um Manchu-Wörter genau zu erkennen. Wann immer visuelle Informationen nicht verfügbar sind, kann das Sprachmodell automatisch die Semantik der Wörter assoziieren. Die Leistung unserer Methode wird weiter verbessert, indem ein Netzwerk zur Selbstwissen-Destillation eingeführt wird. Darüber hinaus haben wir einen neuen handgeschriebenen Manchu-Wort-Datensatz namens (HMW) erstellt, der 6.721 handgeschriebene Manchu-Wörter enthält. Der neuartige Ansatz wird an WMW und HMW evaluiert. Die Experimente zeigen, dass unsere vorgeschlagene Methode Spitzenleistungen auf beiden Datensätzen erzielt.