Das Erlernen der Semantik von Wörtern und Bildern

Wir stellen ein statistisches Modell zur Organisation von Bildersammlungen vor, das semantische Informationen aus zugehörigem Text und visuelle Informationen aus Bildmerkmalen integriert. Das Modell ist sehr vielversprechend für Informationsabrufaufgaben wie das Durchsuchen von Datenbanken und die Bildersuche basierend auf Text- und/oder Bildmerkmalen. Darüber hinaus kann das Modell, da es Beziehungen zwischen Text- und Bildmerkmalen erlernt, für neuartige Anwendungen wie die Zuordnung von Wörtern zu Bildern und das unüberwachte Lernen für Objekterkennung verwendet werden.