Multi-Modale Modelle für die Bedeutung von konkreten und abstrakten Konzepten

Multi-modale Modelle, die semantische Repräsentationen sowohl aus linguistischem als auch aus perceptuellem Input lernen, übertreffen Modelle, die nur auf Sprache basieren, in einer Reihe von Bewertungen und spiegeln besser die menschliche Konzeptakquisition wider. Der Großteil des perceptuellen Inputs für solche Modelle entspricht konkreten Nomenkonzepten, und die Überlegenheit des multi-modalen Ansatzes wurde bisher nur bei der Evaluierung solcher Konzepte festgestellt. Daher untersuchen wir, welche Konzepte effektiv von multi-modalen Modellen erlernt werden können. Wir zeigen, dass Konkretheit bestimmt, welche linguistischen Merkmale am informativsten sind und welchen Einfluss der perceptuelle Input in solchen Modellen hat. Wir stellen dann Ridge-Regression als ein Mittel vor, um perceptuelle Informationen von konkreten Nomen auf abstraktere Konzepte zu propagieren, das robuster ist als frühere Ansätze. Schließlich präsentieren wir die gewichtete Grammatrix-Kombination, ein Mittel zur Kombination von Repräsentationen aus unterschiedlichen Modalitäten, das Alternativen übertrifft, wenn beide Modalitäten ausreichend reich sind.