Key points are not available for this paper at this time.
Entitätsbilder könnten bedeutende visuelle Informationen für das Lernen von Wissensrepräsentationen bieten. Die meisten herkömmlichen Methoden lernen Wissensrepräsentationen lediglich aus strukturierten Tripeln und ignorieren die reichhaltigen visuellen Informationen, die aus Entitätsbildern gewonnen werden. In diesem Papier schlagen wir ein neuartiges Modell für bildverankertes Wissensrepräsentationslernen (IKRL) vor, bei dem Wissensrepräsentationen sowohl aus Tripel-Fakten als auch aus Bildern gelernt werden. Genauer gesagt konstruieren wir zunächst Repräsentationen für alle Bilder einer Entität mit einem neuronalen Bildencoder. Diese Bildrepräsentationen werden dann über eine auf Aufmerksamkeit basierende Methode in eine aggregierte bildbasierte Repräsentation integriert. Wir bewerten unsere IKRL-Modelle bei der Vervollständigung von Wissensgraphen und der Tripelklassifizierung. Experimentelle Ergebnisse zeigen, dass unsere Modelle alle Baselines bei beiden Aufgaben übertreffen, was die Bedeutung visueller Informationen für Wissensrepräsentationen und die Fähigkeit unserer Modelle zum Lernen von Wissensrepräsentationen mit Bildern anzeigt.
Xie et al. (Fri,) haben diese Frage untersucht.