Zusammenfassung Die Generierung autoritativer und kontextreichhaltiger Beschreibungen für chinesische Kulturerben bleibt eine erhebliche Herausforderung für Standard-Vision-Language-Modelle aufgrund der erforderlichen spezialisierten Terminologie und des tiefen historischen Kontexts. Wir schlagen ein neuartiges, mehrstufiges retrieval-augmentiertes Generierungsframework vor, das darauf abzielt, die Lücke zwischen visueller Identifikation und Expertenniveau-Dokumentation zu schließen. Unsere Pipeline nutzt zunächst einen kontrastrahierenden Sprach-Bild-Prätrainingsencoder, um Artefaktbilder in einen hochgradig semantischen Raum zu überführen und erste linguistische Anker bereitzustellen. Diese Anker dienen als Abfragen für ein gestuftes Wissensretrievalsystem, das feingranulare, domänenspezifische Informationen aus einem kuratierten Repository chinesischer Kulturgeschichte extrahiert. Um die sachliche Integrität sicherzustellen, synthetisiert das Framework diese Mehrquelleninputs in einen einheitlichen Textwissensvektor, der durch einen späten Fusionsadapter eines mehrschichtigen Perzeptrons mit visuellen Features integriert wird. Diese abgestimmte multimodale Darstellung wird dann von einem großen Sprachmodell verarbeitet, das über eine niederrangige Anpassung optimiert ist, um umfassende, kulturell fundierte Beschreibungen zu erzeugen. Experimentelle Ergebnisse zeigen, dass unser Framework die aktuellen Bestleistungen in Bezug auf automatische Metriken und menschliche Expertenbewertungen signifikant übertrifft, Halluzinationen effektiv mildert und eine skalierbare Lösung für die digitale Museologie bietet.
Mi et al. (Fri,) untersuchten diese Frage.