Eagle: Erforschung des Designraums für multimodale LLMs mit Mischungen von Encodern

Die Fähigkeit, komplexe visuelle Informationen genau zu interpretieren, ist ein entscheidendes Thema bei multimodalen großen Sprachmodellen (MLLMs). Jüngste Arbeiten zeigen, dass eine verbesserte visuelle Wahrnehmung Halluzinationen erheblich reduziert und die Leistung bei auflösungs-sensiblen Aufgaben, wie der optischen Zeichenerkennung und der Dokumentenanalyse, verbessert. Mehrere aktuelle MLLMs erreichen dieses Ziel mithilfe einer Kombination von Vision-Encodern. Trotz ihres Erfolgs fehlt es an systematischen Vergleichen und detaillierten Ablationsstudien zu kritischen Aspekten, wie der Auswahl von Experten und der Integration mehrerer visueller Experten. Diese Studie bietet eine umfassende Erkundung des Designraums für MLLMs unter Verwendung einer Mischung aus Vision-Encodern und Auflösungen. Unsere Ergebnisse zeigen mehrere zugrunde liegende Prinzipien, die verschiedenen bestehenden Strategien gemeinsam sind, und führen zu einem schlanken, aber effektiven Designansatz. Wir entdecken, dass das bloße Verketten visueller Tokens aus einer Reihe komplementärer Vision-Encoder ebenso effektiv ist wie komplexere Mischarchitekturen oder Strategien. Zudem führen wir Pre-Alignment ein, um die Kluft zwischen visionsfokussierten Encodern und Sprach-Tokens zu überbrücken und die Kohärenz des Modells zu verbessern. Die resultierende Familie von MLLMs, Eagle, übertrifft andere führende Open-Source-Modelle bei wichtigen MLLM-Benchmarks. Modelle und Code: https://github.com/NVlabs/Eagle