Au-delà des repères : Évaluation de la similarité des modèles d'incorporation pour les systèmes de génération augmentée par recherche

Le choix du modèle d'incorporation est une étape cruciale dans la conception des systèmes de génération augmentée par recherche (RAG). Étant donné le volume immense d'options disponibles, identifier des clusters de modèles similaires simplifie ce processus de sélection. S'appuyer uniquement sur les scores de performance des références ne permet qu'une évaluation faible de la similarité des modèles. Ainsi, dans cette étude, nous évaluons la similarité des modèles d'incorporation dans le contexte des systèmes RAG. Notre évaluation est en deux parties : nous utilisons l'Alignement de Noyau Centré pour comparer les incorporations au niveau des paires. De plus, comme cela est particulièrement pertinent pour les systèmes RAG, nous évaluons la similarité des résultats de recherche entre ces modèles en utilisant la similarité de Jaccard et de classement. Nous comparons différentes familles de modèles d'incorporation, y compris des modèles propriétaires, à travers cinq ensembles de données du Benchmark Information Retrieval (BEIR) populaire. Grâce à nos expériences, nous identifions des clusters de modèles correspondant à des familles de modèles, mais aussi, de manière intéressante, certains clusters inter-familles. De plus, notre analyse de la similarité de récupération des k premiers révèle une grande variance à faibles valeurs de k. Nous identifions également des alternatives open-source possibles aux modèles propriétaires, avec Mistral montrant la plus haute similarité avec les modèles OpenAI.