Recommandation de modèle pré-entraîné pour le réglage fin en aval

En tant que problème fondamental dans l'apprentissage par transfert, la sélection de modèles vise à classer les modèles pré-entraînés disponibles et à sélectionner le plus adapté pour la nouvelle tâche cible. Les techniques de sélection de modèles existantes sont souvent limitées dans leur portée et ont tendance à ignorer les relations nuancées entre les modèles et les tâches. Dans cet article, nous présentons un cadre pragmatique, Fennec, qui explore un référentiel de modèles diversifié et à grande échelle tout en considérant minutieusement les connexions complexes entre les tâches et les modèles. L'idée clé est de mapper tous les modèles et les tâches historiques dans un sous-espace lié au transfert, où la distance entre les vecteurs de modèle et les vecteurs de tâche représente l'ampleur de la transférabilité. Un grand modèle de vision, en tant que proxy, infère la représentation d'une nouvelle tâche dans l'espace de transfert, contournant ainsi la charge computationnelle des passes en avant étendues. Nous examinons également l'impact du biais inductif inhérent des modèles sur les résultats de transfert et proposons une nouvelle méthode appelée archi2vec pour encoder les structures complexes des modèles. Le score de transfert est calculé par une arithmétique vectorielle simple avec une complexité temporelle de O (1). Enfin, nous apportons une contribution substantielle au domaine en publiant une évaluation complète. Nous validons l'efficacité de notre cadre par des tests rigoureux sur deux évaluations. L'évaluation et le code seront rendus publics dans un avenir proche.