L'inversion de calibration et la fraîcheur des données régissent la fiabilité de l'IA dans des domaines indéterminés : preuves provenant de 2 730 points de données lors de 142 sessions d'évaluation inter-protocoles.

Key Points

• La recherche examine la fiabilité des modèles d'IA dans des domaines indéterminés, en se concentrant sur l'inversion de calibration et les échecs de fraîcheur des données.
• Analyse de 2 730 points de données provenant de 142 sessions d'évaluation à travers six modèles d'IA et trois protocoles.
• Évaluation des performances sur les marchés financiers, en météorologie, dans le sport et les cryptomonnaies.
• Calcul des scores agrégés et de la robustesse à l'aide de métriques d'évaluation inter-protocoles.
• Gemini a atteint une précision d'estimation ponctuelle de 5,3 % d'erreur moyenne mais un calibrage d'intervalle de confiance de seulement 29,7 %.
• Les prédictions de DeepSeek pour le S&P 500 ont présenté une erreur périmée de 12 à 13 % en raison de problèmes d'accès à l'information.
• La corrélation par rang de Spearman de ρ = 0,619 a indiqué une cohérence modérée des classements à travers les protocoles.