Magistral : benchmarks et classement

Comment le classement est calculé

1. Collecte — Les données officielles des 11 leaderboards ci-dessous sont récupérées toutes les heures. Les scores signalés comme estimations ne sont pas utilisés.
2. Rapprochement — Les différentes graphies d’un même modèle sont fusionnées. Pour les variantes comme le niveau de raisonnement, le meilleur résultat de chaque site est retenu.
3. Standardisation — La métrique principale de chaque site est standardisée au sein de ce site, afin de conserver les écarts de score et pas seulement les rangs.
4. Égalisation — Un modèle factoriel, dont les modèles présents sur plusieurs sites servent de pont, corrige la difficulté et la sélection de modèles de chaque site. Les sites plus bruités pèsent moins.
5. Aucune pénalité pour les données manquantes — Chaque modèle est noté uniquement à partir des sites qui l’ont évalué. L’incertitude est affichée sous forme d’intervalle à 90 %. Les modèles évalués sur 2 sites ou plus sont classés.
6. Arena — Arena (ex-LMArena) sert uniquement aux classements par domaine, pas au score global. Les nouveaux modèles sont ajoutés automatiquement.