Mercury 2.5: benchmark dan peringkat

Cara peringkat dihitung

1. Pengumpulan — Data resmi dari 11 leaderboard di bawah diambil setiap jam. Skor yang ditandai sebagai perkiraan tidak digunakan.
2. Pencocokan — Penulisan berbeda untuk model yang sama digabungkan. Untuk varian seperti tingkat penalaran, hasil terbaik di tiap situs yang digunakan.
3. Standardisasi — Metrik utama tiap situs distandardisasi di dalam situs itu, sehingga selisih skor tetap terjaga, bukan hanya peringkat.
4. Penyetaraan — Model faktor, dengan model yang muncul di beberapa situs sebagai jembatan, mengoreksi tingkat kesulitan dan komposisi model tiap situs. Situs yang lebih berisik mendapat bobot lebih kecil.
5. Tanpa penalti untuk data yang tidak ada — Setiap model dinilai hanya dari situs yang menilainya. Ketidakpastian ditampilkan sebagai interval 90%. Model yang dinilai di 2 situs atau lebih masuk peringkat.
6. Arena — Arena (dulu LMArena) hanya dipakai untuk peringkat bidang, bukan skor keseluruhan. Model baru ditambahkan secara otomatis.