o1 Mini: benchmark dan peringkat
o1 Mini (OpenAI) — peringkat keseluruhan: #139 / 153, skor keseluruhan: 16.9 (Interval 90% 11.5–24.2), leaderboard: 3. Rilis: 2024-09-12
Peringkat di tiap leaderboard
| Leaderboard | Peringkat | Nilai yang dipublikasikan |
|---|---|---|
| Artificial Analysis | Belum dinilai | — |
| LiveBench | Belum dinilai | — |
| Epoch AI | #129 / 230 | 135.27 |
| ARC Prize (ARC-AGI) | #82 / 95 | 0.8 |
| Scale AI SEAL | Belum dinilai | — |
| Vals AI | Belum dinilai | — |
| Terminal-Bench | Belum dinilai | — |
| EQ-Bench | Belum dinilai | — |
| SimpleBench | #108 / 112 | 18.1 |
| BenchLM.ai | Belum dinilai | — |
Skor per bidang
- Pemrograman: 24.8
- Penalaran: 13.7
- Matematika: 32.8
- Pengetahuan: 38.5
- Menulis: 17.3
- Instruksi: 14.6
- Obrolan & EQ: 9.8
- Bisnis: 43.1
- Bahasa Jepang: 40.6