o1: benchmark dan peringkat
o1 (OpenAI) — peringkat keseluruhan: #116 / 153, skor keseluruhan: 25.2 (Interval 90% 18.3–33.6), leaderboard: 3. Rilis: 2024-09-12 · Harga (input/output): $16.5 / $66
Peringkat di tiap leaderboard
| Leaderboard | Peringkat | Nilai yang dipublikasikan |
|---|---|---|
| Artificial Analysis | Belum dinilai | — |
| LiveBench | Belum dinilai | — |
| Epoch AI | #112 / 230 | 141.16 |
| ARC Prize (ARC-AGI) | Belum dinilai | — |
| Scale AI SEAL | #33 / 44 | 7.96 |
| Vals AI | Belum dinilai | — |
| Terminal-Bench | Belum dinilai | — |
| EQ-Bench | Belum dinilai | — |
| SimpleBench | #74 / 112 | 41.7 |
| BenchLM.ai | Belum dinilai | — |
Skor per bidang
- Pemrograman: 36.0
- Penalaran: 31.1
- Matematika: 46.5
- Pengetahuan: 49.0
- Menulis: 44.2
- Instruksi: 37.7
- Obrolan & EQ: 24.1
- Bisnis: 57.8
- Bahasa Jepang: 62.7
- Visi: 22.9