o1 Mini: бенчмарки и рейтинг
o1 Mini (OpenAI) — общее место: #139 / 153, общая оценка: 16.9 (90% интервал 11.5–24.2), лидербордов: 3. Выход: 2024-09-12
Место на каждом лидерборде
| Лидерборд | Место | Опубликованное значение |
|---|---|---|
| Artificial Analysis | Нет оценки | — |
| LiveBench | Нет оценки | — |
| Epoch AI | #129 / 230 | 135.27 |
| ARC Prize (ARC-AGI) | #82 / 95 | 0.8 |
| Scale AI SEAL | Нет оценки | — |
| Vals AI | Нет оценки | — |
| Terminal-Bench | Нет оценки | — |
| EQ-Bench | Нет оценки | — |
| SimpleBench | #108 / 112 | 18.1 |
| BenchLM.ai | Нет оценки | — |
Оценки по областям
- Программирование: 24.8
- Рассуждение: 13.7
- Математика: 32.8
- Знания: 38.5
- Тексты: 17.3
- Инструкции: 14.6
- Диалог и EQ: 9.8
- Бизнес: 43.1
- Японский: 40.6