o1: бенчмарки и рейтинг
o1 (OpenAI) — общее место: #116 / 153, общая оценка: 25.2 (90% интервал 18.3–33.6), лидербордов: 3. Выход: 2024-09-12 · Цена (вход/выход): $16.5 / $66
Место на каждом лидерборде
| Лидерборд | Место | Опубликованное значение |
|---|---|---|
| Artificial Analysis | Нет оценки | — |
| LiveBench | Нет оценки | — |
| Epoch AI | #112 / 230 | 141.16 |
| ARC Prize (ARC-AGI) | Нет оценки | — |
| Scale AI SEAL | #33 / 44 | 7.96 |
| Vals AI | Нет оценки | — |
| Terminal-Bench | Нет оценки | — |
| EQ-Bench | Нет оценки | — |
| SimpleBench | #74 / 112 | 41.7 |
| BenchLM.ai | Нет оценки | — |
Оценки по областям
- Программирование: 36.0
- Рассуждение: 31.1
- Математика: 46.5
- Знания: 49.0
- Тексты: 44.2
- Инструкции: 37.7
- Диалог и EQ: 24.1
- Бизнес: 57.8
- Японский: 62.7
- Зрение: 22.9