o1: benchmarks e ranking
o1 (OpenAI) — posição geral: #104 / 138, pontuação geral: 27.8 (Intervalo de 90% 21.4–35.2), leaderboards: 4. Lançamento: 2024-09-12 · Preço (entrada/saída): $16.5 / $66
Posição em cada leaderboard
| Leaderboard | Posição | Valor publicado |
|---|---|---|
| Artificial Analysis | Não avaliado | — |
| LiveBench | Não avaliado | — |
| Epoch AI | #95 / 239 | 141.92 |
| ARC Prize (ARC-AGI) | Não avaliado | — |
| Scale AI SEAL | #31 / 42 | 7.96 |
| Vals AI | Não avaliado | — |
| Terminal-Bench | Não avaliado | — |
| EQ-Bench | Não avaliado | — |
| SimpleBench | #61 / 99 | 41.7 |
| BenchLM.ai | #63 / 74 | 36.32 |
Pontuação por área
- Programação: 25.1
- Raciocínio: 31.1
- Matemática: 44.8
- Conhecimento: 51.4
- Escrita: 41.4
- Instruções: 30.6
- Conversa e IE: 24.8
- Negócios: 55.6
- Japonês: 61.0