o1: benchmarks e ranking
o1 (OpenAI) — posição geral: #116 / 153, pontuação geral: 25.2 (Intervalo de 90% 18.3–33.6), leaderboards: 3. Lançamento: 2024-09-12 · Preço (entrada/saída): $16.5 / $66
Posição em cada leaderboard
| Leaderboard | Posição | Valor publicado |
|---|---|---|
| Artificial Analysis | Não avaliado | — |
| LiveBench | Não avaliado | — |
| Epoch AI | #112 / 230 | 141.16 |
| ARC Prize (ARC-AGI) | Não avaliado | — |
| Scale AI SEAL | #33 / 44 | 7.96 |
| Vals AI | Não avaliado | — |
| Terminal-Bench | Não avaliado | — |
| EQ-Bench | Não avaliado | — |
| SimpleBench | #74 / 112 | 41.7 |
| BenchLM.ai | Não avaliado | — |
Pontuação por área
- Programação: 36.0
- Raciocínio: 31.1
- Matemática: 46.5
- Conhecimento: 49.0
- Escrita: 44.2
- Instruções: 37.7
- Conversa e IE: 24.1
- Negócios: 57.8
- Japonês: 62.7
- Visão: 22.9