Gemini 1.5 Pro: бенчмарки и рейтинг
Gemini 1.5 Pro (Google) — общее место: #133 / 153, общая оценка: 18.4 (90% интервал 13.9–24.0), лидербордов: 4. Выход: 2024-05-14
Место на каждом лидерборде
| Лидерборд | Место | Опубликованное значение |
|---|---|---|
| Artificial Analysis | Нет оценки | — |
| LiveBench | Нет оценки | — |
| Epoch AI | #140 / 230 | 130.45 |
| ARC Prize (ARC-AGI) | #82 / 95 | 0.8 |
| Scale AI SEAL | #39 / 44 | 4.6 |
| Vals AI | Нет оценки | — |
| Terminal-Bench | Нет оценки | — |
| EQ-Bench | Нет оценки | — |
| SimpleBench | #94 / 112 | 27.1 |
| BenchLM.ai | Нет оценки | — |
Оценки по областям
- Программирование: 19.0
- Рассуждение: 20.4
- Математика: 22.8
- Знания: 40.7
- Тексты: 36.9
- Инструкции: 16.4
- Диалог и EQ: 10.8
- Бизнес: 47.9
- Японский: 49.4
- Зрение: 18.3