Modelos de IA de Thinking Machines: benchmarks y ranking

Cómo se calcula el ranking

1. Obtención — Cada hora se obtienen los datos oficiales de los 11 leaderboards siguientes. No se usan puntuaciones marcadas como estimaciones.
2. Unificación — Se unifican las distintas grafías de un mismo modelo. Para variantes como el nivel de razonamiento, se usa el mejor resultado de cada sitio.
3. Estandarización — La métrica principal de cada sitio se estandariza dentro de ese sitio, conservando las diferencias de puntuación y no solo los puestos.
4. Equiparación — Un modelo factorial, con los modelos presentes en varios sitios como puente, corrige la dificultad y la selección de modelos de cada sitio. Los sitios con más ruido pesan menos.
5. Sin penalizar los datos que faltan — Cada modelo se puntúa solo con los sitios que lo evaluaron. La incertidumbre se muestra como un intervalo del 90 %. Se clasifican los modelos evaluados en 2 o más sitios.
6. Arena — Arena (antes LMArena) solo se usa en los rankings por área, no en la puntuación general. Los modelos nuevos se añaden automáticamente.