Modelos de IA da Thinking Machines: benchmarks e ranking

Como o ranking é calculado

1. Coleta — Os dados oficiais dos 11 leaderboards abaixo são buscados a cada hora. Pontuações marcadas como estimativas não são usadas.
2. Unificação — Grafias diferentes do mesmo modelo são unificadas. Em variantes como o nível de raciocínio, usa-se o melhor resultado de cada site.
3. Padronização — A métrica principal de cada site é padronizada dentro desse site, preservando as diferenças de pontuação e não apenas as posições.
4. Equalização — Um modelo fatorial, que usa como ponte os modelos presentes em vários sites, corrige a dificuldade e a seleção de modelos de cada site. Sites com mais ruído pesam menos.
5. Sem penalidade por dados ausentes — Cada modelo é pontuado apenas pelos sites que o avaliaram. A incerteza é mostrada como um intervalo de 90%. São classificados os modelos avaliados em 2 ou mais sites.
6. Arena — A Arena (antiga LMArena) é usada apenas nos rankings por área, não na pontuação geral. Novos modelos são adicionados automaticamente.