AmazonのAIモデル：ベンチマークとランキング

ランキングの仕組み

1. 収集 — 下記11のリーダーボードから公式データを毎時取得します。推定値と明記されたスコアは使用しません。
2. 照合 — 同じモデルの表記ゆれを統合します。推論強度などのバリエーションは、各サイトでの最高成績を採用します。
3. 標準化 — 各サイトの主指標をサイト内で標準化し、順位だけでなくスコアの差も保持します。
4. 等化 — 複数サイトに掲載されたモデルを橋渡しにした因子モデルで、各サイトの難易度と掲載モデルの違いを補正します。ばらつきの大きいサイトほど重みを小さくします。
5. 未評価でも減点なし — 各モデルは評価されたサイトのみからスコアを算出します。不確かさは90%区間で表示します。2サイト以上で評価されたモデルを順位付けします。
6. Arena — Arena（旧LMArena）は分野別ランキングのみに使用し、総合スコアには使用しません。新しいモデルは自動で追加されます。