Thinking Machines के AI मॉडल: बेंचमार्क और रैंकिंग

रैंकिंग कैसे बनती है

1. संग्रह — नीचे दिए 11 लीडरबोर्ड से हर घंटे आधिकारिक डेटा लिया जाता है। अनुमानित स्कोर उपयोग नहीं किए जाते।
2. मिलान — एक ही मॉडल के अलग-अलग नाम मिलाए जाते हैं। रीज़निंग स्तर जैसे वेरिएंट के लिए हर साइट का सबसे अच्छा परिणाम लिया जाता है।
3. मानकीकरण — हर साइट के मुख्य मेट्रिक को उसी साइट के भीतर मानकीकृत किया जाता है, ताकि केवल रैंक नहीं बल्कि स्कोर का अंतर भी बना रहे।
4. समतुल्यता — कई साइटों पर मौजूद मॉडलों को पुल बनाकर एक फ़ैक्टर मॉडल हर साइट की कठिनाई और मॉडल संरचना को सुधारता है। ज़्यादा शोर वाली साइटों का भार कम होता है।
5. न मिले डेटा पर कोई दंड नहीं — मॉडल को केवल उन्हीं साइटों से स्कोर मिलता है जिन्होंने उसे रेट किया। अनिश्चितता 90% अंतराल के रूप में दिखाई जाती है। 2+ साइटों पर रेट किए गए मॉडल रैंक होते हैं।
6. Arena — Arena (पहले LMArena) केवल क्षेत्र रैंकिंग में उपयोग होता है, कुल स्कोर में नहीं। नए मॉडल अपने आप जुड़ते हैं।