Llama 3.1 405B: بینچ مارکس اور رینکنگ

رینکنگ کیسے بنتی ہے

1. جمع کرنا — نیچے دیے گئے 11 لیڈربورڈز سے ہر گھنٹے سرکاری ڈیٹا لیا جاتا ہے۔ تخمینہ قرار دیے گئے اسکور استعمال نہیں ہوتے۔
2. ملانا — ایک ہی ماڈل کے مختلف نام ملا دیے جاتے ہیں۔ استدلال کی سطح جیسے ویریئنٹس میں ہر سائٹ کا بہترین نتیجہ لیا جاتا ہے۔
3. معیار بندی — ہر سائٹ کا مرکزی پیمانہ اسی سائٹ کے اندر معیاری بنایا جاتا ہے، تاکہ صرف درجے نہیں بلکہ اسکور کا فرق بھی برقرار رہے۔
4. برابری — کئی سائٹس پر موجود ماڈلز کو پل بنا کر ایک فیکٹر ماڈل ہر سائٹ کی مشکل اور ماڈلز کی ترکیب درست کرتا ہے۔ زیادہ شور والی سائٹس کا وزن کم ہوتا ہے۔
5. غیر موجود ڈیٹا پر کوئی سزا نہیں — ہر ماڈل کو صرف انہی سائٹس سے اسکور ملتا ہے جنہوں نے اسے جانچا۔ غیر یقینی 90% وقفے کے طور پر دکھائی جاتی ہے۔ 2 یا زیادہ سائٹس پر جانچے گئے ماڈلز کو درجہ ملتا ہے۔
6. Arena — Arena (سابقہ LMArena) صرف شعبہ جاتی رینکنگ میں استعمال ہوتا ہے، مجموعی اسکور میں نہیں۔ نئے ماڈلز خود بخود شامل ہوتے ہیں۔