Llama 3.1 405B: ਬੈਂਚਮਾਰਕ ਅਤੇ ਰੈਂਕਿੰਗ

ਰੈਂਕਿੰਗ ਕਿਵੇਂ ਕੰਮ ਕਰਦੀ ਹੈ

1. ਇਕੱਠਾ ਕਰਨਾ — ਹੇਠਾਂ ਦਿੱਤੇ 11 ਲੀਡਰਬੋਰਡਾਂ ਤੋਂ ਅਧਿਕਾਰਤ ਡਾਟਾ ਹਰ ਘੰਟੇ ਲਿਆ ਜਾਂਦਾ ਹੈ। ਅੰਦਾਜ਼ੇ ਵਜੋਂ ਚਿੰਨ੍ਹਿਤ ਸਕੋਰ ਨਹੀਂ ਵਰਤੇ ਜਾਂਦੇ।
2. ਮਿਲਾਨ — ਇੱਕੋ ਮਾਡਲ ਦੇ ਵੱਖ-ਵੱਖ ਨਾਮ-ਰੂਪ ਜੋੜੇ ਜਾਂਦੇ ਹਨ। ਤਰਕ ਪੱਧਰ ਵਰਗੇ ਰੂਪਾਂ ਲਈ ਹਰ ਸਾਈਟ ਦਾ ਸਭ ਤੋਂ ਵਧੀਆ ਨਤੀਜਾ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ।
3. ਮਿਆਰੀਕਰਨ — ਹਰ ਸਾਈਟ ਦੇ ਮੁੱਖ ਮਾਪਦੰਡ ਨੂੰ ਉਸੇ ਸਾਈਟ ਅੰਦਰ ਮਿਆਰੀ ਬਣਾਇਆ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਜੋ ਸਿਰਫ਼ ਦਰਜੇ ਨਹੀਂ ਸਗੋਂ ਸਕੋਰਾਂ ਦੇ ਫ਼ਰਕ ਵੀ ਬਰਕਰਾਰ ਰਹਿਣ।
4. ਬਰਾਬਰੀ — ਕਈ ਸਾਈਟਾਂ ਉੱਤੇ ਮੌਜੂਦ ਮਾਡਲਾਂ ਰਾਹੀਂ ਜੁੜਿਆ ਇੱਕ ਫੈਕਟਰ ਮਾਡਲ ਹਰ ਸਾਈਟ ਦੀ ਔਖਿਆਈ ਅਤੇ ਮਾਡਲਾਂ ਦੇ ਮਿਸ਼ਰਣ ਨੂੰ ਠੀਕ ਕਰਦਾ ਹੈ। ਵੱਧ ਉਤਾਰ-ਚੜ੍ਹਾਅ ਵਾਲੀਆਂ ਸਾਈਟਾਂ ਨੂੰ ਘੱਟ ਭਾਰ ਮਿਲਦਾ ਹੈ।
5. ਗ਼ੈਰ-ਹਾਜ਼ਰ ਡਾਟੇ ਲਈ ਕੋਈ ਸਜ਼ਾ ਨਹੀਂ — ਮਾਡਲਾਂ ਨੂੰ ਸਿਰਫ਼ ਉਨ੍ਹਾਂ ਸਾਈਟਾਂ ਤੋਂ ਸਕੋਰ ਮਿਲਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਨੇ ਉਨ੍ਹਾਂ ਨੂੰ ਪਰਖਿਆ। ਅਨਿਸ਼ਚਿਤਤਾ 90% ਅੰਤਰਾਲ ਵਜੋਂ ਦਿਖਾਈ ਜਾਂਦੀ ਹੈ। 2 ਜਾਂ ਵੱਧ ਸਾਈਟਾਂ ਉੱਤੇ ਦਰਜਾਬੰਦੀ ਵਾਲੇ ਮਾਡਲਾਂ ਨੂੰ ਦਰਜਾ ਮਿਲਦਾ ਹੈ।
6. Arena — Arena (ਪਹਿਲਾਂ LMArena) ਸਿਰਫ਼ ਖੇਤਰ ਰੈਂਕਿੰਗ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ, ਕੁੱਲ ਸਕੋਰ ਲਈ ਨਹੀਂ। ਨਵੇਂ ਮਾਡਲ ਆਪਣੇ-ਆਪ ਜੁੜ ਜਾਂਦੇ ਹਨ।