एआई बेंचमार्क लीडरबोर्ड
एआई बेंचमार्क क्या हैं?
- एआई सिस्टम के लिए एक परीक्षा की तरह।
- किसी विशिष्ट कौशल का मानकीकृत तरीके से मूल्यांकन करने के लिए डिज़ाइन किया गया, जिसके परिणामस्वरूप एक स्कोर प्राप्त होता है जो प्रणालियों के बीच तुलना की अनुमति देता है।
- इसमें समस्या का विवरण, डेटासेट और निर्धारित स्कोर शामिल होता है। सही उत्तरों को अक्सर जमीनी सच्चाई के रूप में संदर्भित किया जाता है।
- एआई बेंचमार्क एडटेक उत्पादों के एआई आउटपुट की गुणवत्ता का परीक्षण करते हैं - जो व्यापक गुणवत्ता आश्वासन ढांचे का एक हिस्सा है।
एआई बेंचमार्क क्यों उपयोगी हैं?
- एआई बेंचमार्क एआई मॉडल डेवलपर्स और एडटेक उत्पाद डेवलपर्स के लिए एक लक्ष्य प्रदान करते हैं - जिससे उन्हें कमजोरियों को समझने और सुधार पर ध्यान केंद्रित करने में मदद मिलती है।
- उपयोगकर्ता और नीति निर्माता प्रदर्शन स्कोर देख सकते हैं, जिससे उन्हें यह चुनने में मदद मिलेगी कि कौन सी AI प्रणाली का उपयोग किया जाए, तथा प्राप्त परिणामों में उनका विश्वास बढ़ेगा।
शिक्षा में एआई बेंचमार्क विकसित करने में मुख्य चुनौतियाँ क्या हैं?
- डेटासेट के लिए संसाधनों का स्रोत खोजना, विशेष रूप से निम्न और मध्यम आय वाले देशों (एलएमआईसी) से, जैसे कि मौजूदा मानव परीक्षा प्रश्न, शिक्षण संसाधन या छात्र कार्य।
- शिक्षा के खुले, व्यक्तिपरक पहलुओं का सामना करते समय स्कोरिंग को परिभाषित करना (अर्थात 'अच्छा' कैसा दिखता है?)।
अब तक हमने कौन से एआई मानक विकसित किये हैं?
- शिक्षाशास्त्र बेंचमार्क - AI मॉडल छात्रों की परीक्षाओं में अच्छा प्रदर्शन करते हैं, लेकिन क्या वे शिक्षाशास्त्र के बारे में जानते हैं और छात्रों को सीखने में मदद करते हैं? हमने यह देखने के लिए शिक्षाशास्त्र बेंचमार्क बनाया कि क्या मॉडल शिक्षक परीक्षाओं में सफल हो सकते हैं।
- एसईएनडी शिक्षाशास्त्र बेंचमार्क - विशेष शैक्षिक आवश्यकताओं और विकलांगताओं (एसईएनडी) विशिष्ट शिक्षाशास्त्र से संबंधित प्रश्नों के एक सेट का उपयोग करके एक विस्तार।
- विज़ुअल मैथ्स बेंचमार्क - AI मॉडल जटिल गणित परीक्षणों का उत्तर दे सकते हैं, लेकिन वे विज़ुअल मैथ्स के साथ कितना अच्छा प्रदर्शन करते हैं, जो शुरुआती कक्षाओं में सीखने के लिए महत्वपूर्ण है? यहाँ हम ठीक उसी का परीक्षण करते हैं।
हमे आपकी मदद की जरूरत है!
हम LMIC में बच्चों के लिए केस बनाने के लिए इन बेंचमार्क का उपयोग करते हैं - हम चाहते हैं कि AI मॉडल डेवलपर्स को पता चले कि वे LMIC संदर्भों के लिए अपने मॉडल में कहाँ सुधार कर सकते हैं। और ऐसा करने का सबसे अच्छा तरीका वास्तविक दुनिया के उदाहरणों का उपयोग करना है। क्या आप कोई प्रासंगिक सूचना स्रोत जानते हैं जो मदद कर सकता है? उदाहरण के लिए LMIC में छात्रों के काम के उदाहरण, प्रारंभिक ग्रेड गणित की पाठ्यपुस्तकें या आम गलतफहमियों का संकलन। यदि ऐसा है, तो कृपया alasdair.mackintosh@fabinc.co.uk से संपर्क करें