अंतर्दृष्टि
एआई पारंपरिक प्रदर्शन माप को क्यों विफल करता है
विश्वविद्यालय का एक विभाग जिसके बारे में मैं सोच रहा था, उसने पिछले साल गलत बात पर बहस करने में बिताया।
बहस नकल को लेकर थी। छात्र AI की मदद से लिखा हुआ coursework जमा कर रहे थे, और फैकल्टी उन दो गुटों में बंट गई जिन पर हर संस्थान पहुंच जाता है: इस पर प्रतिबंध लगाओ और निगरानी रखो, या अनुमति दो और उम्मीद करो। दोनों को लगा कि सवाल ईमानदारी का है। लेकिन ऐसा नहीं था। यह माप (measurement) का मामला था। एक सदी तक, निबंध ने मूल्यांकन उपकरण के रूप में इसलिए काम किया क्योंकि यह महंगा था। आठ सुसंगत पन्ने तैयार करना धीमा काम था, और यही धीमापन इसका मुख्य उद्देश्य था। विभाग को कभी निबंध नहीं चाहिए थे। उसे इस बात का प्रमाण चाहिए था कि कोई युवा व्यक्ति दबाव में एक तर्क को मजबूती से खड़ा रख सकता है। वह आर्टिफैक्ट ग्रेड करने में आसान और नकली बनाना मुश्किल था, इसलिए वह उस असली चीज़ की जगह ले लेता था जो मायने रखती थी। जब उत्पादन लागत खत्म हो जाती है, तो प्रॉक्सी अपना काम करना बंद कर देती है। आर्टिफैक्ट तब भी आ जाता है। बस, अब वह उस इंसान के बारे में कोई जानकारी नहीं देता जिसने उसे जमा किया है। यह कोई शिक्षा की समस्या नहीं है। यह इस समय हर कंपनी के हर परफॉर्मेंस रिव्यू में मौजूद है — डिलीवरेबल आ जाता है, और संगठन को समझ नहीं आता कि इसमें इंसान ने वास्तव में क्या किया।
दो सबूत मुझे इस बारे में सोचने पर मजबूर करते हैं
पहला सबूत व्हार्टन के नेतृत्व वाली एक टीम का अध्ययन है जिसने ताइपे के दस हाई स्कूलों में पाइथन सिखाते हुए पांच महीने का एक रैंडमाइज्ड ट्रायल चलाया। हर छात्र के पास एक ही AI ट्यूटर और वही सामग्री थी। एकमात्र चर (variable) वह क्रम था जिसमें अभ्यास की समस्याएं सौंपी गईं — एक समूह में निश्चित (fixed), दूसरे में इस आधार पर समायोजित कि प्रत्येक छात्र वास्तव में कैसे जुड़ रहा है। उस एक डिज़ाइन परिवर्तन ने अंतिम परीक्षा के स्कोर को 0.15 मानक विचलन तक बढ़ा दिया, एक ऐसा प्रभाव जिसे लेखक सीखने के छह से नौ अतिरिक्त महीनों के बराबर मानते हैं। कोई अतिरिक्त शिक्षण घंटे नहीं। शिक्षक का कोई अतिरिक्त कार्यभार नहीं। टूल बिल्कुल एक जैसा था। इसके आसपास का डिज़ाइन एक जैसा नहीं था। डिज़ाइन ही पूरा लाभ था। दूसरा सबूत कम आरामदायक है। ओईसीडी (OECD) के नवीनतम वयस्क कौशल सर्वेक्षण में, जिसमें 31 देशों के लगभग 160,000 वयस्क शामिल हैं, एक दशक में उनमें से अधिकांश में साक्षरता और संख्यात्मकता में गिरावट या ठहराव देखा गया — सबसे कम प्रदर्शन करने वाले दसवें हिस्से में सबसे तेज गिरावट, शीर्ष पर सुधार। देशों के भीतर कौशल असमानता बढ़ गई। लगभग पांच में से एक वयस्क केवल सरल पाठ या बुनियादी अंकगणित को संभाल सकता है। इसलिए हम एक ऐसी आबादी के बीच एक ऐसी तकनीक रख रहे हैं जो धाराप्रवाह आउटपुट उत्पन्न करती है, जिसकी धाराप्रवाह आउटपुट का मूल्यांकन करने की क्षमता, कई लोगों के लिए, विपरीत दिशा में जा रही है। यह स्वचालित रूप से किसी को होशियार नहीं बनाता है। यह डिज़ाइन के निर्णयों को बहुत बड़ा बना देता है।
यह एक योगदान उपकरण है
विभाग ने अंततः जो किया वह छोटा था और, मेरे विचार से, सही था। इसने अकेले आर्टिफैक्ट को ग्रेड देना बंद कर दिया और उसके पीछे के निर्णयों को ग्रेड देना शुरू कर दिया। छात्र अभी भी निबंध जमा करते हैं। वे इस बात का एक संक्षिप्त रिकॉर्ड भी जमा करते हैं कि उन्होंने क्या कोशिश की और क्या छोड़ दिया, उन्होंने किन स्रोतों को अस्वीकार किया और क्यों, और वे मॉडल से कहाँ असहमत थे। फिर वे किसी ऐसे व्यक्ति के सामने उस तर्क का बचाव करने में बीस मिनट बिताते हैं जो उन पर सवाल उठाता है। असाइनमेंट लिखना कठिन नहीं हुआ। इसे नकली बनाना कठिन हो गया, क्योंकि मूल्यांकन की वस्तु आउटपुट से बदलकर उसके पीछे के तर्क पर आ गई। ग्रेडिंग का समय बढ़ गया। फैकल्टी ने फैसला किया कि किसी भी वास्तविक चीज़ को मापने की यही कीमत है। गौर कीजिए कि यह क्या है। यह ईमानदारी की पुलिसिंग नहीं है। यह एक योगदान उपकरण (Contribution OS) है — किसी व्यक्ति द्वारा किए गए निर्णय को दृश्यमान बनाने का एक तरीका, ऐसी दुनिया में जहाँ उस निर्णय का उत्पाद अब दुर्लभ नहीं है। हर संगठन को इसकी आवश्यकता होगी। आपके ऐप्रेजल फॉर्म निबंध युग में बनाए गए थे। वे आर्टिफैक्ट्स को मापते हैं क्योंकि आर्टिफैक्ट्स हुआ करते थे महंगे, और वे तब तक आर्टिफैक्ट्स को मापते रहेंगे जब तक इसका कोई मतलब नहीं रह जाता, क्योंकि किसी ने इसके विकल्प का प्रस्ताव नहीं दिया है। विश्वविद्यालयों को सार्वजनिक रूप से उन छात्रों के सामने समय सीमा के भीतर इसे हल करने के लिए मजबूर किया जा रहा है जो तुरंत देख लेते हैं कि कोई सिस्टम नाटक कर रहा है। हम में से बाकी लोग इसे अधिक धीरे-धीरे और कम ईमानदारी से हल करते हैं। मैं उनसे सीखना पसंद करूँगा न कि उनकी नकल करना।