Insights
Warum KI herkömmliche Leistungsmessung bricht
Eine Universitätsabteilung, über die ich viel nachgedacht habe, hat das letzte Jahr damit verbracht, über das Falsche zu streiten.
Es ging um Betrug. Studierende reichten Hausarbeiten ein, die mit KI verfasst worden waren, und die Fakultät spaltete sich in die zwei Lager, bei denen jede Institution am Ende landet: verbieten und kontrollieren oder erlauben und hoffen. Beide gingen davon aus, dass es um Integrität ging. Ging es aber nicht. Es ging um Messung. Ein Jahrhundert lang funktionierte der Aufsatz als Prüfungsinstrument, weil er teuer war. Acht kohärente Seiten zu produzieren war langsam, und genau diese Langsamkeit war der Punkt. Die Abteilung wollte nie Aufsätze. Sie wollte den Beweis, dass ein junger Mensch unter Druck ein Argument aufrechterhalten konnte. Das Artefakt war leicht zu bewerten und schwer zu fälschen, also diente es als Stellvertreter für das, worauf es ankam. Wenn die Produktionskosten einbrechen, funktioniert der Stellvertreter nicht mehr. Das Artefakt kommt immer noch an. Es transportiert nur keine Informationen mehr über die Person, die es eingereicht hat. Das ist kein Bildungsproblem. Es steckt genau jetzt in jeder Leistungsbeurteilung in jedem Unternehmen – das Arbeitsergebnis trifft ein, und das Unternehmen kann nicht mehr erkennen, was der Mensch getan hat.
Zwei Belege lassen mich über den Ausweg nachdenken
Der erste Beleg stammt von einem Wharton-geführten Team, das einen fünfmonatigen, randomisierten Test an zehn High Schools in Taipeh beim Python-Unterricht durchführte. Jede Schülerin und jeder Schüler hatte denselben KI-Tutor und dieselben Materialien. Die einzige Variable war die Reihenfolge, in der Übungsaufgaben zugewiesen wurden – in einer Gruppe starr, in der anderen angepasst daran, wie sich der einzelne Schüler tatsächlich beteiligte. Diese einzige Designänderung steigerte die Klausurergebnisse um 0,15 Standardabweichungen – ein Effekt, den die Autoren mit sechs bis neun zusätzlichen Lernmonaten vergleichen. Keine zusätzlichen Unterrichtsstunden. Kein zusätzlicher Aufwand für Lehrkräfte. Das Tool war identisch. Das Design drumherum nicht. Das Design war der gesamte Gewinn. Der zweite Beleg ist unbequemer. Die jüngste Kompetenzstudie der OECD (Survey of Adult Skills), die rund 160.000 Erwachsene in 31 Ländern abdeckt, ergab, dass Lese- und Rechenkompetenzen in den meisten Ländern über ein Jahrzehnt hinweg sanken oder stagnierten – mit den stärksten Rückgängen beim leistungsschwächsten Zehntel und Verbesserungen an der Spitze. Die Kompetenzungleichheit innerhalb der Länder nahm zu. Etwa jeder fünfte Erwachsene bewältigt nur einfache Texte oder Grundrechenarten. Wir setzen also eine Technologie, die flüssige Ergebnisse liefert, in eine Bevölkerung ein, deren Fähigkeit, flüssige Ergebnisse zu bewerten, sich bei vielen in die entgegengesetzte Richtung entwickelt. Das macht niemanden automatisch klüger. Es macht Designentscheidungen gewaltig.
Es ist ein Beitragsinstrument
Was die Abteilung schließlich tat, war klein und, wie ich finde, richtig. Sie hörte auf, nur das Artefakt zu bewerten, und begann, die Entscheidungen dahinter zu benoten. Die Studierenden reichen weiterhin den Aufsatz ein. Dazu reichen sie eine kurze Dokumentation ein über das, was sie ausprobiert und verworfen haben, welche Quellen sie warum abgelehnt haben und wo sie mit dem Modell nicht einverstanden waren. Danach verbringen sie zwanzig Minuten damit, das Argument vor jemandem zu verteidigen, der kritisch nachhakt. Die Aufgabe wurde nicht schwieriger zu schreiben. Sie wurde schwieriger zu fälschen, da sich der Gegenstand der Bewertung vom Output auf die Argumentation dahinter verlagert hat. Der Zeitaufwand für die Benotung stieg. Die Fakultät beschloss, dass dies der Preis dafür ist, überhaupt etwas Reales zu messen. Merken Sie sich, was das ist. Das ist keine Integritätsüberprüfung. Es ist ein Beitragsinstrument – eine Möglichkeit, das Urteilsvermögen sichtbar zu machen, das ein Mensch ausgeübt hat, in einer Welt, in der das Produkt dieses Urteilsvermögens nicht mehr knapp ist. Jedes Unternehmen wird eines brauchen. Ihre Beurteilungsbögen wurden in der Aufsatz-Ära entwickelt. Sie messen Artefakte, weil Artefakte früher teuer waren, und sie werden weiterhin Artefakte messen, lange nachdem das keine Bedeutung mehr hat, weil niemand einen Ersatz vorgeschlagen hat. Universitäten werden gezwungen, dies öffentlich zu lösen, unter Termindruck, vor Studierenden, die sofort merken, wenn ein System vorgibt. Der Rest von uns kann das langsamer und unehrerlicher lösen. Ich ziehe es vor, von ihnen zu lernen, anstatt ihre Fehler zu wiederholen.