Insights
Die Lücke im Urteilsvermögen in Organisationen
Wir haben jahrzehntelang Organisationen aufgebaut, die Menschen für das Wssen belohnen, und fast keine Zeit darauf verwendet, Organisationen zu schaffen, die diejenigen belohnen, die merken, dass sie es nicht wissen. Diese Asymmetrie war früher verkraftbar. Das wird sie vielleicht nicht mehr lange sein.\n\nAnfang dieses Jahres veröffentlichte ein Forschungsteam bei Scale einen Benchmark namens HiL-Bench. Die Prämisse ist einfach: Man nehme schwierige Software- und Datenbankaufgaben, die moderne KI-Modelle bereits gut lösen, und entferne ein paar Details – genau die Art von Details, die in jeder echten Spezifikation fehlen, die jemals geschrieben wurde: eine mehrdeutige Anforderung, ein Widerspruch zwischen Dokumenten, eine Tatsache, die niemand aufgeschrieben hat.\n\nMit vollständigen Informationen lösten die Modellen zwischen 75 % und 89 % der Aufgaben. Wenn sie zwar die Möglichkeit hatten, einen Menschen um Klärung zu bitten, aber selbst entscheiden mussten, wann sie fragen, sank die Leistung in dem einen Bereich auf 38 % und in dem anderen auf 12 %.\n\nDas Auffällige ist nicht das Scheitern, sondern die Art und Weise. Die Systeme gerieten nicht ins Stocken oder signalisierten Unsicherheit. Sie füllten die Lücke mit einer selbstbewussten Annahme und machten weiter. Über Tausende von Fehlerprotokollen hinweg baute eine Modellfamilie komplexe Arbeiten auf Überzeugungen auf, die sie nie überprüfte; eine andere erkannte, dass sie feststeckte, und machte trotzdem weiter.\n\n## Eine Lücke im Urteilsvermögen, keine Fähigkeitslücke\n\nDie Forscher haben das Fehlende gut benannt: eine Lücke im Urteilsvermögen (Judgment Gap), keine Fähigkeitslücke. Der Mechanismus zum Nachfragen war vorhanden. Das Urteilsvermögen darüber, wann er eingesetzt werden sollte, fehlte.\n\nIch denke, die meisten Organisationen haben genau dieselbe Lücke und haben sie schon viel länger als die Maschinen.\n\nÜberlegen Sie, wie wir Menschen auswählen. Wir bitten um den Nachweis dessen, was sie bereits produziert haben – Abschlüsse, Titel, Durchsatz, früheren Verantwortungsbereich. Wir bitten selten um den Nachweis, dass sie erkennen können, wenn ein Briefing inkohärent ist oder wenn ein Plan etwas voraussetzt, das vor zwei Jahren noch galt. Das Burning Glass Institute und OneTen untersuchten in diesem Frühjahr über tausend große US-Arbeitgeber und stellten fest, dass Unternehmen, die formale Studienvoraussetzungen abschafften, nur einen Anstieg der Einstellungen von Personen ohne Hochschulabschluss um zwei Prozentpunkte verzeichneten. Die Richtlinie änderte sich; der Auswahlinstinkt blieb im Wesentlichen derselbe. Achtundfünzig Prozent der erwerbsfähigen amerikanischen Arbeitnehmerschaft haben keinen Vierjahresabschluss, und der Apparat greift weiterhin nach denselben Signalen.\n\nAlso bauen wir Organisationen auf, die auf selbstbewusste Ausführung optimiert sind, und tun dann überrascht, wenn sich die selbstbewusste Ausführung als das Fehlermodus erweist.\n\n## Falsche Annahmen kumulieren sich heute mit Maschinengeschwindigkeit\n\nWarum ist das heute wichtiger? Als die Ausführung teuer war, wanderte eine selbstbewusst falsche Annahme langsam. Sie lief durch Menschen, Entwürfe, Meetings, Budgets – jedes davon eine Gelegenheit für jemanden, leise zu fragen: „Moment, was meinen wir damit eigentlich?“ Ausführung ist heute billig und schnell. Falsche Annahmen kumulieren sich nun mit Maschinengeschwindigkeit. Der Flaschenhals verlagert sich nach oben, hin zur Qualität der Frage, mit der die Arbeit begann.\n\nDas macht das Wahrnehmen zu einer Form der Produktion – vielleicht zur wertvollsten von allen. Und das Wahrnehmen kommt nicht allein aus Fachwissen; es kommt daher, dass man in mehr als einem System gelebt hat. Die Person, die in einem Lager gearbeitet hat, bevor sie ins Finanzwesen ging, sieht die Lieferketten-Annahme, an der der Rest des Raumes einfach vorbeidorscht. Die zur Verwaltungskraft gewordene Pflegekraft hört, welcher Teil der Richtlinie einen Dienstagabend nicht überleben wird. Die eingewanderte Person hört den Satz im Deck, der nur für diejenigen Sinn ergibt, die hier aufgewachsen sind. Das ist für mich das eigentliche Argument für diverse Organisationen – nicht, dass Vielfalt bewundernswert ist, sondern dass Vielfalt der einzige zuverlässige Detektor für jene Annahmen ist, die eine homogene Gruppe nicht sehen kann, weil sie sie teilt.\n\n## Urteilsvermögen erwies sich als trainierbar\n\nDas Ermutigende an dem Benchmark ist sein letztes Ergebnis: Urteilsvermögen erwies sich als trainierbar. Ein weitaus kleineres Modell, das darauf trainiert wurde, unauflösliche Unsicherheit zu erkennen und entsprechend zu handeln, verbesserte nicht nur sein Nachfragen, sondern auch seine Ergebnisse.\n\nWenn es bei einem Modell trainierbar ist, ist es in einer Institution kultivierbar. Aber man kann nicht kultivieren, was man niemals festhält. Das führt mich zurück zu einer Frage, um die ich immer wieder kreise: Hält Ihre Organisation irgendeine Aufzeichnung über den Moment fest, in dem jemand die Arbeit stoppte, um eine bessere Frage zu stellen? Oder erinnert sie sich nur an die Leute, die einfach weitergemacht haben?