Perspectives
L'écart de jugement dans les organisations
Nous avons passé un siècle à bâtir des organisations qui récompensent les gens pour ce qu’ils savent, et presque aucun temps à bâtir des organisations qui récompensent ceux qui remarquent qu’ils ne savent pas. Cette asymétrie était tolérable par le passé. Elle ne le sera probablement plus très longtemps.\n\nPlus tôt cette année, une équipe de recherche de Scale a publié un banc d’essai appelé HiL-Bench. Le principe est simple : prendre des tâches complexes de logiciels et de bases de données que les modèles d’IA de pointe résolvent déjà bien, puis retirer quelques détails — le genre de détails absents de toutes les spécifications réelles jamais rédigées : une exigence ambiguë, une contradiction entre des documents, un fait que personne n’a couché par écrit.\n\nAvec des informations complètes, les modèles ont résolu entre 75 % et 89 % des tâches. Ayant la possibilité de demander des précisions à un humain, mais laissés libres de décider par eux-mêmes du moment où ils devaient le faire, les performances sont tombées à 38 % dans un domaine et à 12 % dans l’autre.\n\nCe qui frappe, ce n’est pas l’échec, mais la manière dont il se produit. Les systèmes n’ont ni calé ni signalé d’incertitude. Ils ont comblé le vide par une hypothèse assurée et ont continué. À travers des milliers de traces d’échec, une famille de modèles a échafaudé un travail complexe sur des croyances qu’elle n’a jamais examinées ; une autre a reconnu qu’elle était bloquée et a foncé quand même.\n\n## Un écart de jugement, pas un écart de capacité\n\nLes chercheurs ont bien nommé ce qui manquait : un écart de jugement, et non un écart de capacité. Le mécanisme pour poser des questions existait. Le jugement sur le moment de l’utiliser, non.\n\nJe pense que la plupart des organisations souffrent du même écart, et ce, depuis bien plus longtemps que les machines.\n\nConsidérez la façon dont nous sélectionnons les gens. Nous exigeons des preuves de ce qu’ils ont déjà produit — diplômes, titres, rendement, portée antérieure. Nous demandons rarement des preuves qu’ils sont capables de repérer lorsqu’un mandat est incohérent, ou lorsqu’un plan repose sur une hypothèse qui était vraie il y a deux ans. Le Burning Glass Institute et OneTen ont étudié plus d’un millier de grands employeurs américains ce printemps et ont constaté que les entreprises qui ont officiellement supprimé les exigences de diplôme n’ont enregistré qu’une augmentation de deux points de pourcentage des embauches de candidats sans diplôme. La politique a changé, mais pas l’instinct de sélection. Cinquante-huit pour cent de la main-d’œuvre américaine en âge de travailler n’a pas de diplôme universitaire de quatre ans, et la machine continue de rechercher le même signal.\n\nNous assemblons donc des organisations optimisées pour une exécution assurée, puis nous feignons la surprise lorsque cette exécution assurée s’avère être le mode de défaillance.\n\n## Les fausses hypothèses s’accumulent désormais à la vitesse de la machine\n\nPourquoi est-ce plus important aujourd’hui ? Lorsque l’exécution était coûteuse, une fausse hypothèse assurée voyageait lentement. Elle passait par des personnes, des ébauches, des réunions, des budgets — autant d’occasions pour quelqu’un de demander, discrètement : « attendez, qu’est-ce qu’on entend réellement par là ? » L’exécution est désormais rapide et bon marché. Les fausses hypothèses s’accumulent maintenant à la vitesse de la machine. Le goulot d’étranglement se déplace en amont, vers la qualité de la question qui a donné naissance au travail.\n\nCe qui fait de l’observation une forme de production — peut-être la plus précieuse. Et observer ne découle pas seulement de l’expertise ; cela vient du fait d’avoir vécu dans plus d’un système. La personne qui a travaillé dans un entrepôt avant de travailler dans la finance remarque l’hypothèse sur la chaîne d’approvisionnement que le reste de la pièce survole. L’infirmière devenue administratrice entend quelle partie de la politique ne survivra pas à un mardi soir. L’immigrant entend la phrase de la présentation qui n’a de sens que pour ceux qui ont grandi ici. C’est là, selon moi, le véritable argument en faveur des organisations diverses : non pas que la différence soit admirable, mais qu’elle est le seul détecteur fiable des hypothèses qu’un groupe homogène ne peut voir parce qu’il les partage.\n\n## Le jugement s’est avéré entraînable\n\nLa partie encourageante de ce banc d’essai réside dans sa dernière conclusion : le jugement s’est avéré entraînable. Un modèle beaucoup plus petit, entraîné à reconnaître l’incertitude insoluble et à agir en conséquence, a amélioré non seulement sa façon de poser des questions, mais aussi ses résultats.\n\nS’il est entraînable dans un modèle, il est cultivable dans une institution. Mais on ne peut cultiver ce que l’on n’enregistre jamais. Ce qui me ramène à une question autour de laquelle je tourne constamment : votre organisation conserve-t-elle une trace du moment où quelqu’un a interrompu le travail pour poser une meilleure question ? Ou se souvient-elle seulement de ceux qui ont continué ?