Perspectives
Pourquoi l'IA bouleverse la mesure de performance
Un département universitaire auquel je pense a passé l’année dernière à débattre de la mauvaise question.
La discussion portait sur la tricherie. Les étudiants soumettaient des travaux rédigés avec l’aide de l’IA, et le corps professoral s’est divisé en deux camps que l’on retrouve dans toutes les institutions : l’interdire et sévir, ou l’permettre en croisant les doigts. Les deux supposaient que le problème était l’intégrité. Ce n’était pas le cas. C’était la mesure. Pendant un siècle, la dissertation a fonctionné comme instrument d’évaluation parce qu’elle était dispendieuse. Produire huit pages cohérentes était lent, et cette lenteur était précisément le but. Le département n’a jamais voulu de dissertations. Il voulait la preuve qu’un jeune pouvait maintenir un argument cohérent sous pression. L’artéfact était facile à noter et difficile à falsifier, il servait donc de substitut à ce qui importait vraiment. Lorsque les coûts de production s’effondrent, le substitut cesse de jouer son rôle. L’artéfact arrive toujours. Il ne transporte tout simplement plus aucune information sur la personne qui l’a soumis. Ce n’est pas un problème d’éducation. Il se pose dans chaque évaluation de performance de chaque entreprise en ce moment même — le livrable arrive, et l’organisation ne peut plus dire ce que l’humain a fait.
Deux éléments de preuve me font penser à la sortie
Le premier est une étude menée par une équipe dirigée par Wharton qui a réalisé un essai randomisé de cinq mois dans dix écoles secondaires de Taipei enseignant Python. Chaque élève avait le même tuteur IA et le même matériel. La seule variable était l’ordre dans lequel les problèmes pratiques étaient assignés — fixe dans un groupe, ajusté dans l’autre en fonction de l’engagement réel de chaque élève. Ce seul changement de conception a fait grimper les notes d’examens finaux de 0,15 écart-type, un effet que les auteurs comparent à six à neuf mois d’apprentissage supplémentaires. Aucune heure d’enseignement en plus. Aucune charge de travail supplémentaire pour les enseignants. L’outil était identique. La conception autour de celui-ci ne l’était pas. La conception représentait l’intégralité du gain. Le second est moins confortable. La plus récente Enquête sur les compétences des adultes de l’OCDE, couvrant environ 160 000 adultes dans 31 pays, a révélé que l’alphabétisation et la numératie diminuaient ou stagnaient dans la plupart d’entre eux sur une décennie — les baisses les plus marquées s’observant chez le dixième ayant les moins bons résultats, et des améliorations au sommet. L’inégalité des compétences s’est creusée à l’intérieur des pays. Environ un adulte sur cinq ne peut gérer que des textes simples ou de l’arithmétique de base. Nous plaçons donc une technologie qui produit un contenu fluide au sein d’une population dont la capacité à évaluer ce contenu fluide va, pour beaucoup, dans le sens inverse. Cela ne rend automatiquement personne plus intelligent. Cela donne une importance colossale aux décisions de conception.
C’est un instrument de contribution
Ce que le département a fini par faire était modeste et, à mon avis, correct. Il a cessé de noter le seul artéfact pour commencer à noter les décisions sous-jacentes. Les étudiants soumettent toujours la dissertation. Ils soumettent également un bref compte rendu de ce qu’ils ont essayé et abandonné, des sources qu’ils ont rejetées et pourquoi, et des points sur lesquels ils étaient en désaccord avec le modèle. Ensuite, ils passent vingt minutes à défendre leur argument devant quelqu’un qui les pousse dans leurs retranchements. Le travail n’est pas devenu plus difficile à rédiger. Il est devenu plus difficile à falsifier, car l’objet de l’évaluation est passé du résultat au raisonnement qui le sous-tend. Le temps de correction a augmenté. Le corps professoral a estimé que c’était le prix à payer pour mesurer quelque chose de réel. Remarquez ce que c’est. Ce n’est pas de la surveillance de l’intégrité. C’est un instrument de contribution — une façon de rendre visible le jugement qu’une personne a exercé, dans un monde où le produit de ce jugement n’est plus rare. Chaque organisation en aura besoin. Vos formulaires d’évaluation ont été conçus à l’ère de la dissertation. Ils mesurent les artéfacts parce que les artéfacts coûtaient cher, et ils continueront de mesurer les artéfacts bien après que cela n’aura plus aucun sens, car personne n’a proposé de solution de rechange. Les universités sont forcées de résoudre ce problème en public, dans des délais serrés, devant des étudiants qui remarquent immédiatement lorsqu’un système fait semblant. Le reste d’entre nous peut le résoudre plus lentement et avec moins d’honnêteté. J’aimerais mieux apprendre d’eux que de les répéter.