Ideas
¿Por qué la IA rompe la medición del rendimiento?
Un departamento universitario en el que he estado pensando pasó el año pasado discutiendo sobre lo equivocado.
La discusión giraba en torno a las trampas. Los estudiantes entregaban trabajos redactados con IA, y el profesorado se dividió en los dos bandos en los que acaba dividiéndose cualquier institución: prohibirlo y vigilarlo, o permitirlo y cruzar los dedos. Ambos daban por hecho que el problema era la integridad. No era eso. Era la medición. Durante un siglo, el ensayo funcionó como instrumento de evaluación porque era costoso. Producir ocho páginas coherentes era lento, y esa lentitud era precisamente el objetivo. El departamento nunca quiso ensayos. Quería pruebas de que un joven era capaz de sostener un argumento bajo presión. El artefacto era fácil de corregir y difícil de falsificar, por lo que sustituía a lo que realmente importaba. Cuando los costes de producción se desploman, el sustituto deja de cumplir su función. El artefacto sigue llegando. Simplemente ya no aporta información sobre la persona que lo entregó. Esto no es un problema educativo. Está presente ahora mismo en cada evaluación de rendimiento de todas las empresas: el entregable llega, y la organización ya no es capaz de discernir qué hizo el ser humano.
Dos indicios me hacen pensar en la salida
El primero es un estudio de un equipo dirigido por Wharton que llevó a cabo un ensayo aleatorio de cinco meses en diez institutos de Taipéi que enseñaban Python. Todos los alumnos tenían el mismo tutor de IA y los mismos materiales. La única variable era la secuencia en la que se asignaban los problemas prácticos: fija en un grupo, ajustada en el otro según cómo participaba realmente cada estudiante. Ese único cambio de diseño elevó las calificaciones del examen final en 0,15 desviaciones típicas, un efecto que los autores comparan con entre seis y nueve meses adicionales de aprendizaje. Sin horas lectivas extra. Sin carga de trabajo adicional para el profesor. La herramienta era idéntica. El diseño que la rodeaba, no. El diseño supuso todo el beneficio. El segundo dato es menos cómodo. La más reciente Encuesta de Competencias de Adultos de la OCDE, que abarca a unos 160.000 adultos en 31 países, constató que la lectoescritura y el cálculo disminuyen o se estancan en la mayoría de ellos a lo largo de una década: las caídas más acusadas se registran entre el diez por ciento con peor rendimiento, mientras que arriba hay mejoras. La desigualdad de competencias se amplió dentro de los países. Alrededor de uno de cada cinco adultos solo puede desenvolverse con textos sencillos o aritmética básica. Así pues, estamos introduciendo una tecnología que genera resultados fluidos en una población cuya capacidad para evaluar dichos resultados fluidos va, en muchos casos, en dirección contraria. Eso no vuelve a nadie más inteligente de manera automática. Convierte las decisiones de diseño en algo trascendental.
Es un instrumento de contribución
Lo que el departamento terminó haciendo fue pequeño y, en mi opinión, acertado. Dejó de calificar únicamente el artefacto y comenzó a evaluar las decisiones que había detrás. Los estudiantes siguen entregando el ensayo. También presentan un breve registro de lo que intentaron y abandonaron, qué fuentes rechazaron y por qué, y en qué puntos no estaban de acuerdo con el modelo. Después pasan veinte minutos defendiendo el argumento ante alguien que les rebate. La tarea no se volvió más difícil de redactar. Se volvió más difícil de falsificar, porque el objeto de evaluación pasó del resultado al razonamiento subyacente. El tiempo de corrección aumentó. El claustro decidió que ese era el precio de medir algo real. Fíjate en lo que es esto. No es policía de la integridad. Es un instrumento de contribución: una forma de hacer visible el criterio que ejerció una persona, en un mundo en el que el producto de dicho criterio ya no es escaso. Todas las organizaciones van a necesitar uno. Tus formularios de evaluación se diseñaron en la era del ensayo. Miden artefactos porque antes eran costosos, y seguirán midiéndolos mucho después de que eso deje de significar algo, porque nadie ha propuesto un sustituto. Las universidades se ven obligadas a resolver esto en público, con fecha límite y ante alumnos que perciben de inmediato cuando un sistema está fingiendo. El resto de nosotros podemos resolverlo de forma más pausada y menos honesta. Prefiero aprender de ellos que repetirlos.