Ideas
La brecha de juicio en las organizaciones
Llevamos un siglo construyendo organizaciones que premian a quienes saben, y casi ningún tiempo construyendo organizaciones que premien a quienes notan que no saben. Esa asimetría solía ser asumible. Puede que no lo sea por mucho más tiempo.
A principios de este año, un equipo de investigación de Scale publicó una prueba comparativa llamada HiL-Bench. La premisa es sencilla: coger tareas complejas de software y bases de datos que los modelos de IA de vanguardia ya resuelven bien, y luego eliminar algunos detalles —el tipo de detalles que faltan en cualquier especificación real jamás escrita: un requisito ambiguo, una contradicción entre documentos, un dato que nadie puso por escrito—.
Con información completa, los modelos resolvieron entre el 75% y el 89% de las tareas. Con la capacidad de pedir aclaraciones a un humano, pero dejados a su libre criterio sobre cuándo preguntar, el rendimiento cayó al 38% en un dominio y al 12% en el otro.
Lo llamativo no es el fallo, sino cómo se produce. Los sistemas no se detuvieron ni señalaron incertidumbre. Rellenaron el vacío con suposiciones seguras de sí mismas y continuaron. A lo largo de miles de registros de fallos, una familia de modelos construyó un trabajo complejo sobre creencias que nunca examinó; otra reconoció que estaba atascada y siguió adelante de todos modos.
Una brecha de juicio, no una brecha de capacidad
Los investigadores nombraron muy bien lo que faltaba: una brecha de juicio, no una brecha de capacidad. El mecanismo para preguntar existía. El juicio sobre cuándo utilizarlo, no.
Creo que la mayoría de las organizaciones sufren la misma brecha, y la padecen desde mucho antes que las máquinas.
Piensa en cómo seleccionamos a las personas. Pedimos pruebas de lo que ya han producido —títulos, cargos, rendimiento, alcance previo—. Rara vez pedimos pruebas de que sepan detectar cuándo un brief es incoherente, o cuándo un plan da por sentado algo que era verdad hace dos años. The Burning Glass Institute y OneTen estudiaron a más de mil grandes empleadores de EE. UU. esta primavera y descubrieron que las empresas que eliminaron formalmente los requisitos de titulación solo experimentaron un aumento de dos puntos porcentuales en contrataciones sin credenciales universitarias. La política cambió; el instinto de selección, no. El cincuenta y ocho por ciento de la población activa estadounidense en edad de trabajar no tiene un título universitario de cuatro años, y la maquinaria sigue buscando la misma señal.
Así que montamos organizaciones optimizadas para una ejecución confiada, y luego nos extrañamos cuando esa ejecución confiada resulta ser el modo de fallo.
Las suposiciones erróneas ahora se acumulan a velocidad de máquina
¿Por qué importa más esto ahora? Cuando la ejecución era cara, una suposición errónea y segura viajaba despacio. Pasaba por personas, borradores, reuniones, presupuestos; cada uno era una oportunidad para que alguien preguntara en voz baja: «Espera, ¿qué queremos decir realmente con esto?». La ejecución ahora es barata y rápida. Las suposiciones erróneas se acumulan a velocidad de máquina. El cuello de botella se desplaza aguas arriba, hacia la calidad de la pregunta con la que empezó el trabajo.
Lo que convierte la observación en una forma de producción, tal vez la más valiosa. Y la observación no proviene únicamente de la experiencia técnica; viene de haber vivido en más de un sistema. La persona que trabajó en un almacén antes de trabajar en finanzas ve la suposición sobre la cadena de suministro que el resto de la sala pasa por alto. La enfermera reconvertida en administradora escucha qué parte de la política no va a sobrevivir a un martes por la noche. El inmigrante escucha la frase de la presentación que solo tiene sentido para quienes se criaron aquí. Para mí, este es el verdadero argumento a favor de las organizaciones diversas: no que la diferencia sea admirable, sino que la diferencia es el único detector fiable de las suposiciones que un grupo homogéneo no puede ver porque las comparte.
Resulta que el juicio se puede entrenar
La parte alentadora de la prueba comparativa es su último hallazgo: resulta que el juicio se puede entrenar. Un modelo mucho más pequeño, entrenado para reconocer la incertidumbre irresoluble y actuar en consecuencia, mejoró no solo su capacidad de hacer preguntas, sino también sus resultados.
Si se puede entrenar en un modelo, se puede cultivar en una institución. Pero no puedes cultivar lo que nunca registras. Lo que me devuelve a una pregunta a la que sigo dándole vueltas: ¿registra tu organización de algún modo el momento en que alguien detuvo el trabajo para hacer una pregunta mejor? ¿O solo recuerda a quienes siguieron adelante?