El momento que le cambió la cabeza a Christian Kästner tiene la forma de una anécdota mínima. Uno de sus asistentes de cátedra le contó que se sentía ridículo corrigiendo un trabajo práctico cuyo mensaje de entrega decía, textualmente, "Authored by Claude Code". El asistente estaba dedicando su tiempo a evaluar con cuidado un código que ningún estudiante había escrito, firmado sin disimulo por la herramienta que lo generó. Ahí el profesor entendió que el problema ya tenía otro tamaño.
Kästner enseña en Carnegie Mellon, una de las universidades de tecnología más prestigiosas del mundo, una materia sobre cómo llevar sistemas de aprendizaje automático a producción, con cursadas de 100 a 170 estudiantes. Esta semana publicó un texto que está circulando fuerte entre educadores, donde cuenta con una honestidad poco común cómo rediseñó su materia entera después de comprobar que los agentes de IA podían resolver absolutamente todos los trabajos que daba, incluyendo el código, los informes y hasta las reflexiones personales sobre qué les había costado más del ejercicio.
La historia tiene una capa previa que la vuelve mejor. En 2021, antes de que existiera ChatGPT, un colega le sugirió probar GPT-3 con los cuestionarios de lectura de su curso, y el modelo produjo respuestas convincentes que pasaban la corrección sin haber visto el paper asignado. Kästner escribió que en aquel momento pudo observar el fenómeno tranquilo y seguir con su semestre como si nada, mientras que ahora esa tranquilidad se le terminó. Le llevó cinco años pasar de la curiosidad al rediseño total.
Lo que armó en reemplazo es un experimento pedagógico que vale la pena mirar en detalle desde acá. La regla nueva de su materia dice que nada de lo que se hace en casa sirve como prueba de que alguien entendió algo. Las reflexiones escritas fueron reemplazadas por conversaciones presenciales de 15 minutos con un asistente después de cada entrega, donde el estudiante tiene que explicar su solución en vivo y bancarse las repreguntas. Los exámenes pasaron de valer el 15% al 25% de la nota y él mismo admite que probablemente suban más. Los cuestionarios de lectura los eliminó directamente, porque asumió que la mayoría se los delegaba a un modelo. Y hay un detalle que pinta la época entera, porque algunos estudiantes empezaron a usar IA para hacerse soplar las respuestas durante los chequeos orales por Zoom, así que las charlas van a pasar a ser únicamente cara a cara.
Conviene aclarar desde qué lugar hace todo esto, porque Kästner está lejos de la cruzada antitecnológica. Permite usar IA en todo, en cualquier forma y sin citarla, salvo en los exámenes, porque considera que vigilar su uso resulta imposible y que aprender a usarla con criterio es parte de la formación. Dio por sentado que sus estudiantes trabajan con agentes de código y por eso agrandó las consignas, cambiando un ejercicio sobre una aplicación de juguete de 12 mil líneas que Claude Code resolvía entero y solo, por uno sobre un sistema real de más de 500 mil líneas donde el agente necesita un humano que lo guíe. Hasta compara el costo de la suscripción con el de los libros de texto, unos 20 dólares por mes contra los 100 que sale un manual universitario. Su apuesta va en una dirección precisa, la de subir la vara hasta el punto donde la máquina sola ya no llega.
El texto guarda además un dato que me parece de lo más valioso que leí este año sobre educación. Kästner descubrió que ChatGPT se equivoca con confianza en una pregunta conceptual clásica de su campo, y midió el efecto en sus alumnos. Antes de ChatGPT, el 20% de los estudiantes cometía ese error. Después de ChatGPT, el 80%. Y cuando les avisó de antemano que el modelo se equivocaba justo ahí, el error apenas bajó al 50%. La mitad de la clase prefirió la respuesta de la máquina aun sabiendo que estaba mal. En otro ejercicio, una solución de seguridad que sonaba sofisticada y era completamente insegura engañó al 80% de los alumnos y también a la mayoría de sus propios asistentes de cátedra, al punto de que hubo que corregir la entrega completa.
Escribí hace unos meses en esta columna sobre el estudio de Berkeley que mostraba cómo la trampa con IA se volvió indetectable en las universidades, y buena parte de la discusión pública sigue trabada en ese punto, en el juego del gato y el ratón entre alumnos que delegan y profesores que persiguen. Kästner abandonó la persecución por inviable, asumió que la máquina participa de todas las entregas, y concentró la evaluación en comprobar si detrás de cada entrega hay una persona capaz de explicar lo que entregó. El archivo subido a medianoche perdió su valor de prueba, y la prueba se mudó a la conversación.
Yo doy clases desde hace años, en posgrados y en aulas llenas de profesionales que ya trabajan con estas herramientas todos los días, y leí el texto de Kästner con la incomodidad de reconocer mi propio escritorio. Cada docente de Argentina y de Uruguay que corrige entregas domiciliarias está corrigiendo hoy, en alguna proporción imposible de conocer, trabajo hecho por máquinas, mientras buena parte de nuestras instituciones sigue discutiendo si prohibir o permitir, una discusión que la realidad ya contestó sola. La experiencia de Pittsburgh muestra un camino más honesto y bastante más caro, porque las charlas de 15 minutos con cada alumno consumen horas docentes que nuestras universidades, con los presupuestos que tienen, no siempre pueden pagar. La parte que sí se puede copiar gratis es la decisión de fondo, la de dejar de fingir que un archivo entregado a medianoche demuestra algo.
Me quedo con la imagen del asistente corrigiendo con esmero un trabajo firmado por un programa, porque cada sistema educativo del mundo tiene hoy adentro miles de escenas parecidas, con gente seria evaluando con dedicación cosas que ninguna persona hizo. Kästner decidió cortar con eso y volver a lo más viejo que existe, sentarse enfrente de alguien y preguntarle qué hizo y por qué. Sospecho que en los próximos años muchos docentes van a terminar llegando al mismo lugar, cada uno después de su propia versión de aquel mensaje de entrega, y ojalá lleguen antes de que la ceremonia se les vacíe del todo.
