PISA 2015 y más allá

Entre un PISA y otro PISA hay, entre otras varias cosas, dos tipos de diferencias particularmente relevantes

Obviamente lo que nos interesa son cambios que se deban a mejoras en el desempeño de los estudiantes y no cambios que se deban a cambios en la metodología utilizada. PISA 2015 introduce importantes cambios metodológicos. Esto no quita valor al informe PISA 2015 y todo lo que aporta. Son cambios para mejorar el instrumento. Cambios que se seguirán presentando. Significa que comparar resultados hace necesario ajustar y convertir estadísticamente los puntajes para llevarlos a una escala común y para obtener puntajes comparables.

Entre un PISA y otro PISA hay, entre otras varias cosas, dos tipos de diferencias particularmente relevantes: diferencia promedio en el nivel de desempeño de los estudiantes y diferencia promedio en la dificultad de las preguntas (ítems) de las pruebas. Los puntajes que se obtiene con pruebas diferentes no son directamente comparables. El hecho de administrar preguntas (ítems) distintas en las diferentes administraciones PISA obliga a la calibración de las escalas. Cosa que PISA hace. En los ciclos anteriores a PISA 2015 la denominada calibración de las pruebas estaba basada únicamente en una muestra de 500 estudiantes de cada país del ciclo anterior. En 2003 y 2006 sólo se tomaban en cuenta los países de la OCDE. En 2015 se utilizaron todos los estudiantes de los ciclos anteriores. En PISA 2015 se aumentó además el número de preguntas comunes a utilizar para la calibración y la comparación con las pruebas de ciclos anteriores.

Una práctica estándar para aislar y cuantificar las diferencias en la dificultad de las pruebas consiste en agregar un conjunto de preguntas (ítems) comunes. Supongamos que se desea escalar en la misma métrica las pruebas de ciencias del ciclo PISA 2006 y el ciclo PISA 2015. Es decir, colocarlas en una misma escala. Pruebas que se espera midan lo mismo pero que tienen ítems diferentes (contenido, formato, dificultad). El procedimiento, bajo determinados supuestos, consiste en incluir en ambas pruebas un número de ítems comunes (denominado “test de anclaje”). Para cada ítem de anclaje, se dispone de un par de valores de dificultad procedentes de la aplicación en PISA 2006 y de la aplicación en PISA 2015. A partir de los pares de valores de los ítems de anclaje, se puede ver la diferencia de desempeño entre los grupos, determinar un escalamiento común, y llevar a cabo el enlace (linking) de las pruebas. El término “linking” refiere a un proceso por el cual los resultados de una evaluación (puntajes) se hacen comparables con los resultados (puntajes) de otra evaluación.

Hay además de diferencias en contenido y formato de las pruebas otras cosas a tener en cuenta cuando se trata de comparar los resultados alcanzados en pruebas administradas en tiempos distintos y con metodologías diferentes. Entre ellas, variaciones en la representatividad de las muestras de estudiantes, variaciones en las condiciones de administración de las pruebas, variaciones en la motivación de los estudiantes, tratamiento de las no respuestas, etc.

Una diferencia metodológica importante que introduce PISA 2015 refiere a la manera de tratar las “no respuestas”. En los ciclos anteriores de PISA las “no respuestas” eran consideradas como “respuestas incorrectas”. En PISA 2015 fueron consideradas como “sin respuesta”. Obviamente este tratamiento diferente de las “no respuestas” cambia la cosa. Hace que una prueba pueda resultar más difícil o más fácil que otra por el simple hecho de un tratamiento distinto de las no respuestas. En consecuencia, hace no comparables los resultados de PISA 2015 con ciclos anteriores. El impacto de este cambio metodológico no se ha dado en todos los países que participaron en PISA 2015 pero sí, y mucho, para algunos. Muy especialmente Uruguay, país que tiene una de las tasas más altas de preguntas sin responder.

Este desafío técnico se extiende a la medición y evaluación sistemática de rendimientos educativos que será bueno incorporar en nuestro país. Hoy no tenemos un verdadero Sistema Nacional de Evaluación Educativa. Recientemente el INEEd anunció que se iniciarían mediciones y evaluaciones de aprendizajes de los alumnos a partir del año que viene (2017). Buena cosa. El país gana con la creación de un organismo responsable de la evaluación de su sistema educativo y gana también al participar sistemáticamente en proyectos internacionales de evaluación. Las evaluaciones nacionales e internacionales no son excluyentes sino complementarias. Es además importante no reducir el esfuerzo a la medición de rendimientos y aprendizajes. Han de sumarse otros indicadores derivados de la medición de habilidades cognitivas específicas que mantienen una relación causal con el rendimiento cognitivo-académico y variables derivadas de la medición de rasgos en el dominio del desarrollo personal y psicosocial.

Otro desafío que nos deja PISA es la necesidad de superar la visión enciclopedista de nuestra educación e introducir problemas del mundo real en las aulas (aplicación del conocimiento). Apreciar en qué medida los alumnos son capaces de combinar conocimientos y destrezas y aplicarlos para dar respuesta a condiciones que se les pueden presentar en la vida cotidiana. Una cosa es repetir de memoria un concepto y otra cosa es comprender un concepto y saber aplicarlo.


Populares de la sección

Acerca del autor

Guillermo Fossati