Nacional > PISA 2015
ANEP sobreestimó la mejora de Uruguay en pruebas PISA
A las autoridades de la educación el respiro que tomaron el martes les duró poco. En cuestión de 48 horas los mejores resultados históricos obtenidos en la prueba PISA 2015 parecieron derrumbarse como un castillo de naipes.
Pese a que el martes la Administración Nacional de Educación Pública (ANEP) presentó los resultados de la evaluación internacional como los mejores obtenidos desde que Uruguay participa en PISA (2003), otra lectura de los resultados no permite sacar la misma conclusión, sino que da muestra de cierta estabilidad en el desempeño de los resultados de los estudiantes uruguayos.
La diferencia está en que la Organización para la Cooperación y el Desarrollo Económico (OCDE), que organiza las pruebas PISA, introdujo en 2015 una nueva metodología para medir resultados, que el organismo rector de la enseñanza en Uruguay no tuvo en cuenta a la hora de analizar los resultados.
Dicha metolodogía obliga a ajustar los puntajes de las ediciones anteriores para que estos sean comparables con los de la edición 2015 de la prueba. Esto fue lo que omitió la ANEP en su análisis. Si los resultados se ajustan como recomienda la OCDE, la mejora que se observa en el desempeño de Uruguay en las tres áreas es menor a la anunciada por las autoridades. Por lo pronto, los resultados obtenidos en ciencias y lengua no serían los mejores históricos como se dijo.
Pedro Ravela, exdirector ejecutivo del Instituto Nacional de Evaluación Educativa (Ineed) fue el primero en advertir este desfasaje en una columna publicada ayer en Portal 180. En ella explicó que varios cambios introducidos para determinar los resultados, entre ellos la contabilización de las respuestas no contestadas, hace que para comparar los datos de la última prueba con los anteriores, se deba hacer dicho ajuste en los datos previos a 2015. Para Ravela esta es la metodología válida para interpretar los datos, ya que en varios pasajes del informe PISA, la OCDE advierte que la vieja metodología no permitirá hacer comparaciones a lo largo del tiempo. "Los cambios introducidos en el modo de estimar los puntajes permitirán mejorar las futuras comparaciones en el tiempo, pero pueden afectar las comparaciones hacia atrás, con las mediciones anteriores", señala.
No opina lo mismo Andrés Peri, director de la División de Investigación, Evaluación y Estadística (DIEE) de ANEP, principal responsable de la valoración de los resultados presentada el martes. Para Peri cualquiera de las dos metodologías son válidas (tanto la vieja como la nueva) y cada una tiene sus pros y sus contras.
En diálogo con El Observador explicó que el equipo técnico estaba al tanto de la nueva metodología utilizada por la OCDE para leer los datos, pero optó por utilizar la metodología vieja porque la nueva no permitía hacer una lectura interna de los datos nacionales. Es decir, no permitía leer los datos discriminados por subsistemas (secundaria y UTU), localidades, etc. A su entender, esto empobrecía el informe.
Así lo comunicó ayer a las autoridades del Codicen en una reunión a la que concurrió acompañado por todo el equipo técnico. De dicho encuentro se llevó el respaldo del presidente de ANEP, Wilson Netto y se comprometió con ellos a seguir trabajando con rigurosidad, dijo Peri.
Sin cambios "significativos"
La publicación de la columna de Ravela ayer de mañana fue para las autoridades de la ANEP un brusco despertar después de un ensueño. Con el desarrollo de su columna, las palabras que 48 horas antes había pronunciado el presidente de la ANEP, Wilson Netto en la presentación de resultados se fueron desinflando.
"En esta edición Uruguay ha tenido los mejores resultados de todas las ediciones anteriores en ciencias y lectura y ha mejorado respecto a 2012 en matemática", dijo Netto el martes en conferencia. Y agregó: "Queda en evidencia un trabajo que viene dando resultado. Los chiquilines que antes estaban fuera del sistema educativo, hoy están adentro y además están aprendiendo más". En este sentido, expresó que en los últimos 10 años la cantidad de estudiantes de 15 años dentro del sistema creció 10%, lo que equivale a 4.500 jóvenes. "La diversidad de propuestas y las nuevas estrategias han permitido que los más débiles hayan mejorado más de forma sustantiva", subrayó.
Según los datos presentadospor ANEP, los estudiantes uruguayos obtuvieron en ciencias 19 puntos más que en 2012. En lectura incrementaron los resultados en 26 puntos y en matemática mejoraron nueve puntos más.
Sin embargo, según un análisis realizado por El Observador si se aplican los nuevos criterios a las pruebas 2012, la comparación establece que en la última edición Uruguay mejoró en ciencias 2% en vez del 5%, como daría la vieja metodología. En lectura, en tanto, la mejora fue del 3% en vez de 6% y en matemáticas casi no hubo variación, aunque los datos en bruto mostraban un crecimiento del 2%.
En el informe de PISA, la OCDE establece que ninguna de estas variaciones son "significativas" desde el punto de vista estadístico, debido a que al tratarse de una muestra, hay que tener cuenta el margen de error al generalizar los resultados. Según esta metodología tampoco se está frente a los "mejores resultados históricos", como señalaron el martes las autoridades de la educación. Las cifras ajustadas muestran mejores rendimientos en ciencia en el año 2006 y 2009, mientras que en el caso de matemática, se está muy por debajo de los resultados de los últimos 10 años. Solo en el caso de lectura se está frente a los mejores resultados desde 2006.
Ravela advirtió que en el informe de la OCDE tiene un anexo denominado "Cambios en la administración y escalamiento de PISA 2015 e implicaciones para los análisis de tendencias", donde se adiverte sobre este cambio de metodología y establece claramente qué países pueden ver afectados sus resultados debido a este cambio de criterio. Entre ellos aparece Uruguay.
"Los aumentos no significativos de las puntuaciones medias para Chile, Brasil, Indonesia y Uruguay también se deben a los cambios en la muestra de calibración y en el enfoque de escalamiento. Estos cuatro países tendrían tendencias menos positivas (pero lo más probable, aún no significativas) si se hubieran informado las puntuaciones medias anteriores basándose en el enfoque de escala PISA 2015", dice el informe de la OCDE.
Teniendo en cuenta esto, Ravela afirma en su columna que "no hubo grandes cambios a lo largo de los 12 años de evaluaciones PISA en Uruguay, salvo una pequeña caída en Matemática".
La lectura del Ineed
Un análisis similar realizaron las autoridades del Ineed. Mario Palamidessi, actual director ejecutivo del instituto dijo a El Observador que a su entender, los resultados de los estudiantes uruguayos en la última edición no son mejores que los de ediciones pasadas, sino que dan señales de "estabilidad".
"En 2012 la novedad es que Uruguay venía a la baja y aparentemente se iniciaba una especie de trayectoria de caída. Esto no se verifica en las proyecciones 2015, sino que lo que se confirma es una hipótesis de estabilidad en el rendimiento de los estudiantes en el tiempo", dijo.
En el mismo sentido de Ravela, indicó que "más allá de algunas cuestiones metolodógicas, cada prueba es un punto y para tener un visión no sesgada hay que mirar la evolución de los datos en el tiempo y observar solo en un punto puede deformar bastante la apreciación de que quieren decir esos promedios o niveles avanzados por los estudiantes".
Por otra parte, afirmó que el estudio deja al descubierto "las dificultades que tiene el país para iniciar un camino sostenido de mejora de los resultados de aprendizaje". Añadió que pese a que Uruguay se ubica segundo en Latinoamérica "preocupa que mirar los promedios lleve a una visión conformista o a cierta satisfacción".
En ese sentido, explicó, cuando se mira qué son capaces de hacer los estudiantes uruguayos frente a determinadas exigencias, se deja entrever que "si bien mantienen un cierto nivel de desempeño, redondeando tenemos un 50% de los adolescentes de 15 años que están dentro del sistema que no logran resolver niveles de competencia mínima".
Explicación
Ante el debate generado, el equipo técnico de ANEP emitió anoche una declaración, a la que accedió El Observador. Allí señaló que la metodología empleada para las estimaciones realizadas "es la misma que se ha utilizado en todos los ciclos PISA anteriores y puede ser replicada y confirmada por cada una de las personas o instituciones que así lo deseen".
Reconoció que al realizar el informe "se omitió incorporar un factor de corrección por cambio de escala en la comparación inter-temporal". En este sentido, aclaró que "la mejora en los resultados observada en 2015 no es estadísticamente significativa con respecto a 2006, como fue reportado, pero sí en relación al ciclo 2012.
A su vez, indicó que desde que se iniciaron las pruebas PISA en el año 2000, la OCDE introdujo constantemente modificaciones en la metodología de evaluación. Al respecto, reconoció que los cambios introducidos en el ciclo PISA 2015 "podrían tener efectos sobre la comparación de las tendencias en los desempeños a nivel de cada país".
Agregó también que la OCDE advierte que Uruguay está incluido entre los países que "podría verse afectado por estas modificaciones metodológicas".
La declaración concluye al afirmar que "de acuerdo a esta segunda estimación, Uruguay no presenta cambios estadísticamente significativos en comparación con 2006 y con 2012". Por lo tanto, según esta interpretación, Uruguay no habría obtenido los "mejores resultados históricos" en su historia en PISA.
Por su parte, la consejera del Codicen, Laura Motta dijo a El Observador que la ANEP esperará un nuevo informe del cuerpo técnico para evaluar si es necesario hacer un cambio en los resultados presentados el martes.
En tanto, hoy a las 12 os técnicos de la ANEP ofrecerán una conferencia para explicar las diferencias en las interpretaciones. (Produccion: Lorena Maya)
