Algunas reflexiones sobre Pisa 2015

"Si solo hablamos de promedios podemos equivocarnos en nuestros enfoques", señala
Por Miguel Brechner.

Quiénes toman las pruebas Pisa

Las pruebas Pisa las toman los estudiantes de 15 años que están en sistema educativo formal. En Uruguay en 2015 las hizo una muestra representativa de los 44.097 jóvenes que están dentro del sistema educativo, sobre un total de 52.541 de esa generación de 15 años. (83.9%)

Estos jóvenes estaban cursando en el momento de las pruebas los siguientes años lectivos:

Embed


"1º 2º y 3º EMB" es Educación Media Básica en todas sus formas y "1º 2º Bach" es Educación Media Superior en todas sus formas.

Esta prueba cubre tanto a educación pública como a educación privada (85.5% y 14.5% respectivamente).

Las pruebas evalúan competencias en ciencias, lectura y matemáticas. En el año 2015 el énfasis fue sobre ciencias. Hay un capítulo adicional sobre resolución de problemas complejos, cuya presentación de resultados se hará en marzo de 2017.

Resultados

Los resultados promedios de Uruguay fueron 435 puntos en el área de ciencias, 437 para lectura y 418 para matemáticas. En el año 2012 los resultados fueron 416 puntos para ciencias, 411 para lectura y 409 para matemáticas. Estos datos no son comparables debido a un cambio de metodología introducido por la OCDE que afecta directamente a Uruguay.

Los promedios de los países que integran la OCDE para estas tres habilidades son 493 para ciencias, 490 para lectura y 493 para matemática.

Mi intención en este artículo es tratar de mostrar que si sólo hablamos de promedios podemos equivocarnos en nuestros enfoques. Voy a analizar en particular el caso de ciencias.

Rezago

Si observamos los puntajes obtenidos en ciencias por los estudiantes uruguayos según el año que cursaban cuando hicieron la prueba los resultados son los que siguen:

Promedio de los alumnos de 1ro. de ciclo básico o programa equivalente (9% de los estudiantes): 351 puntos.

Promedio de los alumnos de 2do. de ciclo básico o programa equivalente (10.7% de los estudiantes): 360 puntos.

Promedio de los alumnos de 3ro. de ciclo básico o programa equivalente (20.7% de los estudiantes): 392 puntos.

Promedio de los alumnos de 1ro. o 2do. de Bachillerato (59.6% de los estudiantes): 471 puntos.

Lo primero que uno puede afirmar es que los estudiantes que están en el año que les corresponde a su edad se desempeñan de modo bastante similar al del promedio de OCDE. Se estima que, en promedio, un alumno con un año más de estudios obtiene 70 puntos más en las pruebas PISA. La diferencia de 1 año y medio lectivo que tiene OCDE sobre Uruguay para todos los estudiantes en promedio se reduce a medio año lectivo si consideramos sólo a los que están en el año que les corresponde por la edad.

Es muy obvio que si un joven de 15 años está en 1er año no puede tener el mismo desempeño que uno que está en 4to año. Cuatro de cada diez estudiantes de 15 años están rezagados respecto del año que deberían cursar. Este es el problema principal a atacar. Su resolución lleva años y se sigue complejizando en tanto se incorporan más estudiantes a los ciclos educativos formales, incorporaciones que por lo general se producen fuera del año que deberían cursar. Hablando en matemática elemental, estamos aumentando el denominador al incluir más estudiantes, de modo que tenemos que aumentar el numerador si queremos incrementar los puntajes promedio de forma significativa.

Desde el año 2003 a la fecha se han incorporado casi 4000 jóvenes al sistema educativo formal: en 12 años el sistema pasó de una cobertura de 75% de los jóvenes de 15 años a incluir a casi 85%.

Aun cuando los resultados no permiten la comparación, supongamos que al menos no hemos descendido en ciencias. Habiendo aumentado casi 10% la matrícula (el denominador), tuvo que aumentar el numerador para mantener el promedio. Por lo tanto, el conjunto de los jóvenes seguramente mejoró.

Otra de las pistas que indican posibles mejoras en el desempeño de los jóvenes uruguayos es la importante disminución en la cantidad de preguntas no respondidas en las pruebas (precisamente la razón por la que el cambio de metodología nos afecta especialmente): la cantidad de ítems no respondidos bajó de 27% a 14% en matemáticas, de 21% a 14% en lectura y de 23% a 10% en ciencias.

Adicionalmente, antes de incluir a más jóvenes en el sistema educativo, a algunos no los podíamos ni siquiera medir.

La reincorporación de jóvenes que abandonaron el sistema se correlaciona en general con contextos de mayor vulnerabilidad (hogares de menores recursos, padres de menor nivel educativo). Así, el aumento de cobertura puede resultar en ausencia de políticas que se ocupen intensamente de proveer apoyo adicional a estos jóvenes, en movimientos descendentes en términos de calidad educativa. Esto sugiere que, para alcanzar la cobertura universal de los jóvenes en edad de escolaridad media sin afectar la calidad educativa se requiere trabajar fuertemente con las nuevas poblaciones escolares para compensar posibles inequidades.

Los mejores

El otro factor necesario para aumentar el promedio es que los jóvenes que están en los quintiles de mejor performance mejoren su desempeño con respecto a sí mismos.

Cuando comparamos el comportamiento de los percentiles 75, 90 ó 95 de Uruguay vemos que la diferencia con los percentiles equivalentes en OCDE es mayor que la diferencia que observamos entre los promedios Uruguay y OCDE. ¿Qué explica que nuestros jóvenes de elite sean desproporcionadamente peores estudiantes que sus pares de OCDE? ¿Es lógico que en esos percentiles un joven israelí esté 70 puntos por encima de un joven uruguayo, un joven griego a 20 puntos y un joven de la OCDE a 65 puntos?

Eficiencia en la inversión en educación

Uno de los cuadros publicados por PISA muestra el gasto de cada país por estudiante entre los 6 y 15 años y su PIB per cápita. Observando a países que se desempeñan de modo similar a Uruguay, el gasto es similar –inclusive hay países, como Costa Rica, que realizan mayor gasto sin mejores resultados-.

Un caso realmente llamativo es el de Estonia, que gasta más del doble que Uruguay, con un PIB per cápita similar, obteniendo mucho mejor resultado. Estonia invierte en educación un tercio menos que el promedio de inversión de OCDE y su puntaje es superior al promedio de OCDE, lo que sugiere que las políticas de calidad educativa trascienden las dinámicas del gasto –aunque partiendo desde un escalón alto de inversión: hay que invertir bien y mucho, porque ningún top performer gasta poco en su sistema educativo.

Embed


Reflexiones finales

Nuestra sociedad vive momentos en los que discutir, criticar y denostar a la educación parece ser una necesidad, no importando el daño que eso cause o lo errado que se pueda estar al hacerlo.

A título de ejemplo, varios han dicho que estos resultados muestran que Uruguay nunca va a alcanzar a la OCDE. Con la misma simpleza se podría decir que Finlandia va a ocupar lugar de Uruguay en 2036 dado que sus resultados muestran una tendencia a la baja en los últimos tres operativos PISA, y si proyectamos su ritmo de caída en el tiempo en 2036 ocupará el lugar que hoy ocupa Uruguay.

Si todos declaramos que la educación es uno de los temas más importantes para el futuro del país, creo que debemos focalizar todos los esfuerzos en aumentar la inclusión de estudiantes, reducir el rezago mejorando la calidad y mejorar el desempeño de los sectores de mejor performance.

Uruguay necesita debatir y pensar políticas de calidad educativa con fuerte acento en la innovación. Por ejemplo, ¿Uruguay se debería replantear su homogénea oferta educativa? La reciente noticia de las largas filas de jóvenes que buscan su lugar en la UTU nos da la pauta para pensar que nuestra oferta educativa quizás sea muy homogénea para atender a una población cada vez más heterogénea. Cuando la oferta se abre a otras alternativas las familias y los jóvenes responden positivamente a las nuevas oportunidades.