Fue la pluma

Eufórico, Mauricio Macri anunció, en Jujuy, que “en 2016 la mitad de los chicos que terminaba el colegio no comprendía textos. Empezamos a trabajar esa área y hoy los resultados de las pruebas Aprender nos emocionan: 8 de cada 10 alcanzaron un nivel superior en Lengua”.

Primera aclaración. En apenas un tweet, Macri está hablando de dos cosas diferentes: los chicos que terminan la secundaria, y los resultados que emergen del operativo aprender (la cifra para 2019 corresponde a los alumnos de 6º grado). Esta es la primera pista de que la comunicación gubernamental sobre los resultados está plagada de asteriscos, trampas, verdades a medias y falacias. Nada es lo que parece.

El avance “en 8.5 puntos” en el área de Lengua, desde 2016 (primer año de la gestión macrista) abre una serie de preguntas acerca de las causas del fenómeno, que además es relativamente uniforme en todo el país. ¿Qué políticas públicas pudieron intervenir para que se produzca esa situación? ¿Cuál es el universo de alumnos y escuelas representado por esas estadísticas? Y, fundamentalmente, ¿Se puede hablar de un logro efectivamente macrista en estos resultados o están relacionados con procesos previos?

Sobre las políticas públicas

Como comentamos en este blog, en 2017 Esteban Bullrich desestructuró el Ministerio de Educación de la Nación, eliminando la mayoría de los programas socioeducativos. Uno de ellos fue el Programa Educativo Nacional para el Mejoramiento de la Lectura, creado en junio de 2008 por la resolución 707 del Consejo Federal de Educación, y continuador del Plan Nacional de Lectura iniciado en 2003. Este programa, que repartió 67 millones de libros a las escuelas (datos hasta 2013), hoy funciona al mínimo de su capacidad, a partir del vaciamiento del ministerio por parte del macrismo.

Hemos analizado en esta nota la demolición presupuestaria que operó Cambiemos desde su asunción en 2016 (se puede acceder a las fuentes y gráficos en este link y en este link). La única política pública que menciona el macrismo al anunciar este repunte en los resultados del Operativo Aprender son las “Escuelas Faro”. Sin embargo, resulta que este programa se lanzó en mayo de 2018, y cubre a unas 3000 escuelas de las más de 33.000 que había en todo el país en 2016. De esta manera, este último programa no puede explicar el avance uniforme en las 24 jurisdicciones. Otra posibilidad es que se haya invertido en capacitación docente para Lengua. Sin embargo, el presupuesto para formación docente se redujo en un 64% desde que Mauricio Macri es presidente.

Ni Programa Nacional de Lectura, ni Escuelas Faro, ni capacitación docente. Cambiemos, en rigor, no hizo ningún aporte desde la política pública. ¿Cómo se explicaría, entonces, este avance? ¿Acaso desfinanciar la educación, agredir a los docentes y decretar paritarias a la baja, sin mover progresivamente un solo recurso estatal, mejora los índices educativos? ¿Mauricio Macri hace magia acaso, en medio de los paros docentes que, supuestamente, tan mal le hacen a los aprendizajes? ¿O será, como tuiteó con humor Federico del Carpio, que los paros docentes en realidad mejoran los resultados educativos?

Una hipótesis, más cercana a este tipo de procesos, es que sea por un efecto de arrastre. Los millones de libros repartidos durante la gestión anterior, articulando con acciones de formación docente continua, podrían tranquilamente haber sentado las bases para estos resultados. Esos libros siguen en la escuela, y los docentes también, tres años después. ¿Y si la mejora en Lengua tiene que ver con una política kirchnerista que da sus frutos ahora? De la misma manera que la crisis económica, que está golpeando frontalmente a las clases bajas y medias, probablemente repercuta en los indicadores educativos de la próxima gestión, sea de Cambiemos o de otro signo político. Ese es el gran problema sobre los usos electorales de la educación: los resultados no se ven en el corto plazo, siempre será otro gobierno el que recibirá los trofeos de las políticas previas.

Sobre la metodología

Hay una gran cantidad de variables que, con retoques microscópicos, pueden modificar sensiblemente los resultados. Ponemos un ejemplo: el corte entre los niveles socioeconómicos. Si se amplía el universo del NSE bajo en detrimento del NSE medio, voy a tener “clases medias” que figuran como “clases bajas” y que, por contar con un capital cultural más adecuado a los requerimientos del sistema, puede impulsar hacia arriba los resultados del universo de NSE bajo. ¿Se respetó ese punto de corte en las pruebas Aprender de 2016, 2017 y 2018? ¿Se respetó esa metodología respecto de los operativos de evaluación previos? Esa es una pregunta a formular –no es la idea de este post poner un manto de sospecha sobre ello–, y que pone en cuestión la importancia de conocer las –muy complejas– metodologías que se utilizan para las evaluaciones estandarizadas. También se puede “tocar”, por ejemplo, dónde está el corte en los rendimientos bajo, medio y alto, y modificar el resultado. De hecho es muy sencillo: como las pruebas Aprender –como las ONE tomadas durante el kirchnerismo– se toman desde el Estado nacional, es desde ahí mismo –desde un poder central– que se pueden hacer esas pequeñas modificaciones con consecuencias grandes. De nuevo, no estoy afirmando que esto haya efectivamente sucedido, sino que son variables a considerar.

Un dato concreto: se informa que el avance en Lengua es de 8.5 puntos respecto de 2016. La parte censal de la muestra 2016 -o sea, la que se intentó tomar en todas las escuelas- tuvo una cobertura del 70.8% de los estudiantes. Esto significa que, del total de los estudiantes que debían contestar la prueba, contestaron 7 de 10. La cobertura para la prueba 2018 fue de 78.7%: una diferencia de 7.9 puntos (hablamos del mismo universo: alumnes de 6º grado de primaria, que es hasta ahora la única información pública del operativo 2018. Si sumamos a les alumnes de 5º/6º de secundario 2016, el porcentaje es 71.3%). Otra pregunta a formular, entonces, es: ¿Hay una causalidad entre el porcentaje de aumento de la cobertura y los puntos de avance en Lengua? Si efectivamente es así, ¿No será mucho menor el avance registrado? Si no lo es, ¿Qué impacto tuvo ese plus? ¿De qué provincias y regiones, a qué niveles socioeconómicos, a qué tipo de gestión (pública o privada) corresponden esos alumnos? ¿Es un aumento distribuido homogéneamente en todo el país, o se trata de lugares concretos? Más preguntas.

Un ejemplo: los resultados de la Ciudad Autónoma de Buenos Aires en las pruebas PISA 2015, en la que subió 50.6 puntos respecto de la muestra anterior (2012), una cifra jamás alcanzada por ninguna muestra de ningún país del mundo evaluado por las PISA. Una semana antes de la divulgación de esos resultados, se difundieron los de otra prueba internacional, la TIMSS, que había dejado a CABA en el antepenúltimo puesto a nivel mundial. Por otro lado, la tasa de cobertura de la población nacional fue la más baja en la historia de la participación de Argentina. Por estas razones metodológicas, el muestreo nacional fue excluido del ranking final, pero sí quedó adentro CABA, mostrando una performance ridículamente alta para un intervalo de 3 años. A su vez, CABA había tenido problemas en las pruebas ICILS en 2012, con una cobertura del 54.2%, insuficientes para esa muestra (razón por la cual sus resultados tampoco fueron incluidos). En síntesis: las cuestiones metodológicas tienen un peso altísimo en cómo se configuran los resultados.

El uso político

Naturalmente, los gobiernos que aplican evaluaciones estandarizadas (nacionales o internacionales) esconden bajo la alfombra todos estos asteriscos y salvedades respecto de los aspectos metodológicos. Ciertamente, por su complejidad, tampoco son ampliamente accesibles para que lo entienda el conjunto de la población.

Argentina apela a operativos de evaluación desde la década de 1990, en sintonía con muchos países emergentes y desarrollados. La política subterránea de los operativos de evaluación tiene indudablemente un cariz político de legitimar las propias políticas públicas mostrando “avances” parciales –salvo el caso de CABA en 2015, que pareció bastante desprolijo–: eso es exactamente lo que ha hecho el macrismo. Presentó resultados catastróficos para las pruebas 2016, mostrando luego mejoras pequeñas y sostenidas (“mejoramos en Lengua, estamos estancados en Matemática, pero ya veremos los resultados del método Singapur”). Ninguna gestión, no obstante, puede estar exenta de esto. Aplica para el menemismo, el kirchnerismo y el macrismo.

Está claro que evaluar el sistema es parte central de las políticas educativas, en tanto se obtiene información muy relevante para encarar políticas públicas en tal o cual sentido. Es de esperar que en algún momento se establezca un consenso más general y sostenido para no andar cambiando la metodología cada vez que cambia la gestión, y tengamos series históricas fehacientes y menos contaminadas por los urgentes usos electorales.