En el International Journal of Educational Development fue publicado recientemente el artículo “The advantages of regional large scale assessments: Evidence from the ERCE learning survey”, escrito por el investigador de MIDE UC Diego Carrasco, junto a David Rutkowski y Leslie Rutkowski, ambos de la Universidad de Indiana, EE.UU.

El artículo examina las potenciales ventajas de las evaluaciones regionales, como es el caso del Estudio Regional Comparativo y Explicativo (ERCE), del que se analiza su versión 2019. En esa oportunidad, ERCE midió los logros de aprendizaje de estudiantes de sistemas educativos de América Latina y el Caribe y se aplicó en 16 países: Argentina, Brasil, Colombia, Costa Rica, Cuba, Ecuador, El Salvador, Guatemala, Honduras, México, Nicaragua, Panamá, Paraguay, Perú, República Dominicana y Uruguay. El estudio abarcó más de 4 mil escuelas y más de 160 mil estudiantes, que representan a más de 18 millones de estudiantes de los sistemas educativos de la región.

“Medir es importante por varias razones. Un ejemplo se da en el contexto de las metas de desarrollo sostenible promovidas por las Naciones Unidas, a la cual adhieren los países que participan en el estudio ERCE. La participación en estudios de gran escala en educación es de particular importancia para cumplir con el monitoreo de los objetivos de educación de calidad (objetivo 4), y particularmente el objetivo 4.1.1, el cual refiere a la proporción de estudiantes que satisface los requisitos mínimos de competencia de Lenguaje y Matemáticas. Para que cada país pueda dar evidencias de que este objetivo se ha cumplido, o para indicar en qué medida se cumple, se requiere de estudios y pruebas adecuadas que evalúen los aprendizajes que se busca monitorear. Se requiere, además, que las pruebas sean confiables respecto al punto sobre el que se requiere reportar. Y, finalmente, es necesario que sean estudios capaces de obtener resultados que sean informativos de la población de estudiantes de interés”, explica el investigador Diego Carrasco.

El artículo publicado, además de examinar las potenciales ventajas de este tipo de evaluaciones regionales, aborda los desafíos que enfrentan las evaluaciones internacionales a gran escala y tiene como objetivo identificar si las brechas de medición observadas en estudios con poblaciones más heterogéneas como TIMSS y PISA también existen en ERCE.

“A pesar del trabajo y cuidado con que se diseñan las evaluaciones internacionales a gran escala (ILSA, por sus siglas en inglés) en educación, siguen estando sujetas a una paradoja de medición transcultural. Mientras más países sean incluidos en los estudios más difícil es la comparación entre ellos. Sin embargo, un objetivo principal es precisamente la comparación entre los países que participan de estos estudios. Este es un problema difícil de evitar, sobre todo considerando que en las pruebas se han incluido cada vez más países”, explican los autores del artículo, y agregan “por ejemplo, la prueba PISA comenzó evaluando 44 sistemas educativos y se amplió a 82. TIMSS pasó de 40 a 70. En ambos casos, se incluyó tanto a países que eran parte de la OCDE, como otros que no lo eran, y presentaban distintas realidades socioeconómicas”.

Dicho crecimiento se traduce en una dificultad, ya que complejiza la evaluación y supone una amenaza potencial para las interpretaciones y usos válidos de los resultados. Por ejemplo, la investigación ha demostrado que tanto PISA como TIMSS no miden adecuadamente a todos los países participantes, particularmente entre los grupos de desempeño más bajo. El idioma también es un factor que considerar, ya que la traducción no es únicamente un asunto técnico, sino que puede incidir en la comprensión de las pruebas por parte de los distintos grupos. En el caso de TIMSS, la prueba se traduce desde el inglés, mientras que ERCE se desarrolla en español –con algunas ligeras variaciones entre países– y en portugués brasileño.

Los resultados del estudio publicado acerca de estas tres pruebas –TIMSS, PISA y ERCE– revelan que, en el caso de ERCE, “todos los países participantes parecen razonablemente bien cubiertos por la distribución de dificultad de los ítems de la prueba, y no hay evidencia de desalineación sustancial para ninguno de los países participantes de ERCE, ni hay evidencia de efectos piso o techo” señalan los autores. Cuando se dan estos efectos, sucede que las respuestas se agrupen en uno de los extremos, perdiendo información en diferentes puntos de la distribución. Esto hace que sea difícil obtener una medida precisa para la distribución de estudiantes como conjunto, y dificulta la comparación y la clasificación de los desempeños. Esto no sucede en ERCE 2019, pues al trabajar con poblaciones más homogéneas, puede entregar datos más precisos al permitir que se genere una serie de respuestas abarcando a una mayor cantidad de grupos de manera diferenciada.

Además, los autores creen que el tipo de gobernanza que emplea ERCE, junto al estudio curricular que precede a la elaboración de las pruebas, promueve que el desarrollo de estas posea una mayor cobertura de las capacidades de los estudiantes de cada país, en cada disciplina evaluada. “De esta forma, indicamos en el artículo que no es indiferente en cuál estudio de gran escala participar para reportar sobre los indicadores de sostenibilidad de las metas 2030. Nuestro artículo indica que ERCE es un buen estudio para tal propósito”, finaliza Carrasco.

El artículo completo está disponible en el siguiente enlace: https://www.sciencedirect.com/science/article/pii/S0738059323001438?dgcid=author