Características de una prueba educativa estandarizada válida: ¿Qué debemos buscar?

Estamos en la mejor disposición de colaborar con las autoridades educativas y tomadores de decisiones, para coadyuvar al logro de los anteriores propósitos

Comisión Interinstitucional de Estándares de Calidad para Pruebas Estandarizadas de Alto Impacto en el Contexto Académico y Profesional Costarricense

Características de una prueba educativa estandarizada válida: ¿Qué debemos buscar?

Presentación

La evaluación educativa, como disciplina científica, constituye un marco de referencia fundamental para conocer diversos aspectos de los aprendizajes y las situaciones del estudiantado. En el caso de la macroevaluación, las pruebas estandarizadas son esenciales para monitorear a gran escala el desarrollo de los aprendizajes, así como para diagnosticar o certificar a las personas examinadas, y también para medir la calidad de la oferta educativa que se brinda. Es así como las pruebas estandarizadas educativas poseen implicaciones para la vida y el desarrollo de las personas.

Para el presente curso lectivo 2023, el Consejo Superior de Educación aprobó la aplicación de la Prueba Nacional Estandarizada, cuya realización debería conllevar procesos técnicos muy especializados y cuidadosos a fin de garantizar su calidad y validez.

En este contexto, y con el fin de contribuir a la rigurosidad de los procesos de elaboración de las pruebas estandarizadas educativas, la Comisión Interinstitucional de Estándares de Calidad para Pruebas Estandarizadas de Alto Impacto en el Contexto Académico y Profesional Costarricense, así como el colectivo Mujeres por Costa Rica, a través del grupo de estudio en educación, ponen a disposición de las personas interesadas el presente documento, para ayudar a orientar el delicado proceso de construcción y validación de pruebas estandarizadas educativas.

Introducción

La validez de cualquier prueba o examen está asociada al grado de credibilidad que poseen las interpretaciones o conclusiones derivadas a partir de sus resultados, según los propósitos establecidos.

Por ejemplo, afirmar, a partir de un puntaje de 90% en un examen final de Matemática de tercer grado, que la persona estudiante posee un dominio avanzado de los objetivos de aprendizaje de este nivel, según los programas de estudio vigentes, es una conclusión que será certera en la medida que existan suficientes evidencias de la validez del examen, que apoyen la credibilidad de dicha interpretación.

Como ilustración, podemos citar las siguientes situaciones que suelen ser comunes y atentan contra la validez de la prueba: el examen podría solo cubrir una parte de los objetivos de aprendizaje del programa de estudios de tercer grado, podría ser muy fácil al incluir solo los objetivos más básicos y no los avanzados, podría referirse a temas que no están cubiertos explícitamente en los programas de estudio, incluir ejercicios en formatos poco familiares para el estudiantado, incluir contenidos que están en los programas, pero que no fueron vistos en clase, incluir ítems mal redactados, o poco precisos, incluir vocabulario poco conocido por el grupo de estudiantes, o temas que sí fueron vistos en clase, pero con menos profundidad que la requerida para resolver los ítems, entre otras.

Ahora bien, es claro que las pruebas estandarizadas educativas, fundamentadas científicamente y utilizadas de manera válida, brindan información muy valiosa para el mejoramiento educativo. A la vez, al ser estos exámenes de aplicación masiva, ciertamente existen más riesgos de que se presenten varias de las situaciones anteriores, al hallarse personas estudiantes en diversidad de contextos de aprendizaje, especialmente algunas con grandes desventajas.

Las características

Desde la evaluación educativa como disciplina científica, existen varias características esenciales que deben cumplirse para lograr la validez de las pruebas estandarizadas que se aplican en programas académicos formales, algunas de ellas se describen a continuación.

  • Validez de contenido: Las pruebas deben construirse y validarse partiendo del marco de referencia de las propuestas curriculares de los programas académicos bajo evaluación, y no fomentando la práctica comúnmente llamada en inglés teaching to the test (enseñar para el examen).
  • Tabla de especificaciones: Incluye los contenidos y los procesos evaluados por el examen, así como la ponderación y puntuación para cada ítem, ejercicio o pregunta que se incluye en la prueba. Debe validarse previamente mediante un riguroso proceso con el equipo interdisciplinario (personas evaluadoras y según corresponda, profesionales del área de la prueba) y debe ser del conocimiento de las personas que tomarán el examen con suficiente antelación. Es importante recalcar que la tabla de especificaciones no es solamente un temario, sino que indica, qué se va a evaluar en cada uno de los contenidos listados. Por ejemplo, en un tema como volcanes de Costa Rica, es muy diferente evaluar si la persona examinada puede nombrar todos los volcanes activos actualmente, en comparación con describir qué provoca la erupción de un volcán.
  • Inclusión de ítems de respuesta abierta: También llamados ítems de ejecución o desempeño, son indispensables para evaluar de forma precisa los procesos de razonamiento. De igual manera, existen ciertos constructos, como capacidad de expresión oral y escrita, que requieren de este tipo de ítems. En su proceso de validación resalta el papel preponderante de modelos de medición tales como el de Facetas Múltiples de
    Rasch, entre otros, que permiten estimar la consistencia en las calificaciones de las personas revisoras, para evitar grandes diferencias en su severidad o flexibilidad al calificar, de manera que las personas examinadas sean evaluadas de manera más precisa.
  • Descripciones de desempeño: A partir de los resultados de la prueba se debe proveer, además de la nota numérica, una descripción cualitativa de lo que representan esos puntajes numéricos en términos del desempeño estudiantil, es decir, contestar a la pregunta, ¿qué puede o no hacer la persona examinada de acuerdo con el puntaje obtenido? Lo anterior, en el caso de que tales descripciones sean relevantes para la toma de decisiones sobre las personas examinadas, como suele ser el interés en la mayoría de los programas educativos. De nuevo el modelo de Rasch y sus diversas extensiones proveen una herramienta metodológica muy útil para construir y validar estas descripciones de desempeño.
  • Aprovechar los beneficios de la tecnología: La administración de las pruebas por medio de computadoras u otros dispositivos electrónicos, y en línea, provee gran cantidad de posibilidades para generar pruebas más dinámicas y auténticas. Aunado a lo anterior, las personas examinadas se benefician del desarrollo de las habilidades asociadas al uso de tecnologías digitales, siempre que se asegure la familiaridad en el uso de estas herramientas, y el acceso al equipo requerido y a la conectividad.
  • Atacar las inequidades de alfabetización tecnológica: Se debe reconocer y contribuir a minimizar los problemas de validez y justicia que generan las inequidades en términos de la alfabetización tecnológica, las cuales provocan discriminación de facto para ciertos grupos de personas examinadas en las pruebas digitales estandarizadas. Debido a ello es necesario valorar, previamente, en cada estudiante, su grado de conocimiento y acceso al uso de estas tecnologías.
  • Considerar las diferencias en oportunidades educativas: la interpretación de los puntajes de una prueba debe considerar las diferencias que son provocadas por las escasas o abundantes oportunidades de aprendizaje de ciertos grupos de estudiantes. De hecho, para tomar decisiones de alto impacto la entidad evaluadora debería asegurarse de que estas diferencias de oportunidades no afecten de manera relevante las decisiones que se toman acerca de las personas examinadas. En el contexto costarricense vale la pena reflexionar, desde la ética: ¿son estas pruebas el instrumento adecuado para tomar decisiones que generan consecuencias directas en todas las personas examinadas? ¿posee el Estado la capacidad de garantizar que todas las personas tengan acceso a una educación de calidad, con igualdad de oportunidades educativas, tal como lo establece el derecho a la educación?
  • Aplicación piloto: Para tomar decisiones acerca de las personas examinadas, los ítems que componen una prueba estandarizada, y la prueba como un todo, debe haberse recolectado evidencia previa de su calidad técnica, incluyendo la revisión por jueces especialistas y la aplicación piloto en una muestra representativa de la población meta,con su correspondiente análisis estadístico, para evaluar aspectos de validez y confiabilidad. La aplicación piloto no evalúa a las personas examinadas, sino que, a través de los datos obtenidos, permite hacer una valoración de la calidad de los ítems o preguntas del examen.

Las personas listadas abajo, integrantes de la Comisión Interinstitucional de Estándares de Calidad para Pruebas Estandarizadas de Alto Impacto en el Contexto Académico y Profesional Costarricense, y del Colectivo Mujeres por Costa Rica, consideramos los preceptos anteriormente expuestos, como mínimos y fundamentales para toda prueba educativa estandarizada, en el contexto de programas académicos formales, para cualquier área del conocimiento, si se pretende que los resultados sean válidos y útiles para la toma de decisiones y el mejoramiento del sistema educativo. A la vez, estamos en la mejor disposición de colaborar con las autoridades educativas y tomadores de decisiones, para coadyuvar al logro de los anteriores propósitos.

Por la Comisión Interinstitucional de Estándares de Calidad para Pruebas Estandarizadas de Alto Impacto en el Contexto Académico y Profesional Costarricense:

  • Graciela Ordóñez Gutiérrez
    Máster Académica en Evaluación Educativa
  • María Julieta Solórzano Salas
    Doctora en Ciencias de la Educación
    Máster en Evaluación Educativa
  • Eiliana Montero Rojas
    Doctora en Evaluación Educativa
  • Diana Arce Flores
    Doctora en Ciencias de la Educación
    Máster en Evaluación Educativa Administrativa-docente
  • Catalina Espinoza Sáenz
    Máster en Evaluación Educativa
    Educadora
  • Sandra Zúñiga Arrieta
    Máster en Evaluación Educativa
    Educadora
  • Allen Quesada Pacheco
    Doctor en Currículo e Instrucción y M.A. en Tecnología educativa
    Programa de Evaluación en Lenguas Extranjeras, ELM
  • M.Sc. María del Rocío Ramírez González
    Analista Curricular
  • MTE. Juan Carlos Mora Hernández.
    Máster en Tecnología Educativa (ITESM)
    Educador Pensionado
  • Dra. Vanessa Smith Castro
    Psicóloga
    Instituto de Investigaciones Psicológicas
    Escuela de Psicología
    Universidad de Costa Rica
  • María Paula Villarreal Galera
    Máster en Evaluación Educativa
  • Yency Calderón Badilla
    Profesora
    Máster en Evaluación Educativa 5

Por el Colectivo Mujeres por Costa Rica:

  • Dra. Susan Francis Salazar
  • Dra. Alicia E. Vargas Porras
  • Dra. Yamileth González García
  • Dra. Yolanda Rojas Rodríguez
  • Dra. Lupita Chaves Salas
  • Dra. Josefina Pujol Mesalles
  • Dra. Virginia Ramírez Cascante
  • Lic. Vera Sancho Mora
  • Dra. Karla Salguero Moya
  • Lic. Maleni Granados Carvajal
  • Dra. Eiliana Montero Rojas

San José, 28 de marzo de 2023.

  • Correos
  • Comisión Interinstitucional: GRACIELA.ORDONEZ@ucr.ac.cr (Coordinadora)
  • Colectivo Mujeres por Costa Rica: mujeresporcr@gmail.com

También podría gustarte Más del autor

Comentarios

Cargando...