Assessment design in higher educationAn analysis of disciplines, teachers´decision making and training programmes

  1. Fernández Ruiz, Javier
Dirigée par:
  1. Ernesto Panadero Directeur/trice
  2. Daniel García-Pérez Directeur

Université de défendre: Universidad Autónoma de Madrid

Fecha de defensa: 09 mai 2022

Jury:
  1. Víctor Manuel López Pastor President
  2. Juan Antonio Huertas Martínez Secrétaire
  3. Carmen Tomas Rapporteur

Type: Thèses

Résumé

Hoy en día está asumido que el diseño de unos métodos de evaluación adecuados es un requisito imprescindible para conseguir una educación de calidad. Sin embargo, los métodos de evaluación que se emplean en las universidades españolas están alejados de las recomendaciones basadas en la evidencia empírica. Muchas de las decisiones relacionadas con el diseño de métodos de evaluación recaen en los docentes universitarios, y comprender el modo en que se toman estas decisiones podría ser de gran beneficio para reducir la distancia entre la investigación educativa y las prácticas reales. Por ello, esta tesis se realiza con el objetivo de comprender cómo los docentes universitarios diseñan sus métodos de evaluación, así como las causas de este diseño. Para ello, se plantean tres estudios. El primer estudio tiene como objetivo comprender qué efectos tienen las variables externas, en concreto la disciplina de conocimiento, sobre el diseño de evaluación. Para ello, se comparó el diseño e implementación de los métodos de evaluación en tres grados universitarios (ciencias de la actividad física y el deporte, matemáticas, y medicina) en cuatro universidades. Se llevó a cabo una metodología mixta, basada en el análisis de las guías docentes de cada grado (N = 385) así como entrevistas semi estructuradas con los docentes (N = 19). Los resultados muestran la existencia de diferentes tendencias en el diseño de métodos de evaluación en función de la disciplina, divididas principalmente en dos ejes: los propósitos sumativos o formativos de la evaluación, y la evaluación basada en contenidos o la evaluación auténtica. El segundo estudio tiene como objetivo comprender qué efectos tienen las variables internas, en concreto los procesos de toma de decisiones, sobre el diseño de evaluación. Para este estudio, se realizaron sesiones individuales con parte de los participantes del estudio anterior (N = 16), incluyendo un protocolo en voz alta en el que debían diseñar unos métodos de evaluación para una asignatura ficticia. Las acciones de los docentes durante la tarea fueron transcritas y categorizadas utilizando análisis de contenido y codificaciones abiertas. Se identificaron tres patrones diferentes: (a) enfocado en la viabilidad de los métodos de evaluación, (b) en el alineamiento con las competencias y resultados de aprendizaje, o (c) en el alineamiento con los métodos instruccionales. La mayoría de los participantes se centraron únicamente en uno de estos elementos. Los docentes también diseñaron métodos diferentes durante la tarea, si se comparan con los que utilizan es sus asignaturas, a pesar de que las competencias y resultados de aprendizaje a evaluar eran los mismos. Los participantes declaran que la falta de recursos es la razón principal de estas diferencias. El tercer estudio tiene como objetivo analizar el modo en que los docentes universitarios son formados en temáticas de evaluación. Para ello, se recopiló información sobre los cursos de formación docente de todas las universidades públicas españolas (N = 1627), y se analizó el contenido de todos aquellos cuya temática principal fuera la evaluación (N = 82). Se encontraron diferentes enfoques en términos de formato y duración. Mientras algunas universidades ofrecen una gran cantidad de sesiones online, otras prefieren cursos más largos e intensivos. En relación a los contenidos de los cursos, se identificaron 25 temas, agrupados en 6 áreas temáticas. El formato y los contenidos de los cursos fueron comparados con la literatura acerca de formación docente en evaluación. Por último, se propusieron tres criterios de calidad basados en los modelos teóricos de formación docente en evaluación, encontrando que sólo 3 de las 25 universidades analizadas ofrecerían una formación en evaluación de alta calidad a sus profesores. Los tres estudios propuestos en esta tesis ofrecen una perspectiva más amplia acerca del modo en que los docentes diseñan sus métodos de evaluación, y de las herramientas que necesitan para hacerlo. Con el propósito de integrar los resultados de los tres estudios, en la discusión se proponen dos modelos basados en la evidencia acerca del diseño de evaluación. El primero, Variables influencing assessment design (VIAD) se realiza una clasificación y agrupación de las variables que condicionan el diseño de métodos de evaluación en los profesores universitarios. En el segundo, Teachers’ Assessment Design and Implementation Process (TADAIP) se ofrece un modelo secuencial que muestra las fases por las que un docente pasa al diseñar sus métodos de evaluación. Además, se discuten las implicaciones para la práctica profesional y para investigaciones futuras extraídas de esta tesis.