Propuesta de validación de la homogeneidad de un modelo de rúbrica de evaluación del TFG en el grado de enfermería de la UCM

Resumen

La evaluación del Trabajo Fin de Grado (TFG) en el Grado de Enfermería de la UCM, asignatura en la que participa un número elevado de profesores para la tutorización del trabajo autónomo desarrollado por los estudiantes, se realiza mediante el uso de una rúbrica que se detalla en la Normativa de la asignatura que se pone a disposición de estudiantes y docentes al inicio de cada curso académico. El proceso de elaboración de la rúbrica de evaluación utilizada se inicia en el curso 2010-2011 y se ha revisado en los sucesivos cursos académicos, elaborando una nueva rúbrica para su utilización en el curso 2014-2015, para la que es necesario confirmar si permite realizar una evaluación homogénea. El proceso de validación de la homogeneidad de la respuesta de distintos evaluadores se tiene que realizar en un contexto en el que no se dispone de una metodología ampliamente consensuada para realizar esta comprobación. Este análisis se puede realizar para cada uno de los criterios de evaluación utilizados, de manera que permita identificar aquellos criterios que presentan una menor homogeneidad frente a otros de los criterios que componen la rúbrica. Se analiza la homogeneidad de las sesenta y cuatro respuestas que cumplen los criterios de inclusión para el TFG tipo Plan de cuidados y el TFG tipo revisión bibliográfica en el Grado en Enfermería de la UCM en el curso 2014-2015. Se concluye que la rúbrica utilizada en la evaluación de la asignatura de TFG permite una evaluación con una homogeneidad de las respuestas de los evaluadores expertos que se considera entre ¿ligera¿ y ¿justa¿, según la escala de valoración arbitraria propuesta por Landis y Coch, tanto en el TFG del tipo Plan de cuidados como en el TFG del tipo Revisión bibliográfica (porcentaje de acuerdo 46%, k = 0,135 (concordancia ligera), ICC = 0,2081 (concordancia ligera) para el TFG tipo Plan de cuidados y porcentaje de acuerdo 36%, k = 0,099 (concordancia ligera), ICC = 0,2724 (concordancia justa) para el TFG tipo Revisión bibliográfica). Las respuestas de los evaluadores son más homogéneas para cada uno de los criterios de evaluación de forma independiente en la evaluación de una memoria de TFG del tipo Plan de cuidados que en la del TFG del tipo Revisión bibliográfica, excepto para dos criterios para los que se han obtenido valores muy próximos de homogeneidad relativa; la tipología del TFG evaluado parece influir en la homogeneidad de las respuestas de los evaluadores. Los criterios de evaluación de la rúbrica analizada en los que las respuestas de los evaluadores presentan mayor homogeneidad respecto al conjunto de criterios evaluados son aquellos que, o bien están centrados de forma específica en los aspectos propios de la profesión, o están planteados de forma sencilla, o los evaluadores disponen de información detallada en documentos complementarios para facilitar el consenso. Los criterios de evaluación de la rúbrica analizada en los que las respuestas de los evaluadores presentan menor homogeneidad respecto al conjunto de criterios evaluados son aquellos que requieren mayor abstracción por parte del evaluador, y pueden estar reflejando la existencia de una cierta flexibilidad de la evaluación realizada por los docentes en criterios que es frecuente que presenten deficiencias en los TFG presentados por los estudiantes. El análisis realizado de la homogeneidad de las respuestas para cada uno de los criterios de evaluación de forma independiente puede facilitar la revisión y mejora de la calidad de rúbrica como herramienta de evaluación, aportando una información más completa y detallada que otros modelos en los que únicamente se utilizan los valores de fiabilidad inter-evaluadores para el conjunto de la rúbrica, para la mejora continua de esta herramienta y de la calidad del proceso de enseñanza ¿ aprendizaje ¿ evaluación