La calidad de la docencia percibida por el alumnado y el profesorado universitariosanálisis de la dimensionalidad de un cuestionario de evaluación docente

  1. María Castro Morera 1
  2. Enrique Navarro Asencio 1
  3. Ángeles Blanco Blanco 1
  1. 1 Universidad Complutense de Madrid
    info

    Universidad Complutense de Madrid

    Madrid, España

    ROR 02p0gd045

Revista:
Educación XX1: Revista de la Facultad de Educación

ISSN: 1139-613X,  2174-5374

Ano de publicación: 2020

Volume: 23

Número: 2

Páxinas: 41-65

Tipo: Artigo

DOI: 10.5944/EDUCXX1.25711 DIALNET GOOGLE SCHOLAR lock_openAcceso aberto editor

Outras publicacións en: Educación XX1: Revista de la Facultad de Educación

Resumo

After 75 years of research on student assessment questionnaires on teaching, the debate on their dimensionality is still open. This question has important implications, both theoretically (for the validation of the “quality of teaching” construct) and practically (with advantages associated with one-dimensional measures for summative purposes and multi-dimensional measures for training purposes). The present research proposes an analysis of the dimensionality of a standard questionnaire for the evaluation of teaching by students; as well as completing the analysis of the quality of teaching construct by adding the perspective of the teaching staff, deepening the nature of what some perceive as quality teaching. The double perspective adopted in this study is based on the use of the same teaching activity assessment questionnaire with the two groups involved, professors and students at the Complutense University of Madrid (UCM). A total of 125,155 surveys completed by UCM undergraduate and master students in the 2016-2017 academic year are analyzed. The sample of professors includes the answers of the 666 professors participating in the DOCENTIA-UCM Program who taught undergraduate and master’s courses during the 2016-2017 academic year. The analyses presented are focused on the dimensionality of the questionnaires applied by means of Exploratory Factor Analysis (AFE), providing an updated analytical approach that is aligned with the good practices recommended in the present for studies that make use of AFE of ordinal items in validation studies. The results show that the internal structure of the student questionnaire is defined on the basis of a single factor that explains 73.4% of the variance, called Teaching Quality. The results for the teacher questionnaire suggest a two-dimensional configuration of the teaching quality construct, explaining 63.912% of the variance extracted. These two factors were called General teaching competence and Specific development of the teaching proposal, which shows a more differentiated or nuanced perspective than the students in their view of the construct.

Referencias bibliográficas

  • Alhija, F.N.A. (2017) Guest editor introduction to the special issue “Contemporary evaluation of teaching: Challenges and promises”. Studies in Educational Evaluation, 54, 1-3.
  • Apodaca, P., y Grad, H. (2002). Análisis dimensional de las opiniones de los alumnos universitarios sobre sus profesores: comparación entre técnicas paramétricas y noparamétricas. Revista de Investigación educativa, 20(2), 385-409.
  • Apodaca, P., y Grad, H. (2005). The dimensionality of student ratings of teaching: integration of uni‐and multidimensional models. Studies in Higher Education, 30(6), 723-748.
  • ANECA (s.f.). Docentia: descripción. https://bit.ly/2H7xLv6
  • Bandalos, D.L., & Finney, S. J. (2018). Factor analysis: Exploratory and confirmatory. En G.R. Hancock & R.O. Mueller (Eds.), The reviewer’s guide to quantitative methods in the social sciences. (pp. 93-104). Routledge.
  • Basto, M., y Pereira, J. M. (2012). An SPSS R-menu for ordinal factor analysis. Journal of statistical software, 46(4), 1-29.
  • Benton, S.L. y Cashin, W.E. (2014). Student ratings of instuction in college and university courses En M.B. Paulsen (Ed.). Higher Education: Handbook of Theory and Research, v. 29, (pp. 279–326). Springer.
  • Casero, A. (2008). Propuesta de un cuestionario de evaluación de la calidad docente universitaria consensuado entre alumnos y profesores. Revista de Investigación Educativa, 26(1), 25-44.
  • Casero, A. (2016). Deconstrucción del “buen profesor”. Análisis de las características formales y no formales de la docencia universitaria. RELIEVERevista Electrónica de Investigación y Evaluación Educativa, 22(2). http://dx.doi.org/10.7203/relieve.22.2.9419.
  • Elosua, P. y Zumbo, B. (2008). Coeficientes de fiabilidad para escalas de respuesta categórica ordenada. Psicothema, 20(4), 896-901.
  • Escudero, T. (2000). La evaluación y mejora de la enseñanza en la universidad: otra perspectiva. Revista de Investigación Educativa, 18(2), 405-416.
  • Feldman, K.A. (1988). Effective college teaching from the students’ and faculty’s view: Matched or mismatched priorities? Research in Higher Education, 28(4), 291-329.
  • Gadermann, A.M., Guhn, M., & Zumbo, B. (2012). Estimating ordinal reliability for Likert-type and ordinal item response data: a conceptual, empirical, and practical guide. Practical Assessment, Research & Evaluation, 17(3). https://bit.ly/3bkRdmc.
  • Godstein, G. S., &; Benassi, V. A. (2006). Students’ and instructors’ beliefs about excellent lecturers and discussion leaders. Research in Higher Education, 47, 685– 707.
  • Hu, L., &; Bentler, P. (1999). Cutoff criteria for fit indexes in Covariances Structures Analysis: conventional criteria versus new alternatives. Structural Equation Modeling, 61, 1-55.
  • Izquierdo, I., Olea, J., & Abad, F.J. (2014). Exploratory Factor Analysis in validation studies: uses and recommendations. Psicothema, 26(3), 395-400. http://dx.doi.org/10.7334/psicothema2013.349
  • Jornet, J., Suárez, J.M., González, J., y Pérez, A. (1996). Evaluación de la actividad universitaria. En G. Quintas (Coord.), Educación, reforma y evaluación de la universidad. (pp. 189-244). Universitat de Valencia.
  • Jornet, J.; González Such, J., y Bakieva, M. (2012). Los resultados de aprendizaje como indicador para la evaluación de la calidad de la docencia universitaria. Reflexiones metodológicas. Revista Iberoamericana de Evaluación Educativa, 5(2), 100-115.
  • Lizasoain-Hernández, L.; Etxeberria-Murgiondo, J., &; Lukas-Mujika, J. F. (2017). A proposal for a new questionnaire for the evaluation of teachers at the University of the Basque Country. Dimensional, differential and psychometric study. RELIEVE, 23(2), art. 1. https://doi.org/10.7203/relieve.23.2.10436
  • Lloret, S., Ferreres, A., Hernández, A., & Tomás, I. (2017). The exploratory factor analysis of items: Guided analysis based on empirical data and software. Anales de Psicología, 33(2), 417-432.
  • Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, A. y Tomás-Marco, I. (2014). El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. Anales de Psicología, 30(3), 1151-1169.
  • López-Cámara, A. B., González-López, I., y de León-Huertas, C. (2015). Un análisis factorial exploratorio para la construcción de un modelo de indicadores de evaluación docente universitaria. Cultura y Educación, 27(2), 337-371.
  • Mayorga, M.J. y Madrid, D. (2008). Evaluación de la docencia: aproximación a una realidad educativa en la universidad. Enseñanza, 26, 99-122.
  • Mayorga, M.J.; Gallardo, M., y Madrid, D. (2018). Cómo construir un cuestionario para evaluar la docencia universitaria. Estudio empírico. Universitas Tarroconensis. Revista de Ciències de l’Educació, 2, 6-22. https://doi.org/10.17345/ute.2016.2.974
  • Molero, D. y Ruíz, J. (2005). La evaluación de la docencia universitaria. Dimensiones y variables más relevantes. Revista de Investigación Educativa, 23(1), 57-84.
  • Moreno-Murcia, J.A.; Silveira, Y., & Belando, N. (2015). Questionnaire evaluating teaching competencies in the university environment. Evaluation of teaching competencies in the university. New Approaches In Educational Research, 4(1) 54-61.
  • Muñoz, J.M., Ríos de Deus, M.P. y Abalde, E. (2002). Evaluación docente vs. Evaluación de la calidad. RELIEVE: Revista Electrónica de Investigación y Evaluación Educativa, 8(2). https://bit.ly/379s1M0.
  • Murillo, F.J. (2008). La Evaluación del Profesorado Universitario en España. Revista Iberoamericana de Evaluación Educativa, 1(3), 29-45.
  • Onwuegbuzie, A. J., Daniel, L. G., & Collins, K. M. (2009). A metavalidation model for assessing the score-validity of student teaching evaluations. Quality & Quantity, 43(2), 197-209.
  • Onwuegbuzie, A.J.; Witcher, W.A.E.;Collins, K.M.T.; Filer, J.D.; Wiedmaier, C.D., & Moore, C.W (2007). Students’ perceptions of characteristics of effective college teachers: a validity study of a teaching evaluation form using a mixed-method analysis. American Educational Research Journal, 44, 113-160.
  • Ordóñez, R. y Rodríguez, M.R. (2015). Docencia en la universidad: valoraciones de los estudiantes de la Universidad de Sevilla. Bordón. Revista de Pedagogía, 3(67), 85-101.
  • Perales, M.J., Jornet, J.M. y González, J. (2014). Tendencias en las políticas de formación y evaluación del profesorado en la Educación Superior en España. En Revista Iberoamericana de Evaluación Educativa, 2 (Especial), 53-64.
  • Pozo, C., Giménez, M.L. y Bretones, B. (2009). La evaluación de la calidad docente en el nuevo marco del EEES. Un estudio sobre la encuesta de opinión del Programa DOCENTIAANDALUCÍA, Educación XXI, 11, 43-64.
  • Rodríguez-Gómez, G. (2000). La evaluación de la actividad docente en la universidad: entre el sueño y la realidad. Revista de investigación educativa, 18(2), 417-432.
  • Spooren, P., Brockx, B., & Mortelmans, D. (2013). On the validity of student evaluation of teaching: The state of the art. Review of Educational Research, 83(4), 598-642.
  • Spooren, P., Vandermoere, F., Vanderstraeten, & Pepersmans, K. (2017). Exploring high impact scholarship in research on students evaluation of teaching (SET). Educational Research Review, 22, 129-141.
  • Tejedor, F. J. y García- Valcárcel, A. (1996). La evaluación de la calidad de la docencia universitaria en el marco de la evaluación institucional desde la perspectiva del alumno. En F.J. Tejedor y J.L. Rodríguez Diéguez, (Coords), Evaluación educativa II: Evaluación institucional fundamentos teóricos y aplicaciones prácticas. (pp. 93-122). IUCE.
  • Tejedor, F. J. y Jornet, J. M. (2008). La evaluación del profesorado universitario en España. Revista Electrónica de Investigación Educativa, Especial. https://bit.ly/3besjVn.
  • Tejedor, F.J. (2003). Un modelo de evaluación del profesorado universitario. Revista de Investigación Educativa, 21(1), 157-182.
  • Tejedor, F.J. (2009). Evaluación del profesorado universitario: enfoque metodológico y algunas aportaciones de la investigación. Estudios sobre Educación- ESE, 16, 74-102
Fonte de datos: Dialnet