Adaptación de la prueba TIMSS para la evaluación de la competencia matemática en alumnos de magisterio

  1. Blanca Arteaga Martínez 1
  2. Enrique Navarro Asencio 2
  3. Arántzazu Fraile Rey 1
  4. Pedro Ramos Alonso 1
  1. 1 Universidad de Alcalá
    info

    Universidad de Alcalá

    Alcalá de Henares, España

    ROR https://ror.org/04pmn0e78

  2. 2 Universidad Complutense de Madrid
    info

    Universidad Complutense de Madrid

    Madrid, España

    ROR 02p0gd045

Journal:
Bordón: Revista de pedagogía

ISSN: 0210-5934,  2340-6577

Year of publication: 2018

Issue Title: Rendimiento en matemáticas y la ciencia de la educación matemática: evidencia de diferentes naciones

Volume: 70

Issue: 3

Pages: 95-113

Type: Article

DOI: 10.13042/BORDON.2018.63042 DIALNET GOOGLE SCHOLAR lock_openDialnet editor

More publications in: Bordón: Revista de pedagogía

Abstract

INTRODUCTION. The foundation of mathematical pedagogical knowledge that a teacher must have is based in a special way on the knowledge he/she has about the contents of the subject. The objective of this paper is the elaboration of a diagnostic test of mathematical abilities, based on the selection and adaptation of some of the items of the Trends in International Mathematics and Science Study (TIMSS) 2011, as well as the technical aspects from the application of the Rasch model. METHOD. The items of the elaborated test were selected following the original structure of blocks of content and cognitive domain established in the framework of the official TIMSS 2011 test (Mullis, Martin, Ruddock, O’Sullivan, & Preuschoff, 2009). The translation and adaptation procedure has been developed in order to ensure greater linguistic validity. The study was carried out with a sample of 477 students enrolled in the first year of the different Bachelordegrees of Primary Education School Teacher that are offered in universities across the Autonomous Community of Madrid (Spain). RESULTS. We considered two types: multiple-choice items and constructed response items. Given the characteristic of the format it has been necessary to assess the reliability of the correction made by the evaluators to guarantee the agreement in their correction. DISCUSSION. The Rasch model used for the validation of the test has allowed us to generate evidence that shows a high degree of reliability, pointing out the differences in behavior between the multiple-choice items and the constructed response items (elements that require students to construct their own written response). The model allowed us to classify the results of the items by level of difficulty, which facilitates an interpretation of the results according to both the content domain and the cognitive domain.

€ View funding

Funding information

Este trabajo es producto de una investigación financiada por la Comunidad de Madrid, desde la Consejería de Educación e Investigación en el año 2017.

Funders

Bibliographic References

  • Beaton, D. E., Bombardier, C., Guillemin, F. y Bosi, M. (2000). Guidelines for the process of cross-cultural adaptation of self-report measures. Spine, 25, 3186-3191, doi: 10.1097/00007632-200012150-00014
  • Cano, M. E. (2011). La evaluación por competencias en la educación superior. Profesorado. Revista de Currículum y Formación del Profesorado, 12(3), 1-16.
  • Castro, M. (2011). ¿Qué sabemos de la medida de las competencias? Características y problemas psicométricos en la evaluación de competencias. Bordón. Revista de Pedagogía, 63(1), 109-123.
  • Ernest, P. (1989). The knowledge, beliefs and attitudes of the mathematics teacher: A model. Journal of education for teaching, 15(1), 13-33, doi: 10.1080/0260747890150102
  • Escobar-Pérez, J. y Cuervo-Martínez, A. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en Medición, 6(1), 27-36.
  • Fernández-Alonso, R. y Muñiz, J. (2011). Diseño de cuadernillos para la evaluación de las competencias básicas. Aula Abierta, 39(2), 3-34.
  • Hodgen, J. y Askew, M. (2007). Emotion, identity and teacher learning: Becoming a primary mathematics teacher. Oxford Review of Education, 33(4), 469-487, doi: 10.1080/03054980701451090
  • Hyrkäs, K., Appelqvist-Schmidlechner, K. y Oksa, L. (2003). Validating an instrument for clinical supervision using an expert panel. International Journal of Nursing Studies, 40(6), 619-625, doi: 10.1016/S0020-7489(03)00036-1
  • Landis, J. R. y Koch, G. G. (1977). An application of hierarchical kappa-type statistics in the assessment of majority agreement among multiple observers. Biometrics, 33(2), 363-374.
  • Llinares, S. (2003). Matemáticas escolares y competencia matemática. En M. C. Chamorro (coord.). Didáctica de las matemáticas para primaria (pp. 3-30). Madrid: Prentice Educación.
  • Martínez, M. (1999). Cognition and the question of test item format. Educational Psychologist, 34, 207- 218.
  • Martínez, M. R., Hernández, M. J. y Hernández, M. V. (2006). Psicometría. Madrid: Alianza Editorial.
  • Masters, G. N. (1982). A Rasch Model for Partial Credit Scoring. Psychometrika, 47(2), 149-174, doi: 10.1007/BF02296272
  • Mullis, I. V., Martín, M. O., Ruddock, G. J., O’Sullivan, C. Y. y Preuschoff, C. (2009). TIMSS 2011 Assessment Frameworks. Boston, M. A.: TIMMS & PIRLS International Study Center.
  • Navarro, E., Expósito, E., López, E. y Thoilliez, B. (2014). EPIBI: Escala de Percepción de Indicadores de Bienestar Infantil. Validación del instrumento utilizando modelos politómicos de Rasch. Revista de Educación, 364, 39-65, doi:10.4438/1988-592X-RE-2014-364-254
  • NCTM. National Council of Teachers of Mathematics (1991). Professional Standards for Teaching Mathematics. Reston, Va.: The NCTM, Inc.
  • Nortes, R. y Nortes Checa, A. (2017). Competencia matemática, actitud y ansiedad hacia las Matemáticas en futuros maestros. Revista Electrónica Interuniversitaria de Formación del Profesorado, 20(3), 145-160, doi: 10.6018/reifop.20.3.290841
  • Osterlind, S. (1998). Constructing test items: multiple-choice, constructed-response, performance, and others formats. Boston: Kluwer Academia Publishers.
  • Pérez, A. y Soto, E. (2011). Luces y sombras de PISA. Sentido educativo de las evaluaciones externas. Culturay Educación, 23(2), 171-182, doi: 10.1174/113564011795944758
  • Prieto, G. y Delgado, A. (2003). Análisis de un test mediante el modelo de Rasch. Psicothema, 15(1), 94-100.
  • Rasch, G. (1960). Probabilistic Models for Some Intelligence and Attainment Tests. Copenhague (Dinamarca): Danish Institute for Educational Research.
  • Rodríguez-Gómez, G. e Ibarra, M. S. (2013). ActEval: un instrumento para el análisis y reflexión sobre la actividad evaluadora del profesorado universitario. Revista de Educación, 362, 69-104. doi:10-4438/1988-592X-RE-2011-362-153
  • Sandoval, P., Frit, M., Maldonado, A. y Rodríguez, F. (2010). Evaluación de habilidades en matemática y comprensión lectora en estudiantes que ingresan a pedagogía en educación básica: un estudio comparativo en dos universidades del Consejo de Rectores. Educar em Revista, 2, 73-102.
  • Solano, G., Contreras, L. A. y Backhoff, E. (2006). Traducción y adaptación de pruebas: Lecciones aprendidas y recomendaciones para países participantes en TIMSS, PISA y otras comparaciones internacionales. Revista Electrónica de Investigación Educativa, 8(2), 1-21.
  • Tatto, M. T., Schwille, J., Senk, S., Ingvarson, L., Peck, R. y Rowley, G. (2008). Teacher Education and Development Study in Mathematics (TEDS-M). East Lansing, MI: Teacher Education and Development International Study Center, College of Education, Michigan State University.
  • Tourón, J. (2009). El establecimiento de estándares de rendimiento en los sistemas educativos. Estudios Sobre Educación, 16, 127-146.
  • Varas, L., Lacourly, N., López, A. y Giaconi, V. (2013). Evaluación del conocimiento pedagógico del contenido para enseñar matemáticas elementales. Enseñanza de las Ciencias, 31(1), 171-187.
  • Viera, A. J. y Garett, J. M. (2005). Understanding Interobserver Agreement: The Kappa Statistic. Family Medicine, 37(5), 360-363.
  • White, A. L., Way, J., Perry, B. y Southwell, B. (2005). Mathematical attitudes, beliefs and achievement in primary pre-service mathematics teacher education. Mathematics Teacher Education and Development, 7, 33-52.
Data source: Dialnet