Analíticas de evaluación para el diseño de una plataforma web de evaluación adaptativa de competencias digitales para la ciudadanía

Resumen

En las últimas décadas, las tecnologías de la información y la comunicación han ido transformando nuestra vida cotidiana radicalmente. Si en la década de los 80 fue el ordenador personal, en la de los 90 Internet, en los 2000 el teléfono móvil inteligente y en los 2010 el acceso móvil a Internet, la actual década propone desafíos importantes para la sociedad a partir de las nuevas inteligencias artificiales de propósito general. Estos cambios sociales con profundas relaciones con la sostenibilidad se han visto acrecentados en un contexto de pandemia global que ha puesto de manifiesto la necesidad de replantearse los métodos y enfoques de trabajo existentes. Este nuevo contexto ha puesto de manifiesto las vulnerabilidades de nuestras industrias y de las frágiles cadenas de valor estratégicas, y ha acentuado la necesidad de buscar soluciones para hacer frente a estas vulnerabilidades. En este contexto, existe un reconocimiento generalizado de que la alfabetización digital es una competencia crucial desafiada por las demandas tecnológicas, informativas, cognitivas y socioemocionales de la era digital (List et al., 2020; Van Laar et al., 2017). La agenda 2030 para el Desarrollo Sostenible (ODS) de las Naciones Unidas1, recoge los principales retos y sus respectivos objetivos divididos en una serie de metas, todas ellas conectadas a la tecnología digital. Garantizar el acceso a la tecnología no es suficiente para afrontar los retos identificados, sino que es esencial dotar a las personas de las capacidades adecuadas para utilizar la tecnología de forma significativa (O¿Sullivan et al., 2021). Según la revisión bibliográfica y la consulta a expertos y responsables políticos a nivel internacional llevada a cabo por Ala-Mutka (2011), la adquisición de la competencia digital (CD) se considera tan relevante como las demás competencias clave para lograr una sociedad sostenible. En consecuencia, muchos expertos y responsables políticos han tratado de definir qué CD debe tener cada ciudadano. Más aún, adecuar la CD de los ciudadanos a los requisitos de la demanda de empleo se ha identificado como un factor clave para la futura mano de obra (Abidoye et al., 2022). En consecuencia, es crucial reducir la brecha digital de la ciudadanía, la cual está estrechamente relacionada con sus condiciones económicas, sociales (Portillo et al., 2020; Sá et al., 2021). A pesar de todas las iniciativas puestas en marcha por la Comisión Europea como, por ejemplo, la Digital Skills and Jobs Coalition2 y los avances en este sentido, Europa sigue luchando contra la escasez de profesionales cualificados. Las instituciones educativas y de formación son incapaces de responder a esta demanda. Recientemente, 2023 ha sido declarado ¿año europeo de las capacidades¿ por la Comisión Europea, y se han puesto en marcha varias iniciativas en la educación, la capacitación y las CDs para cada ciudadano con el fin de continuar con el esfuerzo de alcanzar los objetivos establecidos por la Unión Europea en la Brújula Digital3: El 80% de los europeos tendrá CDs básicas y habrá 20 millones de especialistas en TIC para 2030. El reconocimiento de la CD como componente transversal que sirve de apoyo a otras competencias clave es uno de los objetivos marcados junto a la adopción de un marco de referencia único de CD, la creación de directrices y perfiles competenciales, el fomento del reconocimiento de las competencias adquiridas en entornos no formales e informales y el desarrollo de herramientas de evaluación, como destacó CEDEFOP (2016) o reflejó la Comisión Europea en su programa Erasmus+4. En este contexto, la acreditación de la CD se ha convertido en un tema de creciente interés en los últimos años. Varios autores han examinado los principales avances y limitaciones, destacando que la mayoría de los sistemas de evaluación se basan en autoevaluaciones, no cubren los tres componentes de la CD (conocimientos, habilidades y actitudes), apenas muestran evidencias de su calidad, y evalúan principalmente habilidades cognitivas de orden bajo (p. ej., recordar y comprender) (Kluzer y Priego, 2018; Law et al., 2018; Saltos-Rivas et al., 2021; Siddiq et al., 2016; Zhao et al., 2021). La Evaluación Mediada por la Tecnología (EMT) también llamado en inglés como Technology Assessment (TEA) ofrece inmensas oportunidades para mejorar la experiencia de quienes se examinan, y desarrollar modos de evaluación más pertinentes y ajustados a los requerimientos (Cho et al., 2019; Debuse y Lawley, 2016; Drasgow, 2016; McArthur, 2022); Scherer et al., 2017; Shute y Rahimi, 2017; Stödberg, 2012; Zenisky y Luecht, 2016). En concreto, la TEA posibilita el uso de entornos simulados (Binkley et al., 2012), y oportunidades para aplicar el conocimiento en un entorno seguro (Scherer et al., 2014). La TEA tiene un enorme potencial para proporcionar formatos de ítems innovadores, así como la posibilidad de obtener información sobre el comportamiento y el rendimiento de quienes se examinan durante las pruebas, recogiendo diferentes tipos de datos como, p. ej., datos de resultados, tiempo de respuesta y flujos de clics (Greiff et al., 2015; Osborne, Dunne, y Farrand, 2013; Timmis et al., 2016). Además, es posible utilizar estos datos con fines de validación para soportar las inferencias hechas a partir de las puntuaciones obtenidas (Oranje et al., 2017). Para lograr una adecuada evaluación de la CD, es crucial diseñar los ítems de evaluación apropiados para que desencadenen los conocimientos y habilidades esperados, especialmente cuando se evalúan constructos cognitivos complejos en los que se utilizan distintos formatos dinámicos como las simulaciones interactivas o los juegos serios (O'Leary et al., 2018; Van Voorhis y Paris, 2019). El lanzamiento del Marco Europeo de Competencias Digitales para la Ciudadanía (DigComp) por Ferrari y Punie (2013) del Instituto de Prospectiva Tecnológica (JRC-IPTS) de la Comisión Europea y sus posteriores versiones (Stephanie et al., 2017; Vuorikari et al., 2016; Vuorikari et al., 2022), facilitaron el desarrollo de implementaciones a medida, proporcionando un marco de referencia para trabajar en CD. Sin embargo, la mayoría de las implementaciones realizadas hasta ahora relacionadas con la evaluación de CD son autoevaluaciones compuestas por ítems de opción múltiple y escalas Likert, que sólo miden habilidades cognitivas de bajo orden (Kluzer y Priego, 2018; Mattar et al., 2022). Una de estas implementaciones basadas en DigComp, es la llevada a cabo en Euskadi por el Gobierno Vasco para la evaluación y certificación de la CD de la ciudadanía, BAIT5, como parte de sus Estrategia para la Transformación Digital de Euskadi6. La investigación llevada a cabo en esta tesis doctoral se encuentra estrechamente relacionada con BAIT, ya que su principal autor es parte de su equipo, y los avances logrados en la tesis están siendo incorporados en BAIT de manera continuada. Cabe destacar que tanto BAIT como Pathways for Employ (P4E), herramienta desarrollada en este estudio y que describimos más adelante, han sido seleccionadas por Kluzer y Priego (2018) como casos de éxito de implementaciones a medida llevadas a cabo basadas en DigComp. Por último, los test tradicionales son menos eficaces a la hora de evaluar las capacidades quienes se examinan, especialmente de quienes cuentan con bajas y altas capacidades (Ling et al., 2017), en parte debido a que muchos de los ítems administrados no sirven para distinguir entre ambos correctamente (Aybek y Demirtasli, 2017). Una posible solución consiste en aplicar pruebas adaptativas haciendo uso de la tecnología (TAI) (Troussas et al., 2020). A día de hoy no tenemos constancia de que se haya implementado una evaluación adaptativa de CD. Por este motivo, hemos decidido finalizar la investigación analizando este hecho y examinando los principales puntos a examinar para transformar una prueba lineal en adaptativa, acompañando los resultados con el uso de simulaciones que faciliten la toma de decisiones.