Analítica del aprendizaje para la predicción en escenarios educativos heterogéneos

Resumen

Los entornos educativos permiten recoger una gran cantidad de información sobre la actividad de los estudiantes en los cursos. Esta información puede ser utilizada, por ejemplo, para predecir el comportamiento o los resultados de los estudiantes y detectar alumnos en riesgo, de modo que el profesor pueda identificar posibles dificultades y llevar a cabo intervenciones. A pesar de que ha habido muchos trabajos previos de predicción en educación, quedan aún muchos retos pendientes. Por ejemplo, es necesario conocer más sobre variables predictoras nuevas y su relación con otras ya utilizadas (p. ej., de vídeos o ejercicios). También, es importante poder determinar a partir de varios contextos cuál es el momento a partir del cual la predicción puede ser lo suficientemente precisa y cómo los modelos pueden generalizar a otros contextos. Asimismo, hace falta comprender cómo se relacionan diferentes variables de la predicción y si las predicciones de estas variables pueden combinarse para aportar más información. Para contribuir en parte a la solución de estos problemas, esta tesis se centra en el estudio de la predicción en varios escenarios educativos en relación con varios aspectos, en concreto (1) el efecto de algunas variables predictoras, (2) el análisis temporal, (3) el problema de la generalización, y (4) el efecto de algunas variables a predecir. Se utilizan seis escenarios de aprendizaje, en los cuales se realiza un análisis de la predicción para posteriormente extraer conclusiones globales. Estos seis escenarios incluyen Massive Open Online Courses (MOOCs) de edX y Coursera, Small Private Online Courses (SPOCs) en Open edX como apoyo a cursos universitarios y en edX Edge para la preparación de pruebas de acceso universitarias, y datos de alumnos de primaria y secundaria (K-12) en una plataforma propietaria. Las variables dependientes a predecir incluyen el abandono académico, la consecución de objetivos (éxito), y las notas, tras identificar el interés de estas variables, tanto en la revisión de la literatura, como en entrevistas y grupos focales llevados a cabo a líderes institucionales, expertos, profesores y estudiantes. Los resultados muestran que las variables relacionadas con interacciones con ejercicios proporcionan un poder predictivo alto, y este resultado generaliza a los diferentes contextos. Asimismo, las notas sumativas previas también consiguen mejorar el poder predictivo cuando están disponibles, y las variables sobre actividad en la plataforma e interacciones con vídeos normalmente ofrecen un buen poder predictivo y son útiles en los modelos. También, las variables de aprendizaje autorregulado pueden contribuir en los modelos y ofrecer un buen poder predictivo por sí mismas, aunque pueden tener menor efecto cuando otras variables principales, como las de ejercicios están presentes, por su posible relación con las mismas. Sin embargo, otras variables como la actividad en el foro o comportamientos, como la eficiencia, constancia o persistencia no consiguen un alto poder predictivo o mejorar significativamente los modelos. En cuanto al análisis temporal, los resultados muestran que en todos los contextos, independientemente del tipo de curso o si eran síncronos o asíncronos, pueden obtenerse una buenas predicciones a partir del 13-40% de la duración del curso. Aunque el contexto pueda influir significativamente en el poder predictivo, esto implica que pueden conseguirse predicciones relativamente tempranas. Respecto a la generalización, se analizan tres aproximaciones. En la primera, se estudia la transferencia de un modelo de un curso a otro, y se obtienen buenos resultados cuando se transfiere un modelo a otro curso diferente (aunque con contexto similar) con los mismos estudiantes (mismo cohorte). Además, los resultados pueden ser aceptables al transferir a otra edición del mismo curso. Sin embargo, el poder predictivo puede reducirse considerablemente al cambiar de curso y estudiantes, aunque puede haber contextos concretos (como se identifican en MOOCs) donde no ocurra. La segunda aproximación consiste en un modelo global, entrenado con datos de varios cursos, los cuales podían tener bastantes diferencias entre ellos. Esta aproximación puede ser útil, por ejemplo, cuando hay cursos nuevos o cursos con muy pocos alumnos para generar modelos específicos. Sobre esta aproximación, se observa que se puede obtener un alto poder predictivo a nivel global, aunque pueden fallar en cursos concretos. En particular, en torno al 15-18% de los cursos, el Área Bajo la Curva (AUC) disminuye en más de 0.1 y la Raíz del Error Cuadrático Medio (RMSE) es al menos 0.05 mayor. Por ello, debe analizarse en cada caso si el modelo global puede funcionar en cada curso concreto. No obstante, dado que el contexto puede afectar bastante en los modelos, una recomendación es reutilizar y adaptar los modelos a cada contexto, que es la tercera aproximación propuesta. En este caso, se toma un modelo ya existente y se readapta el código para añadir/eliminar variables si es necesario y generar un modelo para el curso específico. En torno a las variables a predecir, el análisis de los diferentes escenarios muestra que hay diversos aspectos que pueden condicionar la selección y definición de la variable. Por ejemplo, en un curso puede considerarse que un alumno abandona cuando está inactivo durante cierto tiempo, pero en otro, aunque un alumno se conecte a la plataforma, se puede considerar abandono si no está centrado en el curso y no hace las actividades (p. ej., en primaria/secundaria donde los alumnos pueden conectarse a la plataforma en clase, pero no realizar las actividades que se les piden). Además, en torno a las variables a predecir, se observa que se obtiene un mejor poder predictivo al predecir la nota final que la nota del examen final. También, se aprecian variaciones entre el abandono y la nota, ya que por ejemplo, puede haber estudiantes con alta probabilidad de suspenso porque tengan problemas con los contenidos (y tengan baja probabilidad de abandono) o porque no estén comprometidos con el curso (y también tengan alta probabilidad de abandono). Estas variaciones pueden servir para identificar perfiles más detallados de estudiantes en función de sus dificultades (p. ej., posible falta de motivación, de comprensión, etc.). Una limitación de este trabajo es que los resultados obtenidos pueden depender de los seis escenarios considerados, pudiendo variar en otros contextos. Además, dado que los contextos utilizados son diferentes, las variables utilizadas y los posibles filtrados varían, lo que podría afectar a algunos resultados. No obstante, los resultados de este trabajo pueden servir de ayuda para las futuras implementaciones de los modelos predictivos, de modo que los investigadores puedan conocer mejor los factores relacionados con la predicción, y los técnicos que implementen los sistemas puedan conocer mejor qué variables tomar, en qué momento los sistemas pueden dar resultados precisos o cómo generalizar los modelos. De este modo, se podrán diseñar modelos que puedan ayudar a hacer recomendaciones a alumnos y a mejorar el diseño de los cursos, lo que puede tener un impacto positivo en el aprendizaje.