Proceso de revisión sistemática de experimentos en ingeniería de software

Resumen

En el contexto profesional, la necesidad de tomar mejores decisiones obliga cada vez más a los líderes y gerentes a incorporar conocimiento que haya sido comprobado empíricamente, como una manera de reducir el grado de incertidumbre. Es así como los estudios empíricos han llegado a cumplir un rol importante en el proceso de toma de decisiones. Entre ellos, los experimentos controlados son el tipo de estudio más ampliamente aceptado en el contexto académico e industrial. En Ingeniería del Software (IS) la conducción de experimentos controlados comienza a tomar auge en la última década. Tales experimentos han buscado comprobar, de una manera mucho más rigurosa, las ventajas de ciertas tecnologías frente a otras; o la utilidad de una tecnología particular en una situación dada. A pesar de esto, no podemos afirmar aún que la Ingeniería de Software Experimental sea una disciplina madura. Por el contrario, existen serias debilidades en cuanto a la cantidad y calidad de los experimentos individuales que podemos localizar, así como restricciones para recuperar los mismos utilizando los medios electrónicos disponibles. Todo lo anterior nos presenta limitaciones cuando pretendemos tomar decisiones basadas en las evidencias obtenidas de los experimentos individuales. Una manera de aumentar la validez de tales evidencias es combinar los resultados individuales por medio de métodos cuantitativos o cualitativos. Es así como surgen los estudios secundarios, tales como las Revisiones Sistemáticas (RS), que combinan los resultados de los estudios primarios previamente conducidos. A pesar de que han sido propuestos lineamientos para la conducción de RS en la IS, éstos presentan debilidades y carencias, motivado por la fuerte influencia que han recibido de propuestas equivalentes que se encuentran en uso en otras disciplinas; sin considerar un conjunto de características que son particulares a la IS (p.e. una base experimental escasa y de calidad muy diversa). Esto lleva a que las RS en IS sean muy complejas y costosas. Frecuentemente, los revisores tienen que resolver de manera intuitiva dificultades de diferente naturaleza que impiden aprovechar la base de experimentos existentes. En otras ocasiones, los resultados que se obtienen no llegan a ser significativos, como consecuencia de un número muy pequeño de experimentos y sujetos. Finalmente, esto tiene un impacto negativo en la transferencia de razonamientos empíricamente comprobados a los tomadores de decisiones en el ámbito industrial. En esta investigación se propone un proceso de revisión de experimentos que define cinco fases y establece lineamientos y recomendaciones para cada una de ellas; considerando las características específicas de la IS. Este proceso de RS se caracteriza por: 1) maximizar la cantidad de la evidencia primaria utilizada; 2) facilitar la definición del objetivo de revisión en aquellos casos de alto grado de incertidumbre; 3) resolver los problemas derivados de la diversidad de terminología; 4) manejar la condición de heterogeneidad de los experimentos, facilitando las actividades de lectura, extracción de datos y síntesis; 5) uso de diversas técnicas de meta-análisis que permiten aprovechar estudios con limitaciones de disponibilidad de datos; 6) uso de una escala validada para la evaluación de la calidad de experimentos. Además, se prescriben actividades, tareas y artefactos de manera sistemática; permitiendo que el proceso propuesto sea repetible, gestionado y documentado; promoviendo así su efectividad. Finalmente, todo esto contribuye al aprovechamiento de la mayor y mejor evidencia disponible para la agregación y generación de nuevo conocimiento.