Impacto de la instrumentación en los experimentos de ingeniería del softwareaplicación a experimentos de test-driven development

Resum

La experimentación se ha venido aplicando desde hace varias décadas como método de investigación en Ingeniería del Software. El incremento en la realización de experimentos ha sido notable en los últimos años. Sin embargo, hay ciertos aspectos relativos al proceso experimental que han sido poco estudiados y posiblemente estén afectando la validez de los resultados experimentales. En particular la operacionalización, que pertenece a la fase de diseño experimental, apenas ha sido tratada. La operacionalización es el proceso por el cual los constructos que se desean estudiar, tanto en lo relativo a las variables dependientes como independientes, son asignados a métricas y factores medibles. Con frecuencia, la medición no es directa, sino que requiere de métodos de medición complejos, donde intervienen muchos elementos, tales como instrumentos, medidores y manipulaciones o intervenciones sobre las muestras a medir. Existen evidencias de que ciertos elementos de los métodos de medición (por ejemplo, los casos de prueba usados en la medición de muchos experimentos en TDD) producen resultados experimentales que no son consistentes entre sí. El objetivo de esta Tesis es determinar qué componentes de los métodos de medición pueden influir en los resultados experimentales, y cuál es el origen de dichas variaciones. Para realizar este estudio, se trabajó con una familia de experimentos en TDD realizados tanto en industria como en academia, dentro del proyecto FiDiPro ESEIL. La investigación se ha enfocado en tres elementos de los métodos de medida: Casos de prueba, medidores y tipos de intervención. Para realizar la investigación. se realizaron múltiples mediciones utilizando distintos casos de prueba, medidores y tipos de intervención. Las mediciones fueron posteriormente comparadas utilizando métodos provenientes de la ingeniería, como ISO 5725, las ciencias biomédicas, como es el caso de los diagramas Bland-Altman, y el Coeficiente de Correlación Intraclase, proveniente de la psicología. Nuestros resultados muestran que la utilización de una u otra suite de casos de prueba modifica de forma sustancial los resultados de los análisis estadísticos de los experimentos. En contrapartida, los medidores y los tipos de intervención no influyen fuertemente en los resultados experimentales. El aporte de esta Tesis es proporcionar visibilidad en la fase de operacionalización, poniendo a disposición de los experimentadores recomendaciones sobre ciertos aspectos de los métodos de medida que permitirán obtener resultados más precisos en los experimentos de Ingeniería del Software.