Evidencias de la existencia de errores estadísticos en experimentos de ingeniería del softwarecuatro estudios empíricos

Resumen

Contexto: En 2005, J.P.A. Ioannidis advertía a los investigadores que muchos resultados experimentales, independientemente del campo científico, son probablemente falsos. Las razones son múltiples; algunas de ellas están relacionadas con errores estadísticos. Las disciplinas experimentalmente maduras (p. ej., Medicina y Psicología) monitorizan con frecuencia la calidad y rigor de sus investigaciones. Problema: En Ingeniería de Software (IS), con contadas excepciones, apenas se ha prestado atención a la existencia de errores estadísticos en sus trabajos experimentales. Una de las pocas excepciones es la reciente investigación de Jørgensen et al. Este trabajo demuestra la existencia de publication bias y research bias en IS. Ambos biases tienen una naturaleza esencialmente estadística. Aunque los autores relacionan dichos biases con la ausencia de poder estadístico de los experimentos, cabe preguntarse si también podrían deberse a la existencia de malas prácticas en IS. Objetivos: Explorar, identificar, analizar y evaluar los errores estadísticos en IS, con el fin de establecer sus causas y, a partir de las mismas, proponer mecanismos para evitarlos o, al menos, minimizar su impacto. Metodología: Hemos realizado una investigación basada en métodos mixtos: (1) revisiones sistemáticas para construir una tipología de errores y sus respectivas causas, (2) revisiones y encuestas para identificar la existencia de errores estadísticos experimentos de IS, y (3) entrevistas con experimentadores para establecer claramente las causas de los errores y alternativas de solución. Resultados: Nuestra investigación pone de manifiesto que las malas prácticas no son las causas principales de los errores estadísticos en IS. En su lugar, las causas más relevantes parecen ser: a) El insuficiente conocimiento, por parte de los investigadores, de la metodología experimental y técnicas estadísticas asociadas, así como b) el insuficiente conocimiento, también por parte de los investigadores, de los fenómenos que ocurren en nuestra disciplina, lo que lleva a la frecuente realización de investigaciones de carácter exploratorio. Conclusiones: Al menos en el actual estadio de evolución de la experimentación en IS, parece que los errores estadísticos se producen por un problema de inmadurez de la propia disciplina. En consecuencia, las alternativas de solución van en la dirección de atacar dicha inmadurez, proporcionando a los investigadores: a) Formación adecuada y b) guías claras de como realizar y analizar experimentos.