Meta-planificador predictivo para entornos multicluster no dedicados

Resumo

A principios de los años 90 muchas de las características y capacidades proporcionadas únicamente por sofisticados y costosos Supercomputadores se lograron superar mediante el uso adecuado de conjuntos de ordenadores de sobremesa agrupados en sistemas denominados Cluster, En la actualidad, el continuo aumento de las capacidades de cómputo y la disminución del coste de adquisición de los ordenadores de sobremesa ha provocado un uso extendido de los clusters en centros de investigación, instituciones, organizaciones, etc. No obstante, el crecimiento constante de los requerimientos de las aplicaciones científicas hacen necesaria la búsqueda de sistemas aún más potentes y/o con mayor número de recursos. En la última década, la posibilidad de unir los recursos (clusters) de una misma organización para obtener mayor capacidad de cómputo ha despertado un gran interés. Esto ha propiciado la aparición de nuevos sistemas Multicluster que incorporan sofisticadas técnicas de planificación de trabajos y gestión de recursos orientadas a aprovechar al máximo los recursos de cómputo distribuidos en varios clusters. Aunque el bajo coste de los recursos de cómputo facilita el crecimiento del número de clusters y recursos por cluster, este crecimiento tiene sus limites. En primer lugar debemos considerar los problemas de espacio que no siempre son fáciles de conseguir y en segundo lugar el elevado coste del consumo energético producido por las unidades de cómputo y por los sistema de refrigeración que se necesitan. Bajo este panorama, un modo de proporcionar mayor número de recursos sin aumentar los costes es incorporar al Multicluster recursos de cómputo ociosos de los usuarios de una organización para la ejecución de aplicaciones paralelas, como por ejemplo los ordenadores del laboratorio de una universidad. La tarea de meta-planificación en un entorno Multicluster es un tarea compleja y una línea de trabajo en pleno auge en la actualidad. En primer lugar, la cantidad de recursos que se deben gestionar es muy grande y los recursos pueden ser heterogéneos. En segundo lugar, deseamos considerar la planificación en un sistema no dedicado donde los recursos se comparten con otros usuarios, aumentando la dificultad de la meta-planificación. El objetivo de la meta-planificación en el presente trabajo es obtener el máximo rendimiento de las aplicaciones paralelas sin perjudicar al usuario local. En el presente trabajo se han propuesto varias técnicas de estimación del tiempo de turnaround de las aplicaciones paralelas en el sistema Multicluster. Estas estimaciones son utilizadas por el sistema de meta-planificación para tomar decisiones eficientes en la asignación de recursos a las aplicaciones paralelas. Estas técnicas consideran la heterogeneidad y la ocupación de los recursos tanto de cómputo como de comunicación. Con el fin de poder compartir los recursos libres de distintos clusters para la ejecución de aplicaciones paralelas, se ha desarrollado una técnica de asignación de recursos entre clusters basada en un modelo de programación entera binaria (Mixed Integer Programming). El modelo realiza la asignación de una aplicación paralela a un conjunto de recursos de distintos clusters con dos objetivos fundamentales, la obtención del mejor rendimiento de la aplicación paralela y la no saturación de los canales de comunicación. Mediante el uso de estas técnicas proponemos un refinamiento de la tarea de meta-planificación con el objetivo de obtener mayores rendimientos de las aplicaciones paralelas y un mayor aprovechamiento de los recursos del Multicluster, reduciendo los tiempos de espera y aprovechando los recursos libres entre clusters.