Planificación multinivel eficiente con aprovisionamiento dinámico en grids y clouds

Resum

La consolidación de las grandes infraestructuras distribuidas ha resultado en plataformas que están listas para grandes cargas de trabajo. Los mejores exponentes son las federaciones grid actuales y las emergentes infraestructuras cloud. Debido a su dinamismo y heterogeneidad, encontrar la asignación ideal de las tareas computacionales en los recursos disponibles es, por definición, un problema NP-completo, y sólo se pueden encontrar soluciones subóptimas. Sin embargo, la caracterización de estos recursos en ambos tipos de infraestructuras es deficitaria, lo cual no permite la planificación avanzada que los diferentes tipos de aplicaciones distribuidas necesitan. En este marco, el bajo rendimiento obtenido por los planificadores tradicionales es notorio. Además, la falta de suporte para la computación distribuida dificulta la portabilidad masiva de aplicaciones legadas a los entornos cloud. En contraste, los trabajos piloto están siendo introducidos en grids y clouds para superar las limitaciones del middleware. Esta aproximación permite completar las tareas computacionales de un modo más flexible, estable y robusto, mientras la sobrecarga se reduce. Además, constituye una potente capa de planificación que puede ser usada para resolver los problemas de caracterización y ser combinada con los mecanismos tradicionales para alcanzar los niveles de rendimiento requeridos. En este sentido, esta nueva capa está ubicada entre la que proporcionan las aplicaciones y las herramientas de aprovisionamiento, construyendo una arquitectura de Planificación Multinivel. Sin embargo, los sistemas actuales no están explotando todas sus ventajas o bien son poco compatibles y adaptables: no permiten la caracterización necesaria, personalizar la planificación, configurar dinámicamente los espacios virtuales de trabajo, o incluso son incapaces de ejecutar aplicaciones legadas basadas en estándares. La investigación realizada en esta tesis supera esas limitaciones para explotar completamente la Planificación Multinivel en entornos grid y cloud. Este estudio presenta el diseño de un nuevo sistema de trabajos piloto de propósito general, GWpilot, junto con una colección de metodologías y tecnologías que permiten a los usuarios, desarrolladores y administradores institucionales incorporar fácilmente sus aplicaciones legadas, sus sistemas de planificación y sus políticas en el modelo Multinivel, alcanzando el rendimiento requerido mientras se preserva la compatibilidad y seguridad en las diferentes infraestructuras. Además, el sistema es mucho más fácil de usar, instalar, apilar, extender y ajustar que las herramientas existentes gracias a su flexibilidad. El nuevo sistema se diferencia también en su descentralización, su independencia del middleware, la planificación bajo demanda de diferentes máquinas virtuales en clouds, la configuración posterior por parte de los usuarios de los espacios virtuales aprovisionados, la ejecución eficiente de tareas cortas, todo ello preservando la compartición equitativa de recursos y la compatibilidad con las diversas infraestructuras. Este nuevo sistema de trabajos piloto representa un paso adelante en el aprovechamiento de las grandes infraestructuras computacionales distribuidas, ya que va más allá de establecer simplemente una envoltura para eliminar los tiempos de espera en las colas remotas, permitir el uso de recursos cloud o mejorar la robustez en la producción. Aborda apropiadamente el problema de la caracterización en las infraestructuras actuales, permitiendo a los usuarios incorporar arbitrariamente una monitorización personalizada para realizar una planificación especializada y guiar automáticamente el aprovisionamiento sin tener que modificar el código del sistema. Esta conclusión está fundamentada por los extensos experimentos realizados sobre infraestructuras grid y cloud en producción, acoplando planificadores de terceros y con cálculos significativos para diversas áreas como la fusión nuclear.