Tolérance aux fautes à base de clusterisation dans un environnement de système distribué à large échelle

Abstract

Les environnements de systèmes distribués à large échelle offrent aux clients un parc de ressources illimitées pour le calcul et le stockage des données. Ces environnements peuvent être structurés sous forme de grille de calcul, de Cloud Computing ou de systèmes pair à pair. Les ressources de tels systèmes sont sujettes à des pannes de toutes nature (crash, déconnexion, byzantine etc.). L’objectif principal de cette thèse est (i) la proposition des techniques de tolérance aux fautes basé sur la clusterisation des ressources dans des environnements de grille de calcul et (ii) une clusterisation des tâches d’un système de workflow scientifique dans des environnements de Cloud Computing. Elles généralisent la problématique soulevée par le développement de deux heuristiques de clustering tolérant aux fautes, leurs implémentations et leurs évaluations par des simulations. Comme première contribution, nous proposons FT-GRC un modèle de tolérance aux fautes qui cherche à trouver le substitut le plus adéquat au nœud défaillant par la clusterisation des ressources de calcul sans aucune réplication. Ce modèle est basé sur des graphes colorés dynamiques qui puissent tenir compte des trois caractéristiques fondamentales des grilles, à savoir l'hétérogénéité, la dynamicité et le passage à l'échelle. Le mécanisme de tolérance aux fautes proposé utilise un algorithme de clustering à 1 saut (1- hop) appelé HCC pour transformer la grille en un ensemble de clusters interconnectés et parl’introduction d’une fonction de scoringqui permettes de calculer le niveau de performance de chaque nœud de la grille en fonction de leurs caractéristiques physiques et logiques. La combinaison de ces techniques, nous a permis de déterminer le choix des substituts de manière optimale en cherchant les substituts dans le même cluster (tolérance aux fautes local intra-cluster) puis par la recherche des plus proches substituts (tolérance aux fautes inter-cluster). Ainsi, nous avons utilisé une migration périodique des jobs du nœud défaillant vers les substituts appropriés. Dans la deuxième contribution, nous proposons un nouveau modèle de tolérance aux fautes appelée FT-HCC pour un système de workflow scientifique composé d’un ensemble de tâches clusterisées soumises dans un environnement de Cloud Computing. Nous avons appliqué cette approche à cinq workflows scientifiques en temps réel avec un modèle de workflow et des caractéristiques de calcul différents. Réduire le temps d’exécution (makespan) et le coût d'exécution est l'objectif principal de notre modèle de tolérance aux fautes afin d’augmenter les performances du workflow. Nous avons considéré les fautes internes tels que les défaillances de l'hôte, y compris les tâches de workflow et les instances VM. Du point de vue clustering, nous avons proposé deux stratégies de clustering de tâches tolérantes aux fautes pour améliorer les performances d'exécution de workflow : un Clustering Critique (CC) basé sur le chemin critique et un Clustering Horizontal (HC) basé sur les niveaux du workflow. La technique de tolérance aux fautes proposée applique une réplication active pour les tâches du chemin critique, et une réplication passive pour les tâches non critiques. Ainsi, nous exploitons le temps d'inactivité des VMs pour la réplication passive.