Le Big Data est le terme de référence pour désigner la quantité grandissante de données sur le Web. Les ingénieurs développent des méthodes toujours plus efficaces pour traiter systématiquement ces données et les stocker efficacement. Les masses de données à hauteur de plusieurs Petabytes ou exabytes, sont loin de faire office de cas de figures rares. Les données de cette ampleur ne peuvent être gérées par quelques systèmes uniques. Les analystes du Big Data misent pour cela sur des plateformes logicielles pour permettre de mener à bien les opérations informatiques les plus complexes et de les partager sur différents nœuds de calculateurs physiques. Une solution largement appréciée est offerte pour cela par Apache Hadoop, un framework qui sert de base à la distribution de différentes suites du Big Data.
Apache Hadoop se base sur Java pour différents composants logiciels, et permet de procéder à une taylorisation du travail. Ainsi, les calculs sont répartis sur différents nœuds d’un cluster (grappe, ou ensemble) d’ordinateurs et de les faire travailler en parallèle. Les structures Hadoop les plus importantes comptent plus d’un millier d’ordinateurs. Ce concept a pour avantage que chaque ordinateur du cluster ne représente qu’une infime partie des ressources matérielles nécessaires. Le traitement de ces importantes quantités de données n’a pas besoin d’être effectué sur des calculateurs élaborés, mais simplement sur une multitude de serveurs standards, ce qui permet d’effectuer des économies importantes.
Le projet en open source Hadoop a été créé en 2006 par le développeur Doug Cutting et se base sur l’algorithme MapReduce de Google. Doug Cutting s’est rendu compte du potentiel de cet algorithme en 2004, lorsque le moteur de recherche a dévoilé des informations sur une technologie permettant de faire traiter en parallèle d’importantes quantités de données par différents clusters d’ordinateurs. C’est Yahoo qui a tout d’abord soutenu le développeur dans ce projet. En 2008, Hadoop est devenu le projet prioritaire de l’Apache Software Foundation, pour atteindre par la suite le statut 1.0.0.
À côté du lancement officiel de l’Apache Software Foundation, différentes variantes de ce framework logiciel sont disponibles. Chez Cloudera par exemple, il existe une assistance Hadoop nommée « enterprise ready », également en open source. Des produits similaires sont également disponibles chez Hortonworks et Teradata. En ce qui concerne Microsoft, le service Azure, basé sur le Cloud, a été intégré dans Hadoop. Quant à IBM, c’est InfoSphere BigInsights qui se base sur le projet d’Apache.
Lorsque l’on évoque Hadoop, c’est généralement de l’ensemble de l’écosystème du logiciel dont il est question. En plus des composants du noyau, (le Core Hadoop), il existe de nombreuses extensions aux dénominations originales, comme Pig, Chukwa, Oozie ou encore ZooKeeper, qui permettent au framework de travailler des quantités très importantes de données. Ces projets, élaborés les uns à partir des autres, sont soutenus par l’Apache Software Foundation.
Le noyau, ou Core Hadoop, constitue la base fondamentale de l’écosystème de Hadoop. Les éléments qui le composent sont présents dans la version 1 du module de base Hadoop Common, du Hadoop Distributed File System (HDFS) et du MapReduce Engine. À partir de la version 2.3, le système de gestion en clusters YARN (également appelé MapReduce 2.0) le remplace. Ceci exclut l’algorithme MapReduce du système de gestion, qui fonctionne systématiquement à partir de YARN.
Le module Hadoop Common dispose donc d’une palette de fonctions de base très vaste. Les données d’archives Java (JAR) en font partie, et sont nécessaires pour démarrer Hadoop. Des bibliothèques pour la sérialisation des données tout comme le module Hadoop Common des codes sources sont disponibles pour la documentation du projet et des sous-projets.
HDFS est un système de fichiers particulièrement disponibles, qui vise à stocker d’importantes quantités de données dans un cluster d’ordinateurs et qui est responsable de la maintenance des données. Les fichiers sont composés de blocs de données et sans schéma de classification, et partagés de manière redondante sur différents nœuds. Par conséquent, HDFS est capable de traiter plusieurs millions de données. La longueur des blocs de données, tout comme leur degré de redondance sont configurables.
Le cluster Hadoop fonctionne sur le principe master / slave (maître / esclave). L’architecture du framework est composée de nœuds maîtres, auquel sont subordonnés de nombreux nœuds esclaves. Ce principe se reflète dans la construction de HDFS, qui est basé sur un NameNode et divers DataNodes subordonnés. Le NameNode gère plusieurs métadonnées du système de fichiers, de la structure des répertoires et des DataNodes subordonnés. Pour minimiser la perte de données, les fichiers sont découpés en différents blocs et stockés sur différents nœuds. La configuration standard soit disponible trois fois à chaque exécution.
Chaque DataNode envoie régulièrement un signe de vie au NameNode, on appelle cela le heartbeat (battement de cœur). Si ce signal ne se manifeste pas, le NameNode décrète l’esclave comme étant « mort » et veille à l’aide des copies de fichiers et des autres nœuds qu’il y ait suffisamment de blocs de données dans le cluster qui soient disponibles. Ainsi, le NameNode joue un rôle essentiel dans le framework. Pour ne pas que celui-ci arrive au stade de « Single Point of Failure », il est d’usage de mettre un SecondaryNameNode à disposition du nœud maître. Cela permet que les différentes modifications apportées aux métadonnées soient stockées et que l’instance de contrôle central puisse être récupérée.
Pour le passage de Hadoop 1 à Hadoop 2, HDFS a été étendu à différents systèmes de sauvegarde : NameNode HA (High Availability) qui complète le programme avec un système en cas de panne NameMode, afin que des composants de remplacement soient utilisés automatiquement. Une fonction de copie Snapshot permet de plus que le système soit restauré au statut précédent. L’extension Federation permet également que divers NameNodes puissent opérer au sein d’un même cluster.
Un autre composant de base du Core Hadoop est l’agorithme de Google MapReduce, qui est implémenté dans la version 1 du framework. Le devoir principal du MapReduce Engine consiste à gérer les ressources et à guider le processus de calcul (Job scheduling / monitoring). Le travail des données repose sur les phases « map » et « reduce », qui permettent aux fichiers d’être travaillés directement où ils sont stockés (data locality). Cela accélère le temps de calcul et minimise la consommation excessive de la bande passante du réseau. Dans le cadre de la phase du MAP, des processus de calculs complexes (jobs) sont divisés en unités et partagés par le JobTracker sur le nœud maître sur différents systèmes esclaves du cluster. Les TaskTracker veillent par la suite à ce que les divers processus partiels soient traités de manière parallèle. Au cours de la Reduce Phase qui s’ensuit, les résultats intermédiaires du MapReduce Engine sont collectés et délivrent un résultat global.
Tandis que le noeud maître est abrité en régle générale par les composants NameNode et JobTracker, un DataNode et un TaskTracker travaillent sur chaque esclave subordonné. Le graphique suivant expose la strucure de base de Hadoop en fonction de la version 1, partagé en MapReduce Layer et HDFS Layer.
Avec la sortie de la version 2.3 de Hadoop, le MapReduce-Engine a été retravaillé. Le résultat a donné la méthode de gestion des clusters YARN/MapReduce 2.0, dont le management des ressources et la gestion des tâches (Job Scheduling/Monitoring) de MapReduce ont été couplés. Ainsi, le framework offre de nombreuses possibilités en matière de nouveaux modèles de travail et une large palette d’applications Hadoop pour le Big Data.
Avec l’introduction du module YARN (« Yet Another Resource Negotiator ») à partir de la version 2.3, l’architecture de Hadoop a été fortement modifiée. C’est pourquoi on évoque un passage de Hadoop 1 à Hadoop 2. Tandis que les utilisateurs de Hadoop 1 ont eu à disposition uniquement MapReduce en tant qu’application, le couplage au gestionnaire des ressources et des tâches du modèle de manipulation de données a permis d’intégrer de nombreuses applications pour le Big Data dans le framework. Sous Hadoop 2, MapReduce n’est qu’une des multiples possibilités de traitement des données possibles du framework. YARN adopte le rôle d’un système opérationnel réparti pour la gestion de ressources pour les applications Hadoop Big Data.
Les modifications de base à l’architecture de Hadoop concernent avant tout les deux trackers du MapReduce-Engine, qui n’existent plus en tant que composants uniques dans la version 2 de Hadoop. À la place, le module YARN possède trois nouvelles entités : le ResourceManager, le NodeManager et l’ApplicationMaster.
Voici un schéma présentant la structure de Hadoop 2 :
Si une application Big Data est exécutée sur Hadoop, trois acteurs sont impliqués :
Dans la première étape, le client du ResourceManager a pour tâche de démarrer l’application Big Data dans le cluster Hadoop. Celui-ci alloue par la suite un container. En d’autres termes : le ResourceManager réserve les ressources du cluster pour l’application et contacte le NodeManager. Le NodeManager en question démarre le container et exécute l’ApplicationMaster, qui est responsable de l’exécution de l’application et de sa surveillance.
En plus des éléments de base, l’écosystème Hadoop comprend de nombreuses extensions qui le complètent et qui apportent beaucoup au logiciel framework en matière de fonctionnalités et de flexibilité. De par le code source ouvert et les nombreuses interfaces, les composants supplémentaires peuvent être intégrés à l’envi aux fonctionnalités de base.
La liste suivante dévoile une sélection des projets les plus populaires dans l’écosystème Hadoop :
Comme les clusters Hadoop se construisent sur la base de grandes quantités de données à l’aide d’ordinateurs standards, le framework Hadoop destiné au Big Data est particulièrement apprécié par les grandes entreprises. Les plus grands noms utilisent Hadoop : on compte par exemple Adobe, AOL, eBay, Facebook, Google, IBM, LinkedIn et Twitter. En plus de permettre de stocker facilement des données sur des structures décentralisées et de les travailler en parallèle, le logiciel en open source Hadoop se démarque par sa stabilité, les multiples possibilités d’extensions et le large spectre de fonctionnalités.
Le meilleur moyen de sauvegarder les données importantes de vos projets en ligne et d’éviter la perte éventuelle de vos données est de procéder à la sauvegarde de votre serveur. À cette fin, les environnements de serveur mettent en œuvre une stratégie de sauvegarde sophistiquée, englobant tous les terminaux connectés. Pour y parvenir, il vous faut utiliser des programmes de sauvegarde fiables....
L’archivage et la compression des fichiers contribuent beaucoup à la sécurité et à la stabilité du système. Pour Linux et les autres systèmes de type Unix, il existe de nombreux programmes gratuits que vous pouvez utiliser pour créer des fichiers d’archives ou pour compresser et décompresser depuis la ligne de commande. Le programme d’archivage tar est encore une référence sous Linux. Cet outil...
Le serveur http Apache est une référence parmi les serveurs Web servant à la mise à disposition de documents HTTP sur le Web. Mais il est aussi possible de vérifier localement sur un PC Windows le bon fonctionnement et la configuration de votre serveur Web Apache ainsi que de vos scripts. Pour cela, tout ce dont vous avez besoin est une suite logicielle gratuite et quelques minutes.
Qu’est-ce que Solr ? En combinaison avec la bibliothèque Java Lucene, vous pouvez avec Solr créer de puissants moteurs de recherche Web. Solr indexe aussi vos documents. Nous analysons les principes de base du logiciel open source et ses fonctionnalités. Dans le tutoriel Solr, nous expliquons comment configurer le serveur de recherche. Enfin, dans quels cas Elasticsearch est une alternative...
Apache Kafka est un logiciel open source très apprécié par de nombreuses entreprises en raison de sa grande polyvalence. Ce logiciel, capable de centraliser et de traiter des données, se distingue par son excellente performance, son adaptabilité et sa tolérance aux erreurs, autant de propriétés qui font son succès pour de nombreux utilisateurs.
Offrez un service performant et fiable à vos clients avec l'hébergement web de IONOS.
