Qu'est-ce qu'Apache Hadoop ?

Hadoop trouve ses origines au début du World Wide Web. Alors que le Web comptait des millions, puis des milliards de pages, la recherche et l'affichage des résultats de recherche sont devenus l'un des défis les plus importants. Des start-up comme Google, Yahoo et AltaVista ont commencé à créer des frameworks pour automatiser les résultats de recherche. Un projet appelé Nutch a été conçu par les informaticiens Doug Cutting et Mike Cafarella, sur la base des premiers travaux de Google sur MapReduce (plus d'informations à ce sujet plus loin) et Google File System. Nutch a finalement été transféré vers la base logicielle Open Source Apache, avant d'être réparti entre Nutch et Hadoop. Yahoo!, où Cutting a débuté en 2006, a mis Hadoop en Open Source en 2008.

Bien que Hadoop soit parfois appelé l'acronyme de « High Availability Distributed Object Oriented Platform » (plate-forme orientée objets distribuée à haute disponibilité), il tire son nom du jouet éléphant du fils de Cutting.

Hadoop est un framework Open Source basé sur Java, qui gère le stockage et le traitement de grandes quantités de données pour les applications. Hadoop utilise un stockage distribué et un traitement parallèle pour gérer les tâches de big data et d'analyse. Il divise les charges de travail en charges de travail plus petites qui peuvent être exécutées en même temps.

Le framework Hadoop principal comprend quatre modules qui fonctionnent ensemble pour former l'écosystème Hadoop:

HDFS (Hadoop Distributed File System): composant principal de l'écosystème Hadoop, HDFS est un système de fichiers distribué dans lequel les nœuds Hadoop individuels opèrent sur des données stockées dans leur stockage local. Cela supprime la latence du réseau, en fournissant un accès à haut débit aux données d'application. De plus, les administrateurs n'ont pas besoin de définir des schémas à l'avance.

Yet Another Resource Negotiator (YARN): YARN est une plate-forme qui permet de gérer les ressources de calcul dans les clusters et de les utiliser pour planifier les applications des utilisateurs. Elle assure la planification et l'allocation des ressources sur le système Hadoop.

MapReduce: MapReduce est un modèle de programmation qui permet de traiter de grands volumes de données. Dans le modèle MapReduce, les sous-ensembles d'ensembles de données plus volumineux et les instructions de traitement sont distribués à plusieurs nœuds différents, où chaque sous-ensemble est traité par un nœud en parallèle avec d'autres tâches de traitement. Après le traitement des résultats, les sous-ensembles individuels sont combinés en un ensemble de données plus petit et plus facile à gérer.

Hadoop Common: Hadoop Common inclut les utilitaires et les bibliothèques utilisés et partagés par les autres modules Hadoop.

Outre HDFS, YARN et MapReduce, l'ensemble de l'écosystème Open Source de Hadoop ne cesse d'évoluer et inclut de nombreux outils et applications qui facilitent la collecte, le stockage, le traitement, l'analyse et la gestion du big data. On y trouve Apache Pig, Apache Hive, Apache HBase, Apache Spark, Presto et Apache Zeppelin.

Hadoop permet la distribution d'ensembles de données sur un cluster de matériel basique. Le traitement s'effectue en parallèle sur plusieurs serveurs simultanément.

Les clients logiciels saisissent des données dans Hadoop. HDFS gère les métadonnées et le système de fichiers distribué. MapReduce traite et convertit ensuite les données. Enfin, YARN répartit les tâches entre le cluster de calcul.

Tous les modules Hadoop sont conçus en partant du principe de base que les défaillances matérielles de machines individuelles ou de racks de machines sont courantes et qu'elles devraient être gérées automatiquement dans le logiciel par le framework.

En tant que système utilisant beaucoup de fichiers, MapReduce peut s'avérer un outil difficile à utiliser pour des tâches complexes, telles que des tâches analytiques interactives. Les fonctions MapReduce doivent également être écrites en Java et nécessiter une courbe d'apprentissage intensive. L'écosystème MapReduce est assez vaste, avec de nombreux composants pour différentes fonctions, ce qui peut compliquer le choix des outils à utiliser.

La sensibilité et la protection des données peuvent poser problème quand Hadoop gère des ensembles de données aussi volumineux. Un écosystème d'outils d'authentification, de chiffrement, d'audit et de provisionnement a vu le jour afin d'aider les développeurs à sécuriser les données dans Hadoop.

Hadoop ne dispose pas de nombreux outils robustes pour la gestion et la gouvernance des données, ni pour la qualité et la standardisation des données.

Comme de nombreux domaines de la programmation, Hadoop a un pénurie de talents reconnue. Il n'est pas toujours facile de trouver des développeurs disposant des compétences Java requises pour programmer MapReduce, les systèmes d'exploitation et le matériel. En outre, MapReduce nécessite une phase d'apprentissage abrupte, ce qui rend difficile l'apprentissage rapide des nouveaux programmeurs quant aux bonnes pratiques et à l'écosystème.

Le cabinet d'études IDC a estimé que 62,4 zettaoctets de données avaient été créés ou répliqués en 2020 grâce à l'Internet des objets, aux réseaux sociaux, à l'edge computing et aux données créées dans le cloud. L’entreprise a prévu que la croissance des données de 2020 à 2025 était attendue à 23 % par an. Si toutes ces données ne sont pas enregistrées (elles sont soit supprimées après consommation, soit écrasées), les besoins en données du monde ne cessent de croître.

Hadoop dispose d'un vaste écosystème d'outils Open Source permettant d'améliorer et d'étendre les capacités du module principal. Voici quelques-uns des principaux outils logiciels utilisés avec Hadoop :

Apache Hive: entrepôt de données qui permet aux programmeurs de travailler avec des données dans HDFS à l'aide d'un langage de requête appelé HiveQL, semblable à SQL.

Apache HBase: base de données non relationnelle distribuée Open Source, souvent associée à Hadoop

Apache Pig: outil utilisé comme couche d'abstraction sur MapReduce pour analyser de grands ensembles de données et activer des fonctions telles que filtrer, trier, charger et joindre

Apache Impala: moteur de requêtes SQL Open Source à traitement massivement parallèle, souvent utilisé avec Hadoop

Apache Sqoop: application d'interface de ligne de commande permettant de transférer efficacement des données groupées entre des bases de données relationnelles et Hadoop

Apache ZooKeeper: serveur Open Source qui assure une coordination distribuée de manière fiable dans Hadoop; un service permettant "de conserver les informations de configuration, d'attribuer des noms, d'assurer une synchronisation distribuée et de fournir des services de groupe"

Apache Oozie: planificateur de workflow pour les tâches Hadoop