Hadoop : stockage avec HBase

Introduction

• Rappels rapides sur l’ecosystème Hadoop
• Les fonctionnalités du framework Hadoop
• Le projet et les modules : Hadoop Common, HDFS, YARN, Spark, MapReduce
• Présentation HBase
• Historique
• Lien avec HDFS
• Format des données dans HBase
• Définitions : table, région, ligne, famille de colonnes, cellules, espace de nommage, …
• Fonctionnalités : failover automatique, sharding, requêtage

Architecture

• HBase master node, Region Master, liens avec les clients HBase
• Haute disponibilité
• Consistance des données
• Présentation du rôle de Zookeeper

Installation

• Choix des packages
• Installation en mode distribué
• Mise en oeuvre avec HDFS dans un environnement distribué
• Test de connexion avec hbase shell
• Travaux pratiques : Interrogations depuis le serveur http intégré

HBase utilisation : shell

• Présentation des différentes interfaces disponibles
• Travaux pratiques avec hbase shell
• Commandes de base, syntaxe, variables, manipulation des données : create, list, put, scan, get
• Manipulation des tables : disable (enable), drop, …
• Programmation de scripts
• Gestion des tables : principe des filtres
• Mise en œuvre de filtres de recherche, paramètres des tables
• Présentation des espaces de nommage

Cluster HBase

• Fonctionnement en mode distribué
• Fonctionnement indépendant des démons (HMaster, HRegionServer, Zookeeper)
• Gestion de la consistance
• Mise en évidence
• Outils d’exploitation : hbck, hfile, …
• Travaux pratiques : mise en oeuvre des splits sur un exemple de tables réparties. regionsplitter

Performances

• Travaux pratiques avec hbase pe et hbase ltt
• Mesures : mise en place de prométheus

Programmation

• Introduction, les APIs (REST, Avro, Thrift, Java, Ruby, Spark…)
• En exploitation : principe des accès JMX
• Supervision automatisée
• Démonstration avec Prométheus
• Requêtage : exemple de programmation d’un client Java
• Gestion des tables
• Travaux pratiques : requêtage avec Spark