Big Data supervision : Grafana Kibana Graphite Prometheus

Supervision : définitions

• Les objectifs de la supervision, les techniques disponibles
• La supervision d’une ferme Big Data
• Objets supervisés
• Les services et ressources
• Protocoles d’accès
• Exporteurs distribués de données
• Définition des ressources à surveiller
• Journaux et métriques
• Application aux fermes Big Data : Hadoop, Cassandra, HBase, MongoDB

Mise en œuvre

• Besoin de base de données avec agents distribués, de stockage temporel (timeseriesDB)
• Produits : Prometheus, Graphite, ElasticSearch
• Présentation, architectures
• Les sur-couches : Kibana, Grafana

JMX

• Principe des accès JMX
• MBeans
• Visualisation avec jconsole et jmxterm
• Suivi des performances Cassandra : débit d’entrées/sorties, charges, volumes de données, tables, …

Prometheus

• Installation et configuration de base
• Définition des ressources supervisées, des intervalles de collecte
• Démarrage du serveur Prometheus
• Premiers pas dans la console web, et l’interface graphique
• Exporteur JMX
• Exporteur mongodb
• Démonstration avec Cassandra ou Hadoop/HBase
• Configuration des agents sur les nœuds de calculs
• Agrégation des données JMX
• Expressions régulières
• Requêtage
• Visualisation des données

Graphite

• Modèle de données et mesures
• Format des données stockées, notion de timestamp
• Types de mesures : compteurs, jauges, histogrammes, résumés
• Identification des ressources supervisées : notions d’instances, de jobs
• Démonstration avec Cassandra
• Comparaison avec Prometheus

Exploration et visualisation des données

• Mise en œuvre de Grafana
• Installation, configuration
• Pose de filtres sur Prometheus et remontée des données
• Etude des différents types de graphiques disponibles, agrégation de données
• Appairage des données entre Prométheus et Grafana
• Visualisation et sauvegarde de graphiques, création de tableaux de bord et rapports à partir des graphiques

Kibana, installation et configuration

• Installation, configuration du mapping avec Elasticsearch
• Injection des données avec Logstash et Metribeat
• Architectures, paramétrages
• Mapping automatique ou manuel
• Configuration des indexes à explorer