Big Data supervision : Grafana Kibana Graphite Prometheus — Connaître les outils de supervision d’une infrastructure Big Data
Prochaines sessions (Boulogne-Billancourt / Paris / classe virtuelle)
Programme
Supervision : définitions
- Les objectifs de la supervision, les techniques disponibles
- La supervision d’une ferme Big Data
- Objets supervisés
- Les services et ressources
- Protocoles d’accès
- Exporteurs distribués de données
- Définition des ressources à surveiller
- Journaux et métriques
- Application aux fermes Big Data : Hadoop, Cassandra, HBase, MongoDB
Mise en œuvre
- Besoin de base de données avec agents distribués, de stockage temporel (timeseriesDB)
- Produits : Prometheus, Graphite, ElasticSearch
- Présentation, architectures
- Les sur-couches : Kibana, Grafana
JMX
- Principe des accès JMX
- MBeans
- Visualisation avec jconsole et jmxterm
- Suivi des performances Cassandra : débit d’entrées/sorties, charges, volumes de données, tables, …
Prometheus
- Installation et configuration de base
- Définition des ressources supervisées, des intervalles de collecte
- Démarrage du serveur Prometheus
- Premiers pas dans la console web, et l’interface graphique
- Exporteur JMX
- Exporteur mongodb
- Démonstration avec Cassandra ou Hadoop/HBase
- Configuration des agents sur les nœuds de calculs
- Agrégation des données JMX
- Expressions régulières
- Requêtage
- Visualisation des données
Graphite
- Modèle de données et mesures
- Format des données stockées, notion de timestamp
- Types de mesures : compteurs, jauges, histogrammes, résumés
- Identification des ressources supervisées : notions d’instances, de jobs
- Démonstration avec Cassandra
- Comparaison avec Prometheus
Exploration et visualisation des données
- Mise en œuvre de Grafana
- Installation, configuration
- Pose de filtres sur Prometheus et remontée des données
- Etude des différents types de graphiques disponibles, agrégation de données
- Appairage des données entre Prométheus et Grafana
- Visualisation et sauvegarde de graphiques, création de tableaux de bord et rapports à partir des graphiques
Kibana, installation et configuration
- Installation, configuration du mapping avec Elasticsearch
- Injection des données avec Logstash et Metribeat
- Architectures, paramétrages
- Mapping automatique ou manuel
- Configuration des indexes à explorer
Profils des intervenants
Toutes nos formations sont animées par des consultants-formateurs expérimentés et reconnus par leurs pairs.
Modalités d'évaluation
Evaluation des acquis de la formation par le biais de cas pratiques et/ou mises en situation.
Attestation de formation remise à chaque participant.
Attestation de formation remise à chaque participant.
Démarche qualité
Questionnaire d’évaluation de satisfaction à chaud complété par chaque participant à l’issue de la formation.
Moyens pédagogiques
Salle équipée de PC (1 poste par stagiaire), vidéo-projecteur.
Espace de pause.
Espace de pause.
Dernière mise à jour le 14/12/2021