Big Data

Mettre en oeuvre un projet Big Data pour tirer le meilleur parti des données

  • Filière :

    Gestion de données

  • Sous-filière :

    NoSql & Big Data

  • Référence

    DB-BIG

  • Durée

    2 jours (14 h)

  • Prix unitaire HT

    1 850 € HT

Description

Les “Big Data”, aussi appelées mégadonnées, désignent des ensembles volumineux de données, venant de sources et de formats différents, et qui doivent être analysées en temps réel pour pouvoir fournir des éléments cruciaux de décisions ou encore offrir la meilleure expérience à vos utilisateurs. Les outils conventionnels de gestion de bases de données et d’analyse ne permettent plus de suivre ces trois propriétés de volume, de variété et de vélocité. A l’issue de cette formation, vous connaîtrez les enjeux du Big Data, et vous saurez choisir les bon outils, autant en termes de bases NoSQL, d’algorithmes MapReduce, de stockage ou d’analyse pour réaliser vos projets Big Data.

Objectifs pédagogiques

  • Comprendre les concepts du BigData et savoir quelles sont les technologies implémentées

Public cible

  • architectes
  • chefs-de-projets

Pré-requis

Savoir manipuler un tableur et connaître le fonctionnement d’un système de gestion de base de données

Programme de la formation

Introduction au Big Data

  • Le besoin : volumes importants de données, traitements optimisés de flux de données au fil de l’eau, liés aux nouvelles technologies et aux nouveaux usages
  • Domaines concernés : recherche scientifique, médical, e-commerce, sécurité, …
  • Développement des techniques sur différents aspects : stockage, indexation/recherche, calcul
  • Définition ETL : Extract Transform Load
  • Les acteurs

Stockage

  • Caractéristiques NoSQL :
  • Structure de données proches des utilisateurs, développeurs
  • Données structurées et non structurées, documents, images, fichiers XML, JSON, CSV, …
  • Les différents modes et formats de stockage
  • Stockage réparti : réplication, sharping, gossip protocl, hachage
  • Systèmes de fichiers distribués : GFS, HDFS, HBase, BigTable, ..
  • Les bases de données
  • Quelques exemples de produits et leurs caractéristiques : cassandra, MongoDB, CouchDB,DynamoDB,Riak,Hadoop

Indexation et recherche

  • Moteurs de recherche
  • Principe de fonctionnement
  • Méthodes d’indexation
  • Exemple de Lucene, et mise en oeuvre avec solr
  • Recherche dans les bases de volumes importants
  • Exemples de produits et comparaison : dremel, drill, elasticsearch, MapReduce

Calcul et restitution, intégration

  • Différentes solutions : calculs en mode batch, ou en temps réel, sur des flux de données ou des données statiques
  • Les produits : langage de calculs statistiques, R Statistics Language
  • Outils de calcul sur des volumes importants : storm en temps réel, hadoop en mode batch
  • Zoom sur Hadoop : complémentarité de HDFS et MapReduce

Evolutions

  • Les offres Saas BigData comme Google BigQuery
  • Les limites. Les nouveautés annoncées

Qualité

Cette formation est accessible aux personnes en situation de handicap, nous contacter en cas de besoin d’informations complémentaires.

Programme mis à jour le