BIG DATA : Traitement et exploitation de données

  • Vous vous lancez dans un projet Big Data.
  • Vous souhaitez approfondir les technologies et best practices liées à la gestion de la donnée plus particulièrement au traitement (Kafka, Spark) et à l’exploration (Hue, Oozie).
  • Comprendre les concepts avancés du Big Data.
  • Approfondissement des technologies et des best practices :
                          1) Traitement des données (Spark).
                          2) Exploitation des données (Hdbase).

Les formations Big Data sont présentées par un expert, via des supports de présentation et de travaux pratiques.

Exercices tout au long de la formation.

À QUI S’ADRESSE CETTE FORMATION ?

Public
Pré-requis
Compétences visées

MOE / Technique.

Afin d’assurer le bon déroulement des formations,
il est indispensable d’avoir des connaissances en développement.

Maitrise des technologies
Kafka et Spark.

PROGRAMME DÉTAILLÉ

OBJECTIF PÉDAGOGIQUE

THÈMES À ABORDER

JOUR 1

Spark
Utilisation et bonnes pratiques

  • Introduction
  • Architecture
  • Spark shell
  • RDD
  • Chargement des données
  • Dataframe
  • Dataset
  • Data locality
  • Persistance (cache)
  • Persistance distribuée
  • Spark context vs spark session

JOUR 2

Spark
Utilisation et bonnes pratiques

  • Spark vs Spark 2
  • Config ressources
  • Mode de déploiement
  • Transformations 1
  • Actions 1
  • Transformations 2
  • Actions 2
  • Sauvegarde des données
  • Optimisation des performances
  • Exécution des opérations en parallèle

JOUR 3

Spark
Utilisation et bonnes pratiques

  • SQL context
  • Spark SQL
  • Spark packages
  • Construction d’application spark
  • Config appli spark
  • Spark UI
  • Gestion des logs
  • Bonnes pratiques de développement

JOUR 4

Spark
Utilisation et bonnes pratiques

  • Bonnes pratiques de test
  • Keys knowledges check

HBASE
Utilisation et bonnes pratiques

  • Introduction
  • Region servers (Sharding)
  • Data model
  • Failover
  • Commandes de bases
  • Opérations (CRUD)
  • Block cache and Bloom Filters
  • Bonnes pratiques de développement
  • Bonnes pratiques de test
  • Keys knowledges check

Architecte de plus de 10 ans d’expérience, intervenant chez nos clients grands comptes.

CETTE FORMATION VOUS INTERESSE ?