Vous souhaitez approfondir les technologies et best practices liées à la gestion de la donnée plus particulièrement au traitement (Kafka, Spark) et à l’exploration (Hue, Oozie).
LES OBJECTIFS DE LA FORMATION
Comprendre les concepts avancés du Big Data.
Approfondissement des technologies et des best practices : 1) Traitement des données (Spark). 2) Exploitation des données (Hdbase).
MOYENS PÉDAGOGIQUES
Les formations Big Data sont présentées par un expert, via des supports de présentation et de travaux pratiques.
MODALITES D’ÉVALUATION
Exercices tout au long de la formation.
À QUI S’ADRESSE CETTE FORMATION ?
Public
Pré-requis
Compétences visées
MOE / Technique.
Afin d’assurer le bon déroulement des formations, il est indispensable d’avoir des connaissances en développement.
Maitrise des technologies Kafka et Spark.
PROGRAMME DÉTAILLÉ
OBJECTIF PÉDAGOGIQUE
THÈMES À ABORDER
JOUR 1
Spark Utilisation et bonnes pratiques
Introduction
Architecture
Spark shell
RDD
Chargement des données
Dataframe
Dataset
Data locality
Persistance (cache)
Persistance distribuée
Spark context vs spark session
JOUR 2
Spark Utilisation et bonnes pratiques
Spark vs Spark 2
Config ressources
Mode de déploiement
Transformations 1
Actions 1
Transformations 2
Actions 2
Sauvegarde des données
Optimisation des performances
Exécution des opérations en parallèle
JOUR 3
Spark Utilisation et bonnes pratiques
SQL context
Spark SQL
Spark packages
Construction d’application spark
Config appli spark
Spark UI
Gestion des logs
Bonnes pratiques de développement
JOUR 4
Spark Utilisation et bonnes pratiques
Bonnes pratiques de test
Keys knowledges check
HBASE Utilisation et bonnes pratiques
Introduction
Region servers (Sharding)
Data model
Failover
Commandes de bases
Opérations (CRUD)
Block cache and Bloom Filters
Bonnes pratiques de développement
Bonnes pratiques de test
Keys knowledges check
LE FORMATEUR
Architecte de plus de 10 ans d’expérience, intervenant chez nos clients grands comptes.