BIG DATA : Technique avancée et architecture

  • durée :
    4 jours
  • niveau :
    avancé
  • lieu :
    La Défense / À distance
  • coût :
    2600€ HT

BIG DATA : Technique avancée et architecture

  • Vous vous lancez dans un projet Big Data.
  • Vous souhaitez connaître les architectures Big Data, les technologies et les best practices liées à la gestion de la donnée et plus particulièrement au traitement de Kafka et de Spark streaming.
  • LES OBJECTIFS DE LA FORMATION
  • Comprendre les concepts avancés du Big Data.
  • Approfondir les connaissances sur les technologies et les best practices.
  • Maîtriser le traitement des données (Kafka, Spark streaming).                    
  • MOYENS PÉDAGOGIQUES

Les formations Big Data sont présentées par un expert, via des supports de présentation et de travaux pratiques.

  • MODALITES D’ÉVALUATION

Exercices tout au long de la formation.

À QUI S’ADRESSE CETTE FORMATION ?

Public
Pré-requis
Compétences visées

MOE / Technique.

Afin d’assurer le bon déroulement des formations,
il est indispensable d’avoir des connaissances en développement.

Maitrise les différentes architectures
en Big Data et les technologies
Kafka et Spark streaming.

PROGRAMME DÉTAILLÉ

OBJECTIF PÉDAGOGIQUE

THÈMES À ABORDER

JOUR 1

Kafka
Utilisation et bonnes pratiques

  • Introduction à Kafka
  • Kafka vs RabbitMQ
  • Architecture
  • Event time processing
  • Composants
  • Rétention
  • Opération de base (shell)
  • Consumer / producer
  • Sérialisation, Partitionnement (méthodes)
  • Réplications (ISR : in sink replicat), ConsumerGroup
  • Schéma Registry, Exactly Once, Connect

JOUR 2

Kafka
Utilisation et bonnes pratiques

  • KSQL
  • Bonnes pratiques et points de vigilance
  • Key Knowledges Check

Spark Streaming
Utilisation et bonnes pratiques

  • Introduction
  • Architecture
  • Batchs / Microbatchs
  • Receivers
  • Streaming Context
  • DStreams & InputDStream
  • Dstream Operations

JOUR 3

Spark Streaming
Utilisation et bonnes pratiques

  • OutPut Dstream
  • Interaction avec SparkSQL
  • Interaction intra Streams
  • Windowing
  • Caching / Persistance
  • Accumulator & Broadcast
  • Checkpoints

JOUR 4

Spark Streaming
Utilisation et bonnes pratiques

  • Construction d’une application Spark Streaming
  • Bonnes pratiques de développement
  • Bonnes pratiques de test
  • Keys knowledges test

Architecture
Utilisation et bonnes pratiques

  • Introduction aux architectures temps réels
  • Architecture LAMBDA
  • Architecture KAPPA
  • Architecture SMACK
  • Sélection d’architecture selon use case
  • Reprise sur erreur et gestion du passage à l‘échelle
  • Bonne pratiques et points de vigilance.
  • Keys knowledges test
  • LE FORMATEUR

Architecte de plus de 10 ans d’expérience, intervenant chez nos clients grands comptes.

CETTE FORMATION VOUS INTERESSE ?

Contactez-nous !