Bienvenue sur votre wiki » Les prochaines rencontres au Tours JUG » Apache Beam par Alexandre Touret

Apache Beam par Alexandre Touret

Modifié par Francois Robert le 2019/09/05 16:01

Unifiez vos traitements Batch et Streaming avec Apache Beam

Date et lieu

  • Quand :  Mercredi 18 septembre 2019 à 19h30
  • Ou : MAME

Inscrivez vous !

Détails

Pour cette première soirée, nous accueillons Alexandre Touret de retour de sa triomphale tournée sur les traces du framework Apache Beam emoticon_smile .

Il était une fois, dans le vaste monde du Big Data, plusieurs frameworks et environnements d'exécution. On les utilisaient pour concevoir, coder et exécuter des tâches ETL, streaming et batch.
Il était très compliqué pour les développeurs et les architectes de choisir la bonne solution correspondant à chaque cas d'utilisation. Elle devait être évolutive et pouvoir s'adapter efficacement à la production.
Il y avait Apache SPARK SQL, Apache Flink pour le streaming en temps réel, Hadoop Map reduce pour les utilisations en batch, etc.
C'était donc très compliqué et un peu éprouvant de choisir et de déployer en production le bon outil pour chaque use case.
Pour aider les concepteurs, développeurs et architectes Google a créé Dataflow et a donné son SDK à l'Apache Software Foundation en 2016.

Apache Beam était né.

Vous aurez compris en lisant ce "conte de fées" que je ferai une présentation du FRAMEWORK Apache Beam. Tout d'abord, je présenterai ses fonctionnalités principales et ses atouts, que ça soit dans l'API ou dans le choix de l'environnement d'exécution.
Ensuite, je présenterai les différentes notions. J'aborderai les pipelines et les transformations avec des exemples.
J'illustrerai ces notions avec une démonstration en live.
Enfin, je ferai un retour d'expérience ou je présenterai les avantages et inconvénients.


Buffet
L'occasion de terminer la soirée par un moment de convivialité autour d'un buffet offert par Apside

Vous pourrez télécharger l'affiche de la soirée pour l'afficher dans vos espaces et la diffuser emoticon_wink

Tags:
Créé par Francois Robert le 2019/08/28 23:10

This wiki is licensed under a Creative Commons 2.0 license
XWiki Enterprise 3.1.1 - Documentation