Tarifs:A distance ou présentiel: 2396 euros
Durée : 5 jours
Public : Administrateurs systèmes/BDD, Chefs de projets, Développeurs
Pré-requis : Connaissance de Java
Objectifs : Comprendre le processus d'intégration de données - Maîtriser l'outil Talend Open Studio et la bibliothèque de composants
Référence : BUS305-F
PROGRAMME:
Introduction.
- Problématique d'intégration de données
- Intégration Opérationnelle et Décisionnelle
- Outils ETL (Extract Transform Load) disponibles
- Talend Open Studio : présentation, licences, lien avec Eclipse
- Support disponible : documentation, communauté, …
Atelier : Installation et présentation de l'environnement Talend Open Studio.
Découvrir l'interface.
- Les perspectives et les vues Talend
- Utilisation du Business Modeler
- Les jobs : grille, palette de composants
- Les flux principaux (main)
- La notion de schéma : types des colonnes
- Premiers composants : entrée, sortie, génération de flux
Atelier pratique : création et exécution d'un job simple, génération de contenu dans un fichier.
Les principaux composants de Talend.
- Composants d'entrée (tFileInput, tMysqlInput, …)
- Génération de contenu (tRowGenerator, tFixedFlowInput, ...)
- Sorties et affichage (tLogRow, tFileOutput, tMysqlOutput, …)
- Logique et chaînage des composants
- Suivi pas à pas des traces de l'exécution du job
- Gestion des rejets
- Transformations simples (filtre, tri, remplacement, jointure)
Atelier pratique : génération de contenu dans une base de données, extraction et traitement des données pour affichage en console.
Garantir la pérennité des jobs.
- Versions et statuts des jobs
- Les métadonnées : propriétés et schémas.
- La découverte de schéma pour les fichiers CSV
- Récupération des schémas de bases de données
- Mises à jour des jobs depuis les métadonnées
Atelier pratique : insérer les sources et cibles de données dans les métadonnées du référentiel.
Variables et contextes.
- Utiliser des variables dans un job (tSetGlobalVar)
- Mise en place d'un contexte local au job
- Groupes de contexte dans le référentiel
- Les métadonnées comme contextes
Atelier pratique : utiliser une variable dans un job, contextualiser les paramètres d'une métadonnées, créer un contexte de test, et de production.
Le mappage de données : tMap.
- Le composant ETL par excellence
- Gérer les entrées : flux principal, secondaires, nommage des flux
- Gérer les sorties : l'éditeur intégré de la tMap
- Filtrer les données : en entrée, sortie
- Sorties conjointes, capture des rejets de sortie, de jointure interne
- L'éditeur d'expression
- Les performances
Atelier pratique : extraction multi-sources, multi-destinations avec une tMap, sur un exemple complet.
Orchestration des jobs, gestion d'erreurs.
- Exécutions parallèles de sous-jobs
- Déclencheurs Talend (triggers)
- Enchaînement de sous-jobs et de composants (OnSubjobOK, OnComponentOK)
- Gestion des erreurs de composants, sous-job (OnComponentError, OnSubjobError)
- Composant de départ, et de fin (tPreJob, tPostJob)
- Attraper et lever des erreurs : tWarn, tDie, tLogCatcher
Atelier pratique : assembler plusieurs jobs en un seul, factoriser la gestion d'erreurs pour générer un fichier de compte-rendu.
Les flux de programmation : liens iterate.
- Différencier les flux principaux des flux iterate
- Boucles et programmation via tLoop, tForeach
- Passer d'un flux principal à un flux iterate, et l'inverse (tFlowToIterate, tIterateToFlow)
- Synchronisation de jobs avec les tWaitForFile, tWaitForSocket, tWaitForSQL
Atelier pratique : paralléliser des sous-jobs, synchroniser les jobs avec un événement externe.
Utilisation avancée.
- Utilisation de composants évolués : Java ou expressions régulières
- La spécificité des flux XML dans Talend
- Réutilisation du code : les routines
Atelier : Utilisation des composants tJavaRow, tJavaFlex, utilisation de l'éditeur Java embarqué, déploiement d'une routine personnalisée.
Déboguage dans Talend.
- Rappels sur le débogage de traces
- Utilisation du mode Debug Java : perspective Debug, mode pas à pas
- Visualisation et modification à chaud des variables
Atelier : Debuggage basique/avancé de tâches.
Déploiement et industrialisation.
- Rappel sur les contextes
- Export des jobs pour exécution sur un serveur
- Passage de contexte entre jobs, à l'exécution
- Utilisation d'un fichier pour charger le contexte (tContextLoad)
Atelier : Déploiement de tâches et chargement dynamique du contexte.
Utilisation avancée.
- Utilisation de composants évolués : Java ou expressions régulières
- Création de logs spécifiques
- Gestion des flux XML
- Réutilisation du code
Atelier : Utilisation des composants tJavaRow, tJavaFlex - création de logs avec tCatch, tDie ... - utilisation de l'éditeur Java embarqué.
Les composants Talend.
- Concepts essentiels pour étendre Talend Open Studio
- Création de la maquette du composant avec tJavaFlex / interface graphique
- Découvrir la forge Talend et ses composants communautaires
- Intégration dans Talend Open Studio des plugins créés ou téléchargés
Atelier : Création d'un composant simple via tJavaFlex, intégration de composants de la forge Talend.
