OSBI.FR - Open Source Business Intelligence

Injection de métadonnées avec PDI

L’injection de métadonnées, c’est quoi ?

C’est tout simplement la possibilité offerte par PDI de renseigner dynamiquement la configuration de vos étapes, donc potentiellement d’adapter vos traitements kettle aux différents contextes d’exécution.

Ce mécanisme fonctionne depuis assez longtemps dans Kettle (voir mon article en 2013), désormais une multitude d’étapes (plus de 80) implémentent l’injection de métadonnées…

Pour repérer une étape qui dispose de cette fonctionnalité, il suffit tout simplement de vérifier la présence d’une petite seringue sur l’étape au survol de celle-ci :

Comment ça marche ?

Pour comprendre l’intérêt de l’injection de métadonnées, le mieux est d’en voir le principe au travers d’un exemple concret. Il en existe un très sympa et détaillé sur le site d’Hitachi Vantara, dans la rubrique ETL Metadata Injection.

Seul problème, il n’y a pas les sources, il faut donc suivre la procédure de A à Z pour traiter l’exemple en entier. Et en plus si vous suivez bêtement cette procédure ça ne fonctionnera pas, car les fichiers excel à intégrer (« data_format_[a&b].xls ») sont au format américain en ce qui concerne les dates et les numériques.

Le but de cet article est de vous proposer le téléchargement d’un package prêt à l’emploi !

L’exemple en question ressemble fort à un cas client, venu tout droit de chez TatvaSoft.  L’objet du traitement est finalement assez simple : intégrer des fichiers issus de plusieurs fournisseurs et qui ont des structures de données différentes :

Télécharger et tester le traitement

Vous pouvez télécharger les sources de l’exemple ici : Pentaho_Metadata_Injection_Example

Ensuite il vous suffit de dézipper l’archive, un répertoire est créé avec tous ses sous-dossiers. Il s’agit de celui décrit sur le site de pentaho :

Enfin pour obtenir le résultat – un fichier généré dans le répertoire « out » – rien de plus simple, vous n’avez plus qu’à ouvrir la transformation « process_all_supliers.ktr » et lancer l’exécution de celle-ci dans Spoon.

A bientôt 😉

Soyez le premier à commenter

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée.


*