Rencontre(S) de la communauté Pentaho

Chers amis de la communauté Pentaho, notez bien dans vos tablettes 2 évènements de taille qui vont se tenir à la rentrée !

Pentaho Community Meetup 2015 (#PCM15)

Comme chaque année, l’ensemble de la communauté Pentaho se réunit dans une grande ville Européenne.

Après Anvers en 2014, c’est au tour de Londres d’accueillir le 7 Novembre 2015 le PCM

Vous trouverez toutes les indications pour vous inscrire sur cette page GitHub :

https://github.com/PentahoCommunityMeetup2015/info

pcm-2015-logo

La liste des présentations s’accroît à vue d’œil et donne déjà l’eau à la bouche… :

  • Présentation de Pentaho 6 (et de tous ses secrets…) par Pedro Alves (WebDetails)
  • CTools : Responsive Design et utilisation dans une application web (hors pentaho server)
  • Impacts du rachat de Pentaho par Hitachi sur la communauté Pentaho
  • Monitoring & Audit du BA Server
  • Requêtes MDX dans un monde BigData avec Mondrian et Kylin

Note: pour participer à cet évènement, un bon niveau d’anglais est nécessaire (présentations dans la langue de Shakespeare)

2ème Rencontre de la Communauté Pentaho France

Fort du succès de la 1ère édition en Décembre 2013, je peux d’ores et déjà vous indiquer que Atol Conseils & Développements organisera une seconde édition à Paris durant la première quinzaine d’Octobre 2015.

Donc pile un mois avant le PCM 2015 de Londres !

PCMF2015-light

Tout comme la première édition, cet évènement sera constitué de présentations et de retours d’expériences sur l’ensemble des modules de Pentaho: ETL Kettle, Reporting, CTools, Mondrian, Saiku, et tout autre développement réalisé autour de Pentaho (plugins, intégration dans des applications tierces, BigData, DataViz, GeoBI…).

J’invite donc ici toute personne qui souhaite effectuer une présentation à renseigner ce formulaire :

Proposition de présentation pour la Rencontre Communauté Pentaho France (Octobre 2015)

Soyez nombreux !

Très bel été à tous 😉

Pilotez vos jobs Kettle depuis un serveur Pentaho avec SPARKL

Le Use Case

Imaginons que vous ayez développé pour vos utilisateurs un job Kettle chargé d’effectuer une tâche précise : par exemple intégrer des données dans une base, ou bien encore effectuer des exports au format CSV, XML, Excel, …

Comme vous êtes consciencieux, vous avez planifié quotidiennement ce job PDI avec kitchen et ma foi tout cela fonctionne plutôt bien…

Dans un premier temps, vos utilisateurs sont contents, mais assez vite ils vont vous poser cette question : « Hey, comment on peut lancer nous-mêmes le traitement ? »

Et là ça se complique, car en général il faut accéder au serveur où PDI est installé, puis lancer le job en ligne de commande. Si c’est un serveur Linux, je vous explique même pas la galère (fournir un accès SSH à des business users ?!…)

oldgeek

Bref, le mieux ça serait tout de même de pouvoir invoquer le job depuis une interface web, n’est-ce pas ?

Une première méthode serait d’utiliser le Web Listener « Carte » fourni de base avec Kettle

=> voir mon article « Invoquer ses traitements Kettle depuis un navigateur web »

Mais la meilleure méthode, c’est sans doute de créer une application Sparkl sur un serveur Pentaho 5.

SPARKL : Quésako ?

Sparkl est un plugin Pentaho qui va vous permettre… de créer vos propres plugins Pentaho !sparkl_factory

Sparkl est en effet un plugin de construction d’applications Pentaho, qui se situe à la croisée des 2 composants essentiels de la plate-forme que sont :

  • l’ETL Pentaho Data Integration (PDI)

Avant l’arrivée de Sparkl, la construction d’un plugin Pentaho nécessitait de bonnes connaissances en développement (JAVA & architecture Pentaho) et était donc un facteur limitant en terme de public capable de rajouter des fonctionnalités à la plate-forme.

Avec Sparkl, des personnes qui maîtrisent Kettle et les CTools peuvent créer par eux-même leurs propres plugins, sans aucune compilation de code ni connaissance en Java. Génial non ?

En effet, comme toute application web, Sparkl fournit un front-end (User Interface) basé sur les CTools et un back-end basé sur PDI (à considérer dans ce contexte comme un langage de programmation)

Pour plus de détails sur le fonctionnement de Sparkl, vous pouvez consulter cet article de Pedro Alves :

« Sparkl – A Pentaho Application Builder »

Exemple de création d’un plugin avec Sparkl

Je vais illustrer la création d’un plugin Sparkl avec un exemple très simple : présenter une interface de sélection à un utilisateur, lui permettre de choisir un client dans une liste déroulante, puis générer et envoyer par mail un export des ventes au format Excel.

Regardez plutôt ce que ça donne avec ce plugin « JobLauncher » créé avec Sparkl :

Voici les étapes ayant permis la création du plugin « JobLauncher » avec Sparkl :

  • Création et configuration du plugin
  • Création de l’UI : dashboard CDE « LauncherScreen »
  • Création du job Kettle « kettlejob » pour la génération du fichier Excel et son envoi par mail
  • Appel du job kettle depuis le dashboard avec passage du paramètre <numéro client>

La vidéo ci-dessous illustre la mise en œuvre complète :

Téléchargement

Vous pouvez télécharger le plugin sparkl « JobLauncher » pour le tester sur votre serveur Pentaho (v5.4 CE)

Plugin Sparkl "Kettle Job Launcher" (75 downloads)

Il suffit de dézipper l’archive et de la placer dans /pentaho-solutions/system puis redémarrer le serveur

Sparklez bien 😉

Saiku 3.2 (EE & CE)

Depuis l’arrivée d’une version Enterprise, le projet Saiku a pris un nouvel envol.

Meteorite BI vient en effet d’annoncer la disponibilité d’une version 3.2, à la fois en version community et enterprise. (noter la disponibilité du plugin Saiku 3.2 CE sur la marketplace Pentaho 5).

En version CE, on notera les améliorations sur l’export PDF et sur l’interface web.

La version Enterprise arrive quant à elle avec un designer de cube en ligne et surtout un « dashboard designer » plutôt sympathique !

Découvrez tout ceci dans cette vidéo :

Pour plus de détail sur les nouveautés, consultez la page Saiku 3.2 Release Notes

Saiku : « Explore, Understand, Act » 😉

 

Pentaho 5.4 est sorti !

Pentaho vient d’annoncer la disponibilité de sa plate-forme analytique en version 5.4

Celle-ci est disponible au téléchargement :

Cette nouvelle version intègre le support de 2 nouvelles technologies BigData : Amazon Elastic MapReduce et SAP HANA, ainsi que l’intégration de SPARK dans Pentaho Data Integration

D’autres nouveautés sont à retenir comme :

  • une nouvelle API permettant d’embarquer Pentaho Analyzer dans votre solution (EE)
  • le support de Cloudera 5.3 et MongoDB 3.0 (CE/EE)
  • une interface simplifiée pour le nommage de clusters Hadoop (CE/EE)
  • un nouveau plugin PDI pour piloter l’API du serveur BI Pentaho 5 (CE/EE)
  • l’intégration du framework Require.js dans les plugins CDE et CDF (CE/EE)
  • la refonte complète du jeu d’icônes pour les étapes de transformation et jobs dans Kettle (CE/EE) :

icons-pdi-5.4

On notera que cette nouvelle version arrive tout juste une semaine après l’annonce officielle du rachat de Pentaho par Hitachi Data Systems.

logo-pentaho-hds

 

Soyez rassurés, comme l’indiquent Pedro Alves et Quentin Gallivan, Pentaho continue son chemin en autonomie et en conservant son modèle open source…

La preuve avec cette 5.4 publiée en même temps dans les versions Enterprise et Community.

Réplication de données avec Kettle

Introduction

Dans toute organisation, la synchronisation de données entre plusieurs bases est un sujet assez récurrent. Avec Kettle, la mise en place est plutôt simple : encore faut-il l’avoir réalisée au moins une fois… !

Voici donc dans cet article un exemple de mise en place d’une réplication de données.

Vous allez constater à quel point Kettle vous simplifie (comme toujours) la mise en œuvre.

L’exemple à traiter

Description du besoin

Comme d’habitude, je vais prendre un exemple basique qu’il vous suffira d’adapter à vos propres besoins : je dispose de deux serveurs JasperSoft, un serveur de pré-production (Serveur A) et un serveur de production (Serveur B).

Mon besoin est tout bête : répliquer les comptes utilisateurs du serveur A vers le serveur B de manière à avoir une synchronisation complète des comptes.

Précision importante : le système de référence est le serveur A. Ainsi tout compte utilisateur créé, modifié ou supprimé sur ce serveur doit respectivement être créé, modifié ou supprimé sur le serveur B. Donc A est le serveur Maître et B le serveur Esclave : on ne réinjecte aucune modification effectuée directement sur B vers A.

En outre, à chaque réplication, je souhaite obtenir un fichier de synthèse me listant :

  • les comptes utilisateurs ajoutés depuis la dernière synchronisation
  • les comptes utilisateurs modifiés
  • les comptes utilisateurs supprimés

Pré-requis :

  • JasperServer Reports 6.0 Community Edition
  • Pentaho Data Integration 5.x

(Lire la suite…)

La revue de presse (Printemps 2015)

En ces périodes de jours fériés et de ponts, voici une petite revue de presse à déguster en terrasse avec un bon verre…

Attention, tout est en vrac cette fois-ci et à l’ancienne : que des liens web ! (bon, y’a les titres dans les urls…)

Cliquez donc au hasard et vous tomberez peut-être sur une perle rare 😉

http://inquidia.com/news-and-info/5-must-have-pdi-plugins-pentaho-marketplaceorangeade

http://diethardsteiner.github.io/pdi/2015/04/28/PDI-Parallelism-and-Partitioning.html

http://www.datasciencecentral.com/profiles/blogs/27-free-data-mining-books

http://rpbouman.blogspot.nl/2015/04/mdx-grouping-on-non-unique-levels.html

http://www.ivy-is.co.uk/pentaho-data-integration-mongo-steps

https://dankeeley.wordpress.com/2015/04/02/executing-r-from-pentaho-data-integration-pdi-kettle

http://www.innoventsolutions.com/open-source-reporting-review-birt-jasper-pentaho.html

http://diethardsteiner.github.io/cde/2015/03/31/How-to-create-CDE-Add-ins.html

http://www.tibco.com/blog/2015/03/30/tibco-analytics-one-year-later

http://rpbouman.blogspot.fr/2015/03/a-generic-normalizer-for-pentaho-data.html

http://diethardsteiner.github.io/ccc/2015/03/29/CCC-Core-Concepts.html

https://anonymousbi.wordpress.com/2015/03/29/playing-with-jedox-bi-cpm

http://blogs.forrester.com/boris_evelson/15-02-13-its_not_your_grandfathers_open_source_bi_market_any_longer

http://joel-latino.blogspot.co.uk/2014/03/how-export-and-import-saiku-files-on.html

https://hgovind.wordpress.com/2015/03/16/full-outer-join-using-pentaho-mapreduce

https://dankeeley.wordpress.com/2015/03/10/building-step-plugins-with-pdi-pentaho-kettle

http://www.erwanlenagard.com/general/tutoriel-utiliser-lapi-twitter-pour-collecter-des-tweets-sans-coder-avec-talend-1029

https://bineedsui.wordpress.com/2013/12/23/x-axis-label-wrap-in-pentaho-report-designer

https://www.gnu.org/philosophy/free-software-for-freedom.html

http://funpdi.blogspot.fr/2014/12/how-sorted-or-sordid-is-your-data.html

http://funpdi.blogspot.fr/2014/12/superscript-pdi-plugin.html

https://dankeeley.wordpress.com/2015/01/08/non-native-metadata-injection

A bientôt 😉

iReport est mort : vive JasperSoft Studio !

Total Eclipse

Voilà maintenant plus de 3 ans que JasperSoft a lancé une refonte complète sous Eclipse de son client de conception de rapports iReports.

Et depuis JasperSoft 5.5, c’est officiel :

« JasperSoft Studio devient le client de conception officiel pour JasperReports. iReport rentre en mode maintenance jusqu’au 31 Décembre 2015. Cela signifie qu’il n’y aura plus aucune évolution sur l’outil, hormis des corrections de bugs critiques »

iReport_announcement

Vous l’aurez compris, si vous utilisez iReport dans vos projets, il va être grand temps de penser à migrer vers JasperSoft Studio, que vous publiez vos rapports sur un serveur JasperSoft ou un serveur d’application Java (tomcat ou autre)…

Dans cet article, je vais tâcher de vous montrer que vous pouvez migrer en toute sécurité : JasperSoft a vraiment fait du bon boulot !

Il faudra juste vous habituer à concevoir vos rapports dans un environnement Eclipse : moi je suis pas super fan, mais bon, on s’y fait… à condition d’avoir un écran 22 pouces minimum :-)

(Lire la suite…)

Le Socle Interministériel de Logiciels Libres (SILL)

Le SILL 2015

Plus de 2 ans après la circulaire du Premier Ministre recommandant l’utilisation de logiciels libres au sein de l’administration publique, on peut dire que les choses ont plutôt bien avancé !

Voici en effet que vient de paraître la seconde version de la liste des logiciels libres préconisés par l’Administration :  le Socle Interministériel de Logiciels Libres.  Ce dernier est téléchargeable sur le site des documents de référence de la modernisation de l’Etat.

Téléchargez le aussi ici : SILL 2015 - Socle Interministériel des Logiciels Libres (765 downloads)

LogoSILLLe SILL 2015 liste pas moins de 150 solutions réparties en plusieurs catégories :  sécurité, bureautique, réseau, conception & développement, virtualisation, bases de données…

(Lire la suite…)