osbi.fr (Open Source Business Intelligence)

Le cabinet Forrester a publié au début du mois d’Août une étude qui recense les leaders des solutions de Business Intelligence Open Source.

Pas de surprise, dans cette excellente synthèse qui reflète parfaitement l’offre actuelle en OSBI, on retrouve les 4 acteurs crédibles et reconnus du marché : Actuate BIRT, JasperSoft, SpagoBI et Pentaho.

Actuate BIRT propose le document en téléchargement gratuit, profitez-en ! :

Les leaders de l’OSBI « commercial »

L’étude de Forrester indique que Actuate BIRT est le leader des solutions open source (commerciales), avec JasperSoft Enterprise comme challenger.

Rien d’étonnant au vu de la qualité et la richesse de la plate-forme proposée par Actuate, dont finalement une petite partie est libre (mais sûrement pas la moindre !) : Eclipse BIRT.

N’oublions pas que Actuate est à l’origine un éditeur propriétaire qui à rendu open source une partie de son produit en le mettant sous l’égide de la fondation Eclipse (idée géniale au plan technique et… stratégique !).

C’est l’inverse pour les éditeurs JasperSoft et Pentaho, qui sont des sociétés dont le modèle est bâti sur l’open source mais qui ont rapidement développé un « dual-licensing » (versions Community et Enterprise) pour générer des revenus autres que ceux provenant du support et de la formation, en introduisant notamment des différences fonctionnelles entre les 2 versions (plus ou moins importantes selon l’éditeur).

SpagoBI fait figure d’exception en proposant une plate-forme entièrement open source, non dénuée d’intérêt, mais qui ne contrôle ni ne développe les principaux composants de base (ETL, Reporting, OLAP). La tendance s’inverse cependant depuis les dernières versions : SpagoBI a développé ses moteurs de KPI et de QBE, envisage de faire de la métadonnée, et surtout s’implique dans le GEOSBI (attention le vrai), un domaine complètement occulté chez les autres acteurs.

Les leaders de l’OSBI « full open source »

Il m’a semblé utile d’apporter ici quelques éléments de précisions sur cette étude, notamment sur le comparatif.

Je pense notamment à ceux d’entre vous qui souhaitent construire des plates-formes de BI complètement open source.

Que se passe-t’il donc si on prend en considération uniquement les versions open source gratuites (en rouge) de chacun des éditeurs sur la « Forrester Wave » ?

Ceci :

La tendance s’inverse: SpagoBI et Pentaho se retrouvent dans les « Strong Performers », devançant ainsi JasperSoft Community et Eclipse BIRT. Rigolo non ?

Vous allez certainement mieux comprendre les raisons dans le tableau de synthèse ci-dessous, qui détaille les fonctionnalités disponibles dans les versions communautaires de chacun de ces 4 éditeurs (cliquer sur le tableau pour l’agrandir) :

Fonctions disponibles dans les versions gratuites (community)

A la lecture de ce tableau, vous comprendrez sans doute mieux pourquoi je parle ici beaucoup du serveur Pentaho et de tous les composants de cette excellente plate-forme

A la rentrée…

Il est temps pour moi de partir en vacances, et d’en souhaiter de très bonnes à ceux qui partent aussi fin août !

Dès la mi-Septembre, vous retrouverez sur  osbi.fr des articles techniques détaillés (plus ou moins complexes), qui devraient satisfaire la plupart d’entre-vous…

A bientôt donc

Dans mon précédent post, j’indiquai avoir développé un plugin pour BIRT permettant de se connecter à une source de données de type Pentaho Metadata.

Ce plugin open source est désormais disponible sur GoogleCode à cette adresse:

http://code.google.com/p/birt-pentahometadata-plugin

Vous y trouverez :

• un guide d’installation du plugin et de configuration du serveur Pentaho (prérequis:  Pentaho 3.6 & BIRT 2.3.2)

• une doc d’installation de l’environnement de développement, qui s’adresse aux personnes maîtrisant le développement de plugins ODA sous Eclipse. Dès Septembre, je détaillerai dans plusieurs posts sur osbi.fr de nombreux aspects techniques pour expliquer la génèse de ce plugin.

En bonus j’ai réalisé une petite vidéo de démonstration illustrant la création et la publication (sur un pentaho server CE) d’un rapport BIRT qui s’appuie sur une source de données Pentaho Metadata :

Bien sûr, il faut être indulgent avec cette première version, qui est essentiellement une validation de la faisabilité technique et qui comporte des bugs (les cross tabs ne fonctionnent pas) et des imperfections.

Je ne doute pas que les personnes intéressées par ce projet se feront connaître et que nous pourrons ensemble faire évoluer le plugin de la plus belle manière !

A bientôt

Le calme relatif du mois d’août est souvent propice à un peu de recherche & développement, dont l’issue peut se traduire par une contribution open source. C’est mon cas cette année, et ce juste avant de prendre quelques semaines de vacances bien méritées…

Je viens en effet de développer une toute première version d’un plugin ODA pour Eclipse BIRT dont le but est de récupérer des données en provenance d’un référentiel de métadonnées Pentaho Metadata.

Mon objectif initial était simple: prendre le meilleur des fonctions proposées par BIRT et Pentaho tout en restant dans l’open source ceci afin de faciliter la vie des concepteurs de rapports en leur évitant d’écrire du SQL avec des jointures complexes (et donc de leur éviter d’avoir à maîtriser des modèles de données souvent ardus)

Si je résume :

• BIRT est un excellent moteur de reporting, plus ergonomique que iReport et plus avancé que Pentaho Report Designer, mais dont la partie « métadonnées » est payante (BIRT Information Objects)

• Pentaho est la seule des plates-formes OSBI (listée dans un tout récent rapport du Forrester) qui propose une couche de métadonnées entièrement open source (Pentaho Metadata donc).  Malgré le fait que le moteur de reporting soit capable de récupérer des données depuis un référentiel Pentaho Metadata, il reste cependant encore un peu léger pour le moment (pour faire des tableaux croisés par exemple !)

Je vous laisse donc apprécier l’intérêt de « BIRT ODA Pentaho Plugin » dans les copies d’écrans et la vidéo ci-dessous.

Bien sûr, je reviendrai dans le détail prochainement sur ce plugin, par une série d’articles très détaillés sur Pentaho Metadata et le mécanisme d’ajout de sources des données dans BIRT via ODA. D’ailleurs, il ne s’agit que d’une première version dont le but essentiel était de valider la faisablilité technique.

Petite info à noter: ce plugin et le code source seront téléchargeables dès la rentrée sur la forge d’Atol CD qui va bientôt voir le jour… (avec d’autres projets tout aussi intéressants autour d’Alfresco, Typo3 et des SIG)

La nouvelle source de données "Pentaho Metadata"

Paramétrage de l'accès sécurisé au serveur Pentaho

Présentation des vues métiers et colonnes métiers

Métadonnées de la requête (ResultSetMetaData)

Prévisualisation du jeu de données (ResultSet)

Ci-dessous, une démo de présentation du plugin (création d’un listing client et d’un tableau croisé de chiffres de ventes) :

Ce petit article a pour but de présenter les différentes méthodes de mise en place de tableaux croisés (« Cross Tabs ») au sein de 3 moteurs de reporting Open source :

• JasperReports

• Eclipse BIRT

• Pentaho Reporting.

Qu’est ce qu’un tableau croisé ?

Comme son nom l’indique, un tableau croisé permet d’obtenir une vue croisée sur des données, bien plus puissante qu’une simple vue tabulaire (dont la lecture se fait de haut en bas) .

Le but essentiel des tableaux croisés est donc de simplifier la lisibilité et de permettre des analyses comparatives avancées.

D’ailleurs, qui n’a jamais entendu parler des tableaux croisés dynamiques d’Excel ?

Pour les novices, je vous invite à consulter 2 excellents liens pour mieux appréhender l’intérêt des tableaux croisés :

http://fr.wikipedia.org/wiki/Tableau_croisé_dynamique

http://biblioxtrn.uqar.qc.ca/stat/Fichesstat/multivariable/tableaucroise/tableau.htm

Les tableaux croisés… par la pratique !

Pour démontrer les capacités des moteurs de reporting open source en matière de « Cross Tabs », le mieux est encore d’essayer d’en mettre en oeuvre quelques uns !

C’est ce que je vous propose dans la suite de cet article

Pour cela je vous propose de travailler sur un jeu de données disponible sous la forme d’une base de données Hypersonic Java montée en mémoire (« SampleData »). Il s’agit de la base de données de test utilisée par le serveur de démonstration Pentaho, par BIRT et JasperServer (à qq différences prêt, mais on ne va pas chipoter…)

Il vous suffira ensuite de reproduire la méthodologie de création des tableaux croisés en visionnant les vidéos ci-dessous.

Tout d’abord, téléchargez la base de données ici :

Décompressez le fichier « hsqldb.zip » dans le répertoire C:\ (par exemple). JAVA doit être installé sur votre poste, la variable d’environnement JAVA_HOME doit également être déclarée…

Démarrer la base de données en cliquant sur « C:\hsqldb\start_hypersonic.bat »

Si tout se passe bien, vous devez obtenir la fenêtre DOS ci-dessous (à ne pas fermer bien sûr)

Notez bien également les informations de connexion à la base:

• JDBC Url: jdbc:hsqldb:hsql://localhost/sampledata

• User: sa

• Password: password

Le driver (fichier jar) est disponible dans l’installation par défaut de iReport, en ce qui concerne BIRT, il faudra aller le chercher dans le répertoire d’installation: C:\hsqldb\lib\hsqldb-1.8.0.jar

Tableau croisé avec JasperReports 3.7

Lancer iReport, et suivre les indications de la vidéo ci-dessous…

Requête SQL permettant d’obtenir les données:

SELECT
     ORDERDETAILS."QUANTITYORDERED"  *   ORDERDETAILS."PRICEEACH" AS MONTANT,
     YEAR(ORDERS."ORDERDATE") AS ANNEE,
     MONTH(ORDERS."ORDERDATE") AS MOIS,
     CUSTOMER_W_TER."TERRITORY" AS ZONE,
     CUSTOMER_W_TER."COUNTRY" AS PAYS
FROM
     "PUBLIC"."ORDERS" ORDERS INNER JOIN "PUBLIC"."CUSTOMER_W_TER" CUSTOMER_W_TER ON ORDERS."CUSTOMERNUMBER" = CUSTOMER_W_TER."CUSTOMERNUMBER"
     INNER JOIN "PUBLIC"."ORDERDETAILS" ORDERDETAILS ON ORDERS."ORDERNUMBER" = ORDERDETAILS."ORDERNUMBER"

Tableau croisé avec Eclipse BIRT 2.6

Lancer BIRT, et suivre les indications de la vidéo ci-dessous..

Requête SQL permettant d’obtenir les données:

SELECT
     ORDERDETAILS."QUANTITYORDERED"  *   ORDERDETAILS."PRICEEACH" AS MONTANT,
     ORDERS."ORDERDATE",
     CUSTOMER_W_TER."TERRITORY" AS ZONE,
     CUSTOMER_W_TER."COUNTRY" AS PAYS
FROM
     "PUBLIC"."ORDERS" ORDERS INNER JOIN "PUBLIC"."CUSTOMER_W_TER" CUSTOMER_W_TER ON ORDERS."CUSTOMERNUMBER" = CUSTOMER_W_TER."CUSTOMERNUMBER"
     INNER JOIN "PUBLIC"."ORDERDETAILS" ORDERDETAILS ON ORDERS."ORDERNUMBER" = ORDERDETAILS."ORDERNUMBER"

Tableau croisé avec Pentaho Report Designer 3.6

Mauvaise nouvelle, l’interface de Pentaho Report Designer ne permet pas de mettre en place des tableaux croisés !

Bien que l’API de reporting soit capable de manipuler des objets de ce type, le client de conception (Designer) n’implémente pas de façon simple les Cross Tabs.

En fait c’est encore pour l’instant une fonction cachée et peu exploitable (pas d’assistant de création et drag&drop non disponible)

Pour ceux qui veulent tester malgré tout, vous trouverez un guide de mise en place très détaillé sur ce blog. Mais vous constaterez vite que l’ergonomie est encore très loin de celle proposée par BIRT ou iReport.

Pour l’instant, c’est encore un gros manque du côté de Pentaho par rapport à la concurrence.

Cette absence fonctionnelle devrait cependant être comblée d’ici la fin de l’année comme le précise Thomas Morgner (alias Taqua) sur le forum de Pentaho: un éditeur graphique est en effet prévu dans la prochaine version CE de Report Designer (on notera qu’il y aura également une version plus avancée dans une version EE)

Conclusion

Pour l’instant, Pentaho Report Designer (PRD) est hors course en ce qui concerne la mise en place de tableaux croisés. Faites bien attention à vérifier ce point (ou soyez patients) si vous souhaitez utiliser PRD, qui présente cependant des avantages non négligeables, comme par exemple la diversité des sources de données gérées (flux ETL Kettle, sources OLAP…)

iReport présente un assistant de création sympathique qui permet de réaliser des tableaux croisés très « jolis », notamment avec une grande diversité de présentation (styles, couleurs). On regrettera cependant que le tableau croisé ne puisse comporter que 2 niveaux maxi par axe et une seule mesure (pas évident de retoucher le tout après la création du tableau…)

Eclipse BIRT est sans aucun doute le Designer qui permet d’aller le plus loin dans la création de Cross Tab. L’objet « Data Cube » permet de gérer autant de dimensions, de niveaux et de mesures souhaitées.

La gestion de la dimension « Date » se fait automatiquement, pas besoin de bidouiller la requête SQL ou de travailler avec une table de dimension temporelle.

Même s’il faut ajuster manuellement le côté « présentation », BIRT est de loin l’outil de reporting (libre) le plus intéressant pour générer des tableaux croisés !

Eclipse BIRT présente également un autre atout, la possibilité de rajouter de nouvelles sources de données sous la forme de plugins Eclipse (ODA Driver).

Je reviendrai sur ce point très prochainement

Après la naissance du BIRT User Group France au mois de Mars 2010, il était également temps de fédérer une communauté francophone autour de la version libre de Pentaho.

C’est désormais chose faite avec la création du groupe Google PENTAHO User Group France

Le but de « PENTAHO User Group France » est simple :

• Permettre le partage de connaissances techniques et fonctionnelles entre les utilisateurs actuels (et futurs) de Pentaho et ceci quelque soit leur niveau de connaissance de la solution (débutants, initiés, confirmés, experts)

• Partager des retours d’expérience et des idées sur Pentaho

• Fédérer une communauté francophone autour de la plate-forme et des outils proposés par Pentaho

Le fonctionnement de ce groupe se veut collaboratif : chaque membre pourra ainsi échanger librement en s’exprimant directement sur ce groupe.

Pourquoi un groupe Google dédié à Pentaho ?

Parce ce que cela fait déjà plusieurs années que je sillonne la France et que je me rends compte que Pentaho est de plus en plus utilisé: Kettle, Mondrian, le « BI server CE » sont employés par des sociétés et des organisations aux profils très variés et pour de multiples raisons: économies financières, volonté de réactivité, de souplesse, voire même d’émancipation vis à vis des outils BI « imposés » par la DSI pour certains grands comptes…

Dernièrement, une rencontre courant Juin avec une utilisatrice avancée de Pentaho a provoqué chez moi un vrai déclic: la qualité des indicateurs que j’ai pu voir m’a vraiment « scotché » (*).

Au fur et à mesure de nos discussions, nous nous sommes rendus compte qu’il serait vraiment intéressant de disposer d’un lieu d’échange en français pour que les gens qui ont « investi » de leur temps sur Pentaho se rencontrent. Un groupe Google m’a semblé être une première approche intéressante…

Dans l’open source, l’union fait la force, et je ne répéterai jamais assez qu’une solution open source a tout à gagner si elle est supportée par une communauté importante.

C’est déjà le cas avec la communauté anglo-saxone de Pentaho qui est très active.

Tout ça reste à mettre en oeuvre dans une communauté francophone, ne serait-ce pour montrer à la société Pentaho le potentiel des utilisateurs en France !

Quelque chose me dit que cela va probablement intéresser certains d’entre vous, alors tous à vos claviers pour la première discussion du groupe « Quelle utilisation faites-vous de Pentaho ? »

(*) notamment l’utilisation faite de Pentaho Community Dashboard Framework dont il faut impérativement que je détaille le fonctionnement ici…

Je l’ai déjà évoqué dans le post précédent, mais il n’est sans doute pas inutile de le rappeler :

Une nouvelle version de BIRT vient d’être délivrée en ce début Juillet, conjointement à la nouvelle version Eclipse baptisée « HELIOS »

Retrouvez dans le détail les nouvelles fonctionnalités de cette version BIRT 2.6 sur le site d’Eclipse :

http://www.eclipse.org/birt/phoenix/project/notable2.6.php

Pour ceux qui ont un peu plus de temps (43 min) et qui souhaitent voir une démo live (un webinar en anglais), c’est possible également : http://adobedev.adobe.acrobat.com/p47634802

La démo présente notamment les points suivants :

• Architecture et présentation générale de BIRT
• Qu’est ce que BIRT
• BIRT: une architecture de haut niveau
• Les nouveautés de BIRT 2.6
  • Améliorations sur les graphes (notamment les polaires & radars)
  • Fichiers de ressource
  • Amélioration des Classpaths
  • Amélioration des tri
  • Constructeur de requête SQL