Data warehouse : réussir grâce à l’analyse du Big Data

Les systèmes d’aide à la décision sont une longue tradition dans le monde des affaires. Depuis les années 1960, les entreprises utilisent des méthodes analytiques afin d’obtenir des données dites décisionnelles ou utiles. L’objectif est de soutenir le management avec des rapports, des modèles et des prévisions basés sur des données pour l’orientation stratégique des processus d’affaires et l’aide à la décision.

Les systèmes d’information analytique qui fournissent les fonctionnalités correspondantes regroupent des concepts tels que le MIS (Management Information Systems), le DSS (Decision Support Systems) ou l’EIS (Executive Information Systems) qui sont souvent difficiles à distinguer les uns des autres et sont regroupés, depuis les années 1990 dans la pratique et dans la commercialisation des produits correspondants, sous le terme global d’informatique décisionnelle : en anglais Business Intelligence (BI).

La base de données des systèmes d’aide à la décision dans le cadre de l’informatique décisionnelle est aujourd’hui généralement apportée par un entrepôt de données central, connu aussi sous le nom de data warehouse. Nous allons voir les bases des systèmes de data warehouse ainsi que l’architecture de référence d’un tel système d’information, et présentons les éditeurs connus de solutions DWH commerciales ainsi que les alternatives open-source gratuites.

Un data warehouse (DWH) est par définition un système de base de données distinct d’un système de traitement de données opérationnelles, dans lequel les données provenant de diverses sources, parfois même très hétérogènes, sont combinées, compressées et archivées à long terme. De nombreuses entreprises transfèrent régulièrement les données historiques des systèmes de traitement des données opérationnelles vers un tel entrepôt de données et les préparent pour des accès ultérieurs afin d’effectuer des analyses stratégiques dans le cadre de l’informatique décisionnelle (ou BI). Les données opérationnelles deviennent donc des données décisionnelles :

• Données opérationnelles : ce sont des informations orientées transactions générées dans les entreprises par l’activité quotidienne et produites notamment par les systèmes d’administration et de facturation. Les sources classiques de données sont les systèmes de traitement de données opérationnelles comme par exemple les programmes de comptabilité, les progiciels de gestion intégré (PGI ou ERP pour Entreprise Resource Planning) ou les systèmes d’information et de commande.
• Données décisionnelles : lorsque les données opérationnelles sont rassemblées en un seul endroit, stockées sur le long terme et préparées pour l’analyse, on parle alors de données décisionnelles.

Un DWH apporte aux analystes un aperçu complet des ensembles de données hétérogènes et permet l’agrégation des statistiques opérationnelles dans le cadre du traitement analytique en ligne (en anglais Online Analytical Processing, OLAP). En tant que point central de collecte de toutes les données d’entreprise pertinentes, l’entrepôt de données est utilisé pour la gestion des connaissances en interne. Les utilisateurs n’ont généralement accès qu’en lecture seule. Un DWH sert de base de données pour les méthodes d’exploration de données (data mining) et reste le support à toutes les études relatives à la gestion de la performance et à l’orientation stratégique de l’entreprise.

Avant que les données puissent être chargées vers le DWH, les informations souvent très hétérogènes doivent d’abord être unifiées pour une présentation uniforme. Un entrepôt de données s’alimente de manière autonome à partir des sources de données internes d’une entreprise ainsi que des sources de données externes pertinentes :

• Données internes : système d’exploitation : progiciel de gestion intégré (PGI ou ERP), systèmes de gestion de la relation client (CRM) ; bases de données opérationnelles ; système de gestion de contenu (CMS) ; bases de données orientées texte, fichiers plats (par exemple Excel, CSV, fichiers textes), emails, etc.
• Données externes : applications et systèmes de fournisseurs de services externes, sites Web, médias sociaux, services de Cloud, etc.

Les systèmes au niveau de l’enregistrement des données fournissent des interfaces pour les systèmes d’exploitation des entreprises et sont utilisés dans la première phase du data warehousing. L’acquisition et l’intégration des données sont deux fonctions centrales de ces composants DWH.

Les techniques de collecte suivantes sont utilisées pour l’extraction et l’acquisition des données :

• Trigger ou déclencheur : si les systèmes opérationnels d’une entreprise prennent en charge les déclencheurs de base de données, ils peuvent alors être utilisés pour automatiser l’extraction des données. Les déclencheurs vous permettent de définir des opérations qui sont exécutées automatiquement lorsque certains événements se produisent. En règle générale, les événements déclencheurs se rapportent à des changements dans la base de données du système source, qui conduisent à une extraction des données modifiées dans le DWH.  
• Fichiers journaux : si le système d’exploitation ne prend pas en charge le trigger ou déclencheur, le niveau d’acquisition des données d’un DWH peut contenir des programmes capables d’évaluer les fichiers journaux (ou fichiers log) des systèmes sources et d’extraire les opérations enregistrées dans ces derniers.
• Programme de monitoring : si pour l’extraction il n’est pas possible de recourir au déclencheur ou aux fichiers journaux, les programmes de monitoring sont alors généralement utilisés. Ces derniers extraient les changements dans l’ensemble de données d’un système d’exploitation à l’aide d’algorithmes qui créent des instantanés des données à surveiller (snapshots) à intervalles réguliers et les synchronisent avec les précédents.

Si aucune des techniques décrites ci-dessus n’est prise en charge, car l’accès aux données dans le système d’exploitation n’est pas possible, ces modifications doivent être enregistrées de manière indépendante et les modifications correspondantes communiquées à l’entrepôt de données.

En matière d’intégration de données, la plupart des DWH offrent des fonctionnalités OLAP qui permettent de présenter les fichiers dans des structures multidimensionnelles. Le traitement analytique en ligne (OLAP) est une méthode d’analyse utilisée pour comprimer les données et fichiers d’entreprises pertinents pour la gestion. Le fonctionnement est basé sur le processus ETL :

• E = Extraction : l’extraction des données consiste à extraire des informations pertinentes de diverses sources de données. Ceci peut être mis en œuvre comme une stratégie Push and Pull. Si les données sont extraites dans le cadre d’une stratégie Push, les sources de données sont encouragées à générer des extraits à intervalles réguliers et à les transmettre au DWH. Dans le cas d’une stratégie Pull, c’est le DWH qui initie, de sa propre initiative, l’extraction des données.
• T = Transformation : les données extraites sont ajustées lors d’une transformation et traduites da manière uniforme dans le format de la base de données cible.
• L = Loading (chargement) : la phase de chargement implique la sauvegarde des données transformées dans les bases de données cibles respectives du DWH.

Le niveau d’acquisition et de traitement de données d’un DWH peut contenir une zone dite de Staging Area (aussi appelée zone de préparation). Il s’agit d’une zone temporaire de la base de données dans laquelle les données à charger sont prétraitées. Un tel processus de traitement peut être particulièrement nécessaire dans les processus ETL complexes.

Comme un data warehouse rassemble des données provenant de sources très diverses, l’intégration des données est basée sur différents outils qui permettent la transformation et l’ajustement des données extraites. Ils peuvent être classés dans les catégories suivantes :

• Outils de migration de données : les programmes de migration de données vous permettent de définir des règles de transformation simples pour convertir des données sources hétérogènes en un format cible uniforme.
• Outils de nettoyage des données : pour le nettoyage des données, des programmes basés sur la logique floue (fuzzy logic) ainsi que les réseaux neuronaux artificiels sont utilisés. L’objectif est d’améliorer la qualité des données en éliminant les erreurs, les lacunes et les répétitions dans les ensembles de données grâce à l’implémentation de règles prédéfinies, d’algorithmes et de tables de correspondance (LUT). C’est ce que l’on nomme aussi le management de la qualité (Quality Management).
• Outils d’audit des données : les outils de vérification des données sont utilisés dans l’intégration des données pour déterminer les règles et les relations entre les données. En outre, les programmes de ce type vous permettent aussi d’identifier les données qui enfreignent les règles définies ce qui signifie qu’il s’agit probablement d’erreurs.

L’intégration des données est suivie par le transfert des données extraites dans la base de données centrale, le « core data warehouse ». Cette étape est supportée par des programmes qui offrent les fonctions suivantes :

• Vérification des conditions d‘intégrité 
• Tri des données
• Calcul des agrégations
• Détermination des structures d’accès 
• Partitionnement des données pour un accès efficace

Les schémas en flocon se caractérisent par une consommation d’espace de stockage plus faible que les schémas en étoile. Ceci résulte d’un stockage de données normalisé. Ici, la normalisation se réfère au transfert des colonnes vers de nouvelles tables dans le but d’éviter les doublons. L’élimination des redondances réduit aussi le coût de maintenance et de gestion des données : dans le meilleur des cas, chaque information n’apparaît qu’une seule fois et ne doit donc être placée qu’une fois dans le schéma.

Toutefois, si les données sont transférées dans des tables normalisées, ceci conduit inévitablement à des structures de données plus complexes, ce qui implique généralement des durées de requête plus longues. Si les analystes veulent accéder aux données d’un schéma en flocon, les tables de dimensions multi-niveaux doivent d’abord être liées dans le cadre d’une jointure.

Le processus OLAP n’est pas limité à trois dimensions. Un tel cube de données est structuré de manière n-dimensionnelle et peut en théorie contenir autant de dimensions que vous le souhaitez.

Ce niveau de données sert d’interface avec les applications finales et les outils de présentation, ce qui facilite l’analyse des données et les méthodes d’évaluation qui permettent d’extraire des informations des entrepôts de données et de les traiter sous différentes formes de présentation pour les utilisateurs finaux. La gamme comprend notamment les outils de rapports et d’interrogation, les outils de collaboration et d’exploration de données, le traitement analytique en ligne (OLAP), les systèmes d’information exécutive (EIS) et les outils de prévision et de simulation.

• Drill-out/Split : le drill-out (ou split ou division) permet aux analystes d’ajouter une dimension supplémentaire à un cube OLAP. Il en résulte des données plus détaillées. Cependant, contrairement à l’opération Drill-Down, le niveau de détail n’est pas augmenté en termes de granularité, mais c’est plutôt un gain d’information résultant de l’information de référence supplémentaire de la dimension ajoutée.
   
• Drill-in/Merge : en opposition au drill-out, le niveau de détail du cube OLAP est réduit en supprimant les dimensions. Contrairement au roll-up, la perte d’informations dans cette opération ne résulte pas d’un changement de plan de visualisation, mais de la perte d’informations dimensionnelles. La granularité reste donc la même.
   
• Drill-across : l’opération de données Drill-across ou « jointure » est aussi utilisée pour analyser l’ensemble de données. Alors que les opérations vues jusqu’à présent font toujours référence à un cube OLAP, la procédure de jointure est appliquée à plusieurs cubes de données afin de permettre des analyses globales. N’importe quel nombre de tables de faits avec au moins une dimension commune peut être analysé sur le même niveau hiérarchique et de granularité, tout en maintenant le niveau de visualisation.
   
• Drill-through : c’est une opération au cours de laquelle un analyste sélectionne une seule cellule d’un cube de données et l’examine au plus haut niveau de détail. Contrairement au drill-down, le drill-through accède aux données sources de la cellule du cube sélectionnée. Cela signifie que le résultat du Drill-through est dérivé des cellules du tableau qui sous-tendent la cellule du cube sélectionnée.

Executive Information System (EIS)

Comme pour OLAP, les outils EIS apportent aux utilisateurs différentes façons de formuler des requêtes et de modéliser les données. Cependant, contrairement à OLAP, le terme EIS est aujourd’hui surtout utilisé pour désigner les systèmes d’application complets et prêts à l’emploi qui fournissent des rapports prédéfinis pour certains domaines d’activité comme la vente, le marketing ou encore la planification financière.

Outils de prévision et de simulation

Les outils de prévision et de simulation permettent aux utilisateurs de mettre à jour les données stockées dans le DWH et de développer des modèles de prévision.

L’agrégation, le stockage à grande échelle de données opérationnelles, commerciales et clients dans un entrepôt de données et l’analyse de cette masse de données à l’aide de méthodes de data mining  ou d’applications OLAP offrent aux entreprises des opportunités pour optimiser durablement leurs processus commerciaux. Outre les avantages des analyses de données pour la prise de décisions, certains tirent toutefois la sonnette d’alarme sur les risques importants de ces analyses de données en matière de protection de la vie privée.

Selon les critiques, les analyses qui permettent de créer des profils de personnalité et des prédictions automatisées de comportements et d’actions sont particulièrement sensibles. Le débat se concentre en effet sur le potentiel de manipulation de l’information à partir des analyses de données.

En France, le cadre légal qui régit l‘exploitation et le stockage des données et leur protection se trouve dans le texte de loi Informatique et Libertés. Ce cadre légal national est aussi renforcé au niveau européen avec le RGPD (règlement général sur la protection des données). Dans ce contexte, les conditions de bases suivantes s’appliquent au stockage et au traitement ultérieur des données à caractère personnel :

• Affectation et finalité des données personnelles : les données personnelles ne peuvent être collectées, stockées et traitées que dans le cadre d’objectifs légalement autorisés et d’accord mutuels. Les objectifs doivent être formulés avant la collecte. Mais selon certains défenseurs de la protection des données, le stockage de données personnelles dans un entrepôt de données s’écarte bien souvent de la finalité initiale d’utilisation et représente bien souvent un stockage abusif et contraire à l’objectif initial.
   
• Changement de finalité uniquement avec le consentement de l’intéressé : les modifications de la finalité de stockage des données personnelles ne sont autorisées qu’avec le consentement des personnes. Ces dernières doivent de plus être informées de la portée du consentement. Les procédures de collecte de données à caractère personnel doivent respecter le fait que les personnes puissent évaluer les risques et surtout exercer leurs droits. En effet, le consentement doit pouvoir être retiré à tout moment puisque d’après la loi, chacun doit pouvoir décider et contrôler les usages des données personnelles le concernant.
   
• Minimisation de la collecte : les systèmes de traitement et de collecte de données doivent être conçus de manière à collecter le moins de données à caractère personnel possible. Uniquement les données strictement nécessaires à la réalisation de l’objectif doivent être collectées. De plus, les procédures anonymisées voire pseudonymisées sont plus inoffensives et plus respectueuses.
• Un stockage permanent de données personnelles n’est pas autorisé lors de l’archivage de données personnelles. Les délais légaux de conservation doivent être respectés. Si ce délai est dépassé et prolongé sans autorisation, ce stockage devient alors illégal.
   
• Le profilage et les décisions individuelles automatisées : parfois les procédures de data mining sont utilisées dans le contexte des décisions individuelles automatisées. Or une telle approche, y compris le profilage, est désormais contraire au nouveau règlement européen sur la protection des données sauf dans des cas limités et si des mesures strictes sont prises pour garantir le respect des droits de la personne.

Il est recommandé aux éditeurs et aux utilisateurs d’utiliser des systèmes de stockage de données et de procédures de data mining basés sur des techniques qui respectent la protection des données et qui évitent le stockage de données à caractère personnel par le biais, par exemple, de l’anonymisation ou de la pseudonymisation.

L’entreposage de données a depuis longtemps cessé d’être réservé uniquement aux grandes entreprises. Les petites et moyennes entreprises (PME) voient aussi désormais un potentiel sur l’optimisation des processus d’affaires grâce à des analyses de données poussées. En sus des suites BI coûteuses et des solutions DWH complètes intégrées, des produits d’entrée de gamme à faible coût allant de services de Cloud flexibles à des applications open source sont depuis plusieurs années sur le marché. Ces produits ciblent en particulier les entreprises de taille moyenne.

Les logiciels commerciaux de BI (Business Intelligence) classiques se caractérisent généralement par une grande fiabilité, une gamme de services convenus dans le cadre d’accords de niveau de service (SLA pour Service Level Agreement) et une assistance professionnelle. Cependant, les utilisateurs doivent planifier un budget pour leur acquisition ou pour l’utilisation de ces services basés sur le Cloud.

La liste suivante donne un aperçu des produits de data warehousing payants des principaux fournisseurs et éditeurs (par ordre alphabétique).

En plus des produits payants, le marché des logiciels de BI offre différentes solutions open source qui apportent gratuitement des fonctionnalités d’entreposage de données. Vous trouverez ci-dessous une vue d’ensemble des outils open source de Business Intelligence. Le tableau montre non seulement les programmes BI open source les plus courants, mais aussi l’étendue des applications offertes par chacun d’entre eux. Plus d’informations sur les outils de Business Intelligence open source peuvent être trouvées dans cet article en anglais du site Internet OpenSource.com.

Les programmes open source listés peuvent être assignés aux domaines de l’ETL, OLAP, data mining et du reporting selon les domaines d’application. En outre, il existe des solutions de BI intégrées couvrant tous les domaines répertoriées.

Solutions ETL

Les programmes open source Pentaho DI, Talend OS et Jasper ETL sont idéaux pour l’acquisition de données et pour une intégration dans un processus ETL (extraction, transformation, chargement).

• Pentaho DI : l’outil ETL Pentaho Data Integration (DI), également connu sous le nom de Kettle, fait partie de la suite BI de Penthao, mais peut aussi être utilisé comme application autonome dans les architectures d’entrepôt de données, indépendamment des autres composants Pentaho. L’outil d’acquisition et d’intégration de données dispose d’une interface utilisateur graphique qui permet aux utilisateurs sans connaissances en programmation de gérer les processus ETL. Pentaho DI offre un vaste choix de différents modules de processus avec lesquels les différentes étapes du processus ETL peuvent être définies. L’outil d’intégration de données prend en charge tous les systèmes de base de données courants. Les fichiers plats comme CSV, Excel, ou les fichiers texte peuvent aussi être utilisés comme sources de données. De plus, l’outil apporte des interfaces vers des suites BI propriétaires de SAS ou SAP ainsi que vers des logiciels d’analyse comme Google Analytics notamment.
• Talend OS : comparable à Pentaho DI, c’est l’outil ETL open source de l’éditeur de logiciels Talend. Talend Open Studio (OS) permet aussi aux utilisateurs de définir des processus d’acquisition et d‘intégration de données à l’aide de modules paramétrés (qui sont appelés « jobs »). Le programme offre des interfaces vers toutes les sources de données communes et diverses fonctions de transformations de données. Un éditeur de cartes permet aux utilisateurs de transférer des données brutes hétérogènes dans une structure cible prédéfinie. Comme avec Pentaho DI, les utilisateurs de Talend OS sans connaissances en programmation bénéficient d’une interface utilisateur graphique.
   
• Jasper ETL : Jasper ETL est le résultat d’une coopération entre les fabricants de logiciel Jaspersoft et Talend. L’outil ETL est essentiellement basé sur Talend OS, l’outil d’intégration de données open source leader sur le marché. Il est particulièrement adapté si d’autres produits BI de Jaspersoft sont utilisés dans le contexte de l’architecture DWH.

Applications OLAP

Les outils OLAP réputés sous licence open source sont Pentaho Mondrian et Jedox.

• Pentaho Mondrian : Mondrian est un serveur OLAP basé sur Java. Développé à l’origine comme un projet open source indépendant, Mondrian fait partie depuis 2006 de la suite BI de Pentaho. Les utilisateurs peuvent continuer à utiliser le logiciel en tant qu’application indépendante. Mondrian est également utilisé dans les solutions BI d’autres éditeurs de logiciels libres comme Jaspersoft. Les utilisateurs bénéficient d’un regroupement de ressources open source qui permet de réaliser des projets communs tels que le Mondrian Schema Workbench ou l’interface OLAP4J. Le projet Mondrian suit une technique basée sur structure relationnelle (ROLAP). La base de données est une base de données relationnelle, dont les tables sont organisées en étoile ou en flocon. L’accès prend la forme de requêtes multidimensionnelles (MDX), via XML pour l’analyse (XMLA) ou via l’interface Java OLAP4J. Le Mondrian Schema Workbench apporte aux utilisateurs une interface utilisateur graphique. Les schémas Mondrian peuvent être facilement développés et testés sur le bureau.
   
• Jedox : avec la suite BI du même nom, l’éditeur de logiciels Jedox offre une solution complète pour les applications de Business Intelligence et de gestion de la performance. Le composant central du logiciel est un puissant serveur OLAP en mémoire qui peut aussi être intégré dans d’autres environnements logiciels via des interfaces pour Java, PHP, C/C++ ou .NET. Pour les PME, utiliser Jedox est particulièrement adapté en raison de l’add-in Excel, qui peut aussi être utilisé afin de faire fonctionner le serveur OLAP à l’aide du célèbre logiciel tableau de Microsoft. En effet, les applications Office sont largement utilisées par les petites et moyennes entreprises, où elles constituent souvent la base de la gestion des données. L’intégration d’Excel réduit ainsi le temps et les efforts nécessaires notamment à la formation des employés.

Data mining

Des produits open source sont également disponibles pour les utilisateurs dans le domaine du data mining sous une licence open source. La BMWI recommande KNIME, RapidMiner et Weka.

• KNIME : KNIME est l’abréviation de « Konstanz Information Miner ». C’est un outil de data mining développé comme logiciel libre à l’université de Constance en Allemagne. Il offre aux utilisateurs, en plus de ses propres méthodes d’analyse, de nombreuses possibilités d’intégration pour différents algorithmes de data mining et d’apprentissage automatique (machine learning). Les différentes étapes de prétraitement de données (ETL), de la modélisation, de l’analyse et de la visualisation peuvent être définies via une interface utilisateur graphique en glissant et déposant les modules respectifs dans la zone de travail. KNIME.com, AG basée à Zurich, propose un téléchargement gratuit du logiciel. Si nécessaire, les utilisateurs peuvent aussi y obtenir un soutien technique professionnel et des services de consultation. Le programme écrit en Java est proposé sous la forme de plugins pour l’outil de programmation Eclipse (IDE).
   
• RapidMiner : la plateforme d’analyse RapidMiner de l’éditeur de logiciels du même nom offre aux utilisateurs un environnement intégré pour l’apprentissage automatique, le data mining, les analyses des tendances et les modèles de prévision dans un modèle open core. Le support couvre toutes les étapes du processus de data mining dont la préparation, la visualisation, la validation et l’optimisation des données. Les utilisateurs pour lesquels la version communautaire gratuite, avec un seul processeur logique et une portée d’analyse allant jusqu’à 10 000 enregistrements de données n’est pas suffisante, peuvent choisir la licence Entreprise payante. Le programme est écrit en Java, et offre une interface utilisateur graphique avec laquelle le workflow d’analyse peut être facilement défini et exécuté en quelques clics de souris.
   
• Weka : Weka (Waikato Environment for Knowledge Analysis) est un projet open source de l’université de Waikato en Nouvelle-Zélande. L’outil d’analyse apporte aux utilisateurs différents algorithmes dans le domaine de l’apprentissage automatique. Outre les méthodes classiques de data ming comme la classification, l’association ainsi que la régression ou l’analyse de cluster, Weka comporte divers modules de visualisation et de prétraitement des données. Le programme écrit en Java offre une interface utilisateur graphique. Les fonctionnalités du logiciel peuvent s’exécuter aussi via les lignes de commande. Si besoin, Weka peut être intégré à vos propres solutions logicielles via une interface Java.

Systèmes de reporting

Les outils de reporting open-source recommandés sont BIRT et SQL Power Wabit. Outre les rapports mensuels, trimestriels et annuels classiques, ces rapports offrent aussi des fonctions d’analyse ad hoc permettant de fournir des informations pertinentes en temps réel.

• BIRT : BIRT (Business Intelligence and Reporting Tools) est un projet open source de la fondation à but non lucratif Eclipse Foundation, qui fournit des fonctionnalités de reporting BI pour « clients riches (RCP) » et applications Web. Le logiciel est adapté aux applications basées sur Java et couvre un large éventail de visualisation et de rapports de données. Les rapports BIRT sont créés via une interface utilisateur graphique basée sur l’outil de programmation open source Eclipse et sauvegardés sous forme de fichiers XML.
   
• SQL Power Wabit : avec l’outil de reporting SQL Power Wabit, les utilisateurs peuvent créer des rapports basés sur des requêtes classiques de base de données. Les cubes OLAP ne sont pris en charge que s’il existe une description de la structure de données. L’outil prend en charge les rapports standards, les requêtes ad hoc, les pages de synthèse définies par l’utilisateur et les opérations de recherche dans le cadre du traitement analytique en ligne. Avec des fonctions comme le contrôle par glisser-déposer, la mise à jour des rapports de résultats en temps réel, la recherche globale et un éditeur WYSIWYG pour la rédaction de rapports, SQL Power Wabit convient également aux utilisateurs qui n’ont pas de connaissances en SQL. Grâce à cela, des rapports détaillés peuvent être facilement créés et si nécessaire, adaptés individuellement en ce qui concerne la police, les couleurs et la mise en page.

Solutions de BI intégrées

En plus des suites de Business Intelligence d’éditeurs réputés comme SAP, Oracle, IBM, SAS, HP ou Microsoft, il existe aussi des projets logiciels sur le marché open source qui apportent aux utilisateurs des solutions d’entreposage de données sous forme de collections de programmes intégrés. Pentaho CE, Jaspersoft et SpagoBI sont pour cela recommandés.

• Pentaho Community Edition (CE) : en plus des développements internes, la suite Pentaho BI comporte aussi des projets open source existants qui ont été progressivement achetés puis intégrés dans le portefeuille de produits. Le projet se concentre sur l’intégration des données et l’automatisation des rapports. La collection du programme comprend :
   
  • Pentaho Business Analytics Platform : la plateforme Business Analytics est une application Web qui permet aux utilisateurs de regrouper toutes les informations dans une plateforme centrale.
     
  • Pentaho Data Integration : Pentaho DI se réfère à l’outil ETL décrit ci-dessus.
     
  • Pentaho Report Designer (PRD) : PRD est un développement du projet JFreeReport. La solution de reporting open source prend en charge différents formats de sortie comme PDF, Excel, HTML, Text, Rich-Text-File, XML et CSV.
     
  • Pentaho Marketplace : le Marketplace permet aux utilisateurs d’ajouter des plugins à la plateforme Pentaho en un simple clic.
     
  • Pentaho Aggregation Designer (PAD) : avec PAD, les utilisateurs peuvent créer et optimiser le contenu des bases de données. Le cœur de l’outil est le serveur OLAP Mondrian.
     
  • Pentaho Schema Workbench (PSW) : PSW est une interface de conception graphique qui offre la possibilité aux utilisateurs de créer et de tester les schémas pour les cubes OLAP Mondrian.
     
  • Pentaho Metadata Editor (PME) : PME est utilisé pour décrire dans le détail les structures de données sous-jacentes à l’aide d’un fichier XML.

Pentaho Enterprise Edition (EE) est une version payante de la suite de BI avec des fonctionnalités étendues et un support professionnel.

• Jaspersoft : Jaspersoft propose diverses applications DWH dans une solution de BI intégrée. La collection du programme comprend donc : 
  • JasperReports Server : le serveur JasperReports est un serveur de rapports qui apporte une fonctionnalité OLAP par l’intermédiaire d’un serveur Mondrian ajusté.
  • JasperReports Library : Jaspersoft fournit une bibliothèque Java pour la création de rapports.
  • Jaspersoft Studio : avec Jaspersoft Studio, la suite de BI fournit un éditeur de rapports.  
  • Jaspersoft ETL : l’outil ETL basé sur Talend OS déjà décrit ci-dessus.
  • Mobile BI : Mobile BI est une application native pour iPhone et Android qui apporte un accès mobile aux rapports et tableaux de bord.

Jaspersoft est aussi disponible avec une gamme étendue de fonctions dans une version commerciale payante.

• SpagoBI : contrairement à Penthao et Jaspersoft, qui commercialisent leurs produits avec un système de double licence, SpagoWorld offre sa suite de BI exclusivement sous la forme de solution open source. Les entreprises ont cependant la possibilité d’utiliser une configuration et une adaptation professionnelle du logiciel via un service payant. La collection du programme comprend les éléments suivants :
  • SpagoBI Server : le cœur de la suite de BI open source est le serveur SpagoBI, qui fournit tous les outils et fonctionnalités d’analyse.
  • SpagoBI Studio : SpagoBI Studio est un environnement de développement intégré.
  • SpagoBI Meta : SpagoBI Meta apporte aux utilisateurs un environnement de gestion des métadonnées.
  • SpagoBI SDK : avec SpagoBI SDK, la suite Spago BI dispose d’une couche d’intégration qui permet d’intégrer différents outils externes, tels que Talend OS (ETL), Jedox ou Mondrian (OLAP), Weka ou R (datamining) ainsi que BIRT ou JasperReports Library (reporting).

Archivage des données

Les utilisateurs ont également diverses alternatives aux systèmes de gestion de bases de données propriétaires tels que Microsoft SQL Server, IBM DB2 ou les solutions d’Oracle et Teradata disponibles en tant que projets de logiciels libres dans le domaine de la gestion des données. Les principaux magasins de données sont les systèmes de bases de données relationnelles MySQL et MariaDB ou le système de gestion de base de données relationnel/objet PostgreSQL. Le dernier est publié par Pivotal sous le nom de Greenplum Database en tant que développement optimisé, en particulier pour les architectures d’entrepôt de données sous licence open source.

Le data warehousing est arrivé sur le marché dit intermédiaire. Le marché des solutions de BI et des systèmes de data warehouse offre, en plus des solutions Entreprise payantes, un large éventail de projets open source utilisables. Pour les petites et moyennes entreprises, l’obstacle financier associé à l’analyse de données volumineuses diminue ainsi.

Il est recommandé aux petites et moyennes entreprises de se concentrer d’abord sur le reporting lors de l’introduction de solutions de BI. Les entrepreneurs obtiennent une valeur ajoutée en combinant les données existantes avec des dépenses simples. Si des lacunes dans la base de données deviennent apparentes au cours de l’analyse, la prochaine étape devrait être de réorganiser la collecte de données à l’aide des outils ETL ou OLAP présentés ici. L’intégration d’une architecture d’entrepôt de données (DWH) dans l’infrastructure informatique respective est complétée par des outils de data mining, qui peuvent identifier de nouvelles tendances et des connexions croisées grâce à des analyses plus poussées (par exemple, des analyses de panier d’achat) et apporter ainsi une contribution cruciale pour la prise de décision stratégique.

Les entreprises de taille moyenne qui envisagent de créer un entrepôt de données devraient s’attacher dès le départ à mettre en œuvre la stratégie de BI en se conformant et en respectant les règles en matière de protection des données.