Un serveur d'intégration permet de centraliser les échanges de données entre différents systèmes. Initialement, ces systèmes ne sont pas conçus pour communiquer entre eux. Un serveur d'intégration sait parler différents protocoles/formats, et peut ainsi servir d'interprète pour permettre les échanges de données parmi la multitude de bases/fichiers d'une entreprise.
La société Brunswick a développé ce produit pour des besoins internes dès 1999, et l'a placé sous licence GNU GPL dans la foulée.
Les principales nouveautés de la V6 :
- migration de mySQL vers Hypersonic SQL pour les informations de configuration internes ;
- nouvel éditeur de route en DHTML ;
- implémentation plus complète de BPML. Le support des commandes suivantes a été ajouté : switch, assign, all, sequence, delay, and foreach ;
- intégration JBOSS ;
- ajout du support JMS : action (client) et listener (serveur) ;
- boucles et conditions possibles dans les routes ;
- installation graphique. Cet outil permet de traiter les flux temps réel, les flux batch, ainsi que les importations de données. La version 6 lui confère un aspect beaucoup plus professionnel, notamment avec de grosses améliorations pour l'édition des workflows.
Les principaux 'concurrents' dans ce domaine s'appellent :
IBM - Websphere Business Integration - Server Foundation
BEA - Weblogic
Webmethods
Ce produit est développé en java, est extrêmement simple à installer (surtout depuis que mySQL n'est plus requis), et dispose d'un support gratuit via le forum. La documentation (très facultative !) est vendue 125 $.
Ce n'est bien sûr pas un produit grand public, mais un produit à tester en entreprise avant de partir voir les mastodontes du marché.
Aller plus loin
- Le site de BIE (11 clics)
- Télécharger BIE (3 clics)
- Le forum sur lequel interviennent les développeurs (5 clics)
- Didacticiel succinct (7 clics)
# interessant
Posté par Stéphane Traumat (site web personnel) . Évalué à 1.
http://about.me/straumat
# EAI ?
Posté par Pierre Tramonson . Évalué à 3.
Parce qu'au vu du produit c'en est un pour moi.
[^] # Re: EAI ?
Posté par Sebastien . Évalué à 4.
[^] # Re: EAI ?
Posté par bengali . Évalué à 2.
[^] # Re: EAI ?
Posté par Ymage . Évalué à 3.
Si vous n'aimez pas ce commentaire c'est qu'il est ironique.
[^] # Re: EAI ?
Posté par Raoul Volfoni (site web personnel) . Évalué à 9.
Parce qu'au vu du produit c'en est un pour moi.
La réponse donnée par Sébastien est amusante mais ne reflète pas exactement la réalité sur la complexité des environnements distribués en milieu hétérogène. De fait, après l'avènement des flux A to A et B to B, le C to C porté sur des architectures Webservices a montré à quel point l'intégration globale permettant de fédérer l'ensemble des îlots applicatifs de l'entreprise est devenu pour celle-ci un challenge nécessaire pour mener à bien la décentralisation des fonctions décisionnelles de son Business Intelligence.
Après les difficultés rencontrées lors des fusions stratégiques entre les flux A to B et B to C, l'avènement proche de l'externalisation des connecteurs de l'EAI en prévoyance de l'arrivée à court terme des flux C to D, rend l'entreprise vulnérable aux erreurs d'intégration des applications, pourtant au coeur des préoccupations des entreprises qui souhaitent tirer le plus profit de leurs investissements technologiques.
Notre société développe depuis plusieurs années un savoir-faire inégalé....
Bon, ok --> []
[^] # Re: EAI ?
Posté par Tonio (site web personnel) . Évalué à 2.
[^] # Re: EAI ?
Posté par Raoul Volfoni (site web personnel) . Évalué à 0.
Non, humour. :(
[^] # Re: EAI ?
Posté par Tonio (site web personnel) . Évalué à 2.
La Business Intelligence a plus besoin d'un ETL que d'un EAI.
Avec la BI, il faut pouvoir hierarchisé et aggréger les données dans une base de données (métier => datamart ou entreprise => datawharehouse (ensemble de datamart)).
Je ne sais pas si il y a un ETL libre? en tout j'en cherche 1.
Les scripts à la main, c'est moyen; et je ne veux pas mettre 10000 euros dans un ETL.
Pour info:
ETL: Extraction Transformation Load.
Extraction de données à partir de sources (bases de données ou fichiers plat)
Transformation des données: concatenation, changement de format, changement de nomenclature, etc.
Injection dans une base de données...
[^] # [HS] Re: EAI ?
Posté par RoX . Évalué à -1.
[-1 HS]
[^] # ETL !
Posté par morfal . Évalué à 2.
Extraction : BIE peut scruter un répertoire local ou via FTP, écouter en HTTP, écouter une file de message (JMS), attendre un mail, récupérer des données depuis une base
Transformation : BIE dispose d'un outil de mapping qui permet de décrire les association entre tes champs de départ et d'arrivée, avec foule de conversions possibles (traitement de chaîne, mathématique, ...)
Load : comme pour l'extraction, BIE peut adresser les données transformées dans divers protocoles/formats.
M
[^] # Re: ETL !
Posté par Nÿco (site web personnel) . Évalué à 3.
Mais qu'est-ce qu'il a de plus et/ou de moins qu'un ETL pour qu'on ne l'appelle ni ETL ni EAI ?
[^] # Re: ETL !
Posté par morfal . Évalué à 1.
Que doit savoir faire un EAI/ETL pour être considéré comme tel ?
Je connais bien BIE, je pourrais alors te dire s'il mérite l'une, l'autre (voire les deux) appellations.
M
[^] # Re: ETL !
Posté par Nÿco (site web personnel) . Évalué à 2.
Ensuite on l'imagine, la capacité à aller les charger (capacité duale) en base.
Allons-y également, la capacité à aller chercher et générer des fichiers plats (texte ASCII ou tout autre encodage, HTML/XML, etc.).
Pour ça il lui faudra maitriser une ensemble de protocoles de transport/échange de fichiers : on pense à FTP en premier, mais aussi scp, http, sftp, etc.
La capacité la plus évidente, mais la moins pensée (paradoxalement), c'est le scheduling : un chef d'orchestre pour gérer tout ça.
Et puis des belles interfaces graphiques pour simplifier/modéliser le boulot.
Et puis aussi pourquoi pas des outils de mesure des perfs.
Y'a tout ça dans BIE ?
[^] # Re: ETL !
Posté par Tonio (site web personnel) . Évalué à 3.
Le plus important est sa capacité de faire des traitements complexes et aussi toute la richesse du language du moteur SQL(drivers natif).
Pour l'ordonancement, ce n'est pas trop compliqué car si le "produit" est bien(scriptable), fait c'est facile.
Par contre le temps réel est une fonctionnalité majeur d'un ETL. Le prix double rien d'avec cette fonctionnalité. Travail sur valeur(s) dans des champs.
Les modéles métiers sont vendus autour de 10/20k euros par progiciels.
L'aspect le plus important est l'interface graphique, comme disait nÿco:
"Et puis des belles interfaces graphiques pour simplifier/modéliser le boulot."
[^] # Re: ETL !
Posté par morfal . Évalué à 1.
Ben déjà la capacité d'aller chercher des infos dans tous les - ou au moins la plupart des - systèmes de bases de données.
Ensuite on l'imagine, la capacité à aller les charger (capacité duale) en base.
jdbc, donc oui.
Allons-y également, la capacité à aller chercher et générer des fichiers plats (texte ASCII ou tout autre encodage, HTML/XML, etc.).
En interne, tout est traité en XML, mais aucun souci pour importer exporter en fichier plat (csv ou autre)
Pour ça il lui faudra maitriser une ensemble de protocoles de transport/échange de fichiers : on pense à FTP en premier, mais aussi scp, http, sftp, etc.
FTP, HTTP, HTTPS.
Mais pas (encore) scp ou sftp. Mais comme on peut invoquer des scripts, on peut se débrouiller malgré tout, même si c'est moins proprement intégré.
La capacité la plus évidente, mais la moins pensée (paradoxalement), c'est le scheduling : un chef d'orchestre pour gérer tout ça.
Les workflows sont déclanchées automatiquement dès qu'un message associé arrive. L'association se fait sur le nom du fichier (ftp, scrutation locale), sur le sujet (mail), sur un paramètre de l'url (http), ...
Un scheduler permet d'invoquer des workflows à intervalles réguliers.
Et puis des belles interfaces graphiques pour simplifier/modéliser le boulot.
Tout se fait en client léger (IE, firefox testés et OK). Sauf le mapping (transformation) qui est une appli graphique indépendante (sous win, ou avec un serveur X)
Et puis aussi pourquoi pas des outils de mesure des perfs.
Là non, rien n'est intégré. Il y a des logs qui traces les événements, mais sinon il faut jouer avec openSTA, rrdtools/cacti selon tes désirs.
M
[^] # Re: ETL !
Posté par Nÿco (site web personnel) . Évalué à 2.
Beuark... ODBC au moins nécessaire, et du Oracle natif minimum... malheureusement...
Sinon, cool, ça a l'air pas mal... que peux-tu en dire de plus ? Y a-t-il à ton sens des "killer-features" ? Des petits trucs en plus ? Quelles sont honnêtement ses limitations ? Et puis subjectivement, qu'en penses-tu ? Toussa quoi...
[^] # Re: ETL !
Posté par Tonio (site web personnel) . Évalué à 2.
Si BIE est un EAI soit un meta-connecteur de données et que l'on puisse faire de cette outil un ETL... cela serait génial
Il faudra pluôt demander aux développeurs pour savoir ce qu'ils en pensent?!
Il reste encore des zones d'ombres à voir, tout un programme
Je vais mettre tout cela dans mon journal....
[^] # Re: ETL !
Posté par neilujnoilleb . Évalué à 2.
Ceci dit, je ne vois pas pourquoi les drivers natifs seraient nécessairement ODBC ??? (cf Oracle)
[^] # Re: ETL !
Posté par Tonio (site web personnel) . Évalué à 1.
On cherche des alternatives!!!
Je peux en citer des ETL mais cela ne va pas faire avancer notre besoin.
Concernant les connexions: pour ODBC, on passe par gestionnaire de conexions ODBC et la pluspart des bases de données ont un connecteur ODBC.
Pour les drivers natifs, ils permettent d'utiliser le language évolué et spécifique au moteur de bases de données
[^] # Re: ETL !
Posté par neilujnoilleb . Évalué à 1.
1- OK, Sunopsis n'est pas libre
2- les drivers ODBC fonctionnent rarement sous linux ;-)
3- Un driver natif n'a rien à voir avec le fait qu'il soit géré par ODBC
Ceci dit, pour ce qui est des principales BDD du marché (Oracle, SQL Server, DB2), on trouve peu de drivers natifs libres ;-)
[^] # Re: ETL !
Posté par Tonio (site web personnel) . Évalué à 1.
Je disais qu'il est important d'avoir un driver natif et un driver odbc. Car lorsqu'il y a un driver natif; parfois il n'y a pas d'odbc.
Je ne recherche pas à avoir les drivers natifs en LL; ce n'est pas un besoin
L'ETL peut tourner sous Windows ou sous Linux, cela n'est pas important pour moi
Cdl,
Antoine
[^] # Re: ETL !
Posté par morfal . Évalué à 1.
Les limitations : peut-être les perfs, je ne l'ai pas encore testé sur de grosses machines, mais sur des moyennes configs non optimisées (PC 1GHz, 128 Mo RAM) j'ai pu observer des temps de réponses décevants. Sinon, c'est une petite boite, 15 développeurs, donc il y a moins de garantie de viabilité du produit sur le long terme qu'avec les produits commerciaux du même secteur. Et pas de références de grandes entreprises.
Vu le tarif des concurrents, c'est tout de même un produit qu'il serait dommage d'ignorer...
M
[^] # RedBerri
Posté par morfal . Évalué à 1.
M
[^] # Re: EAI ?
Posté par Nÿco (site web personnel) . Évalué à 3.
Ah... enfin un post censé sur la BI sur LinuxFr, je désespérais...
En ce qui concerne l'ETL libre, je l'attends également, je croyais qu'il ne fallait plus trop compter sur GNUe Integrator, mais le développement vient enfin de commencer : http://www.gnuenterprise.org/tools/integrator/(...) Pour info, GNUe aka GNU Enterprise est l'ERP et la plateforme de dev d'applis d'entreprise du projet GNU dont l'AppServer vient de sortir en première milestone.
Bon, j'avoue j'ai un peu lâché la BI depuis un peu plus d'un an : que devient l'EAI face à l'ETL en entreprise ?
Autre constatation que je déplore : la BI n'est vraiment pas la panacée du monde libre/OpenSource... à moins qu'il existe des outils qui ne seraient pas passés sous mes yeux ? (il m'a semblé entrevoir des débuts d'outils de reporting sur Freshmeat...)
[^] # Re: EAI ? / et ETL?
Posté par Tonio (site web personnel) . Évalué à 2.
Oui, je l'ai vu il y a quelques années, et cela n'a pas avancé!
Sinon concernant le reporting, il y a des choses mais il n'y a pas de notion niveau de sécurité, de groupes, de chaînes de connexions, etc.
C'est juste du reporting simple: filtres, ruptures, présentation statique.
Il y a encore beaucoup de boulot pour faire de la BI en LL.
- reporting d'un côté
- ETL de l'autre
- pour le datawharehouse, on a ce qu'il faut
[^] # Re: EAI ?
Posté par cumulus . Évalué à 3.
Ca commence à venir, j'ai l'impression. Il y a eu un article dans une revue informatique (orientée décideurs) sur The Bee Project
http://bee.insightstrategy.cz/(...)
"The BEE Project is a suite of tools supporting Business Intelligence project implementation including ETL tool and ROLAP server and a client. Suite design is based on ROLAP methodology with aim to cover projects with data volume up to 50GB."
Jamais essayé par contre :).
[^] # Re: EAI ?
Posté par Jean-Emmanuel LACÔTE . Évalué à 3.
http://www.admiroutes.asso.fr/action/bb/loto.htm(...)
L'Ultime outil pour les développeurs dans les réunions de projet :D
[^] # Re: EAI ?
Posté par Raoul Volfoni (site web personnel) . Évalué à 2.
Non, effectivement je ne connaissais pas. Excellent, merci. :)
[^] # Re: EAI ?
Posté par djano . Évalué à 0.
[^] # Re: EAI ?
Posté par Tonio (site web personnel) . Évalué à -1.
[^] # Re: EAI ?
Posté par djano . Évalué à -1.
Tout fout le camp!
[^] # Re: EAI ?
Posté par Philippe F (site web personnel) . Évalué à 3.
# Hypersonic SQL & cloudcapse
Posté par Stéphane Traumat (site web personnel) . Évalué à 4.
Puis je développer mes applis avec cloudscape et balancer mysql et firebird à la poubelle ?
http://about.me/straumat
[^] # Re: Hypersonic SQL & cloudcapse
Posté par Raoul Volfoni (site web personnel) . Évalué à 5.
Mais c'est qu'il est têtu. :) PostgreSQL on te dit! Et puis prend donc 5mn pour lire le document, donné en lien ici: http://linuxfr.org/comments/432737,1.html(...) C'est assez édifiant.
[^] # Re: Hypersonic SQL & cloudcapse
Posté par Stéphane Traumat (site web personnel) . Évalué à 2.
Par contre, cloudscape a l'air bon, il implemente le sql et il supporte les procédures stockées ;)
alors, si je peux avoir une db qui fait 2 Mo qui a pas d'install, qui supporte la réplication et qui est multiplateforme... ca serait cool
http://about.me/straumat
[^] # Re: Hypersonic SQL & cloudcapse
Posté par Stéphane Traumat (site web personnel) . Évalué à 0.
http://about.me/straumat
[^] # Re: Hypersonic SQL & cloudcapse
Posté par Gniarf . Évalué à 1.
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.