Journal Talend Open Studio 2.4.0RC2

Posté par (page perso) .
Tags : aucun
0
23
mai
2008
Talend Open Studio est un ETL, un outil d'intégration de données open source qui permet de connecter différentes sources de données (comme des SGBDs), d'exporter, importer des données entre eux, etc.

La release candidate de Talend Open Studio 2.4.0 est disponible. Cette version contient toutes les fonctionnalités de Talend Open Studio 2.4.0 et nous souhaitons impliquer la communauté pour nous aider à identifier tous les problèmes qui peuvent encore exister, avant sa release finale, prévue en juin.

Qu'y a t-il de nouveau dans cette version? Comparé à Talend Open Studio 2.3.x, de nombreuses fonctionnalités ont été ajoutées :

- Un tMap persistant qui permet d'effectuer des lookups sur des flux massifs (plusieurs Go)
- Gestion des contextes et des métadonnées revue et améliorée
- Propagation des changements des métadonnées avec analyse de dépendances
- Nouveau mode ELT avec la possibilité d'externaliser les patterns SQL
- Mise en évidence des subjobs avec définition de pre- et post-jobs
- Installation automatique de composants depuis l'Ecosystem
- Nouveaux assistants (Excel, SalesForce.com)

Nous avons aussi intégré des dizaines de nouveaux composants et connecteurs, notamment :
- Parallélisation des liens iterate
- Nouveau support ou amélioration du support de plusieurs bases de données (EnterpriseDB, MaxDB, DB2, Sybase, Interbase, etc.)
- Support pour les Dimensions à Evolution Lente en mode ELT
- Pipe d'une commande externe sur le flux de données
- Lookup de pays à partir de l'adresse IP

Je vous invite chaleureusement à télécharger et à tester cette Release Candidate, de lire la documentation, de suivre les tutoriaux, de discuter avec nous sur le Forum, de reporter les bugs; mais aussi bien entendu de suggérer de nouvelles fonctionnalités.

- ETL sur wikipedia http://en.wikipedia.org/wiki/Extract,_transform,_load
- téléchargement http://talend.com/download.php
- site communautaire (forum, wiki, bugtracker) http://talendforge.org
- changelog technique http://talendforge.org/bugs/changelog_page.php
- détails techniques sur les lookups volumineux http://talendforge.org/wiki/doku.php?id=specifications:hash_(...)
  • # composant REST ?

    Posté par . Évalué à 2.

    Très intéressant comme produit !
    Je viens de faire un petit tour avec, la documentation et les exemples fournis permettent vraiment d'avoir une idée de la puissance de la chose.

    Existe-t-il un composant permettant de dialoguer avec un web service de type REST ?
    • [^] # Re: composant REST ?

      Posté par (page perso) . Évalué à 2.

      Et bien non pas encore. Mais c'est justement une demande qui nous a été faite récemment. C'est dans la roadmap. Pendant que je tiens quelqu'un qui aurait le besoin de faire du REST, est-ce que tu peux me dire plus précisément ce que tu voudrais faire, avec un exemple et tout ? (ça va nous aider à spécifier la fonctionnalité)
      • [^] # Re: composant REST ?

        Posté par . Évalué à 1.

        J'ai à gérer 2 populations de personnes, chacune qui est gérée par une application différente reposant sur une base de données.

        J'ai du créé un web service pour interagir à distance avec une des applications (ou plus exactement la base de données sous jacente). Ce n'était pas possible d'attaquer la base directement, et en plus l'application risque de changer sous peu.

        Du REST très basique :

        GET /personnes.xml -> la liste en xml de toutes les personnes, avec des paramètre pour du filtrage
        GET /personnes/45.xml -> le xml correspondant à une personne (id=45)
        POST /personnes -> creation
        PUT /personnes/45.xml -> mise à jour

        J'utilise ce web service pour remplir un annuaire LDAP et le garder synchroniser, pour le moment avec un 2 scripts maison.

        Le contenu de la base de l'autre application est importé lui aussi dans le LDAP, avec un autre script qui attaque directement la base (de l'oracle). Le script utilise le web service précédent pour signaler des éventuels doublons avec l'autre base (en appellant le GET /personnes.xml avec des paramètres pour restreindre le retour)

        Voilà en très gros :-)

  • # Un site web de m...

    Posté par . Évalué à 3.

    Faut s'identifier pour lire la documentations. Le guide utilisateur c'est ce qu'il y a de mieux pour voir ce qui est faisable simplement.

    Il y a une vidéo en flash et frenglish (anglais rédigé par un français et dit par un français...)
    • [^] # Re: Un site web de m...

      Posté par (page perso) . Évalué à 4.

      (Je vais tâcher de ne pas insulter l'intelligence des lecteurs de LinuxFr, je ne vais pas vous pipoter)

      talend.com, c'est le site d'une entreprise à but lucratif. Talend l'entreprise est distributeur de Talend Open Studio, un logiciel sous licence GPL.

      Pour l'identification nécessaire à l'accès à la documentation, c'est récent du mois de février et ça nous permet d'avoir des informations exploitables commercialement. Les utilisateurs qui téléchargent la documentation sont susceptibles d'être intéressés par une formation ou une expertise, ou plus si affinité.

      On m'a demandé d'analyser les logs Apache avant/après le formulaire de téléchargement de la documentation et le nombre de téléchargement n'a pas baissé, donc on a gardé le formulaire.

      Concernant la vidéo, elle est en flash. Bon moi, j'ai jamais pu la voir autrement que sur l'ordinateur d'un collègue sous Microsoft Windows, c'est vrai c'est pénible. Après, nos statistiques (et on a un tas d'indicateurs) nous montrent que nos utilisateurs sont très majoritairement des windowsiens (qui ont tous flash). J'inverse peut-être la cause et la conséquence... mais pour le savoir il faudrait qu'on fasse des vidéos en format libre et ça je ne sais pas si on peut (je n'ai pas de compétence en vidéo).

      Toujours concernant la vidéo, pour le frenglish. Je ne sais pas de quelle vidéo tu parles. La vidéo qui est très mise en avant sur le site, celle avec une photo de top-model, est lue par notre responsable documentation/traduction qui, pour avoir vécu en pays anglophone plusieurs années, a semble-t-il un bon niveau en anglais. Pour les autres vidéos, je ne sais pas.

      Pour voir rapidement ce qui faisable avec Talend Open Studio, le mieux à mon avis, c'est la vidéo avec le top-model puis les tutoriaux.

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.