Talend Open Studio est un ETL, un outil d'intégration de données open source qui permet de connecter différentes sources de données (comme des SGBDs), d'exporter, importer des données entre eux, etc.

La release candidate de Talend Open Studio 2.4.0 est disponible. Cette version contient toutes les fonctionnalités de Talend Open Studio 2.4.0 et nous souhaitons impliquer la communauté pour nous aider à identifier tous les problèmes qui peuvent encore exister, avant sa release finale, prévue en juin.

Qu'y a t-il de nouveau dans cette version? Comparé à Talend Open Studio 2.3.x, de nombreuses fonctionnalités ont été ajoutées :

- Un tMap persistant qui permet d'effectuer des lookups sur des flux massifs (plusieurs Go)
- Gestion des contextes et des métadonnées revue et améliorée
- Propagation des changements des métadonnées avec analyse de dépendances
- Nouveau mode ELT avec la possibilité d'externaliser les patterns SQL
- Mise en évidence des subjobs avec définition de pre- et post-jobs
- Installation automatique de composants depuis l'Ecosystem
- Nouveaux assistants (Excel, SalesForce.com)

Nous avons aussi intégré des dizaines de nouveaux composants et connecteurs, notamment :
- Parallélisation des liens iterate
- Nouveau support ou amélioration du support de plusieurs bases de données (EnterpriseDB, MaxDB, DB2, Sybase, Interbase, etc.)
- Support pour les Dimensions à Evolution Lente en mode ELT
- Pipe d'une commande externe sur le flux de données
- Lookup de pays à partir de l'adresse IP

Je vous invite chaleureusement à télécharger et à tester cette Release Candidate, de lire la documentation, de suivre les tutoriaux, de discuter avec nous sur le Forum, de reporter les bugs; mais aussi bien entendu de suggérer de nouvelles fonctionnalités.

- ETL sur wikipedia http://en.wikipedia.org/wiki/Extract,_transform,_load
- téléchargement http://talend.com/download.php
- site communautaire (forum, wiki, bugtracker) http://talendforge.org
- changelog technique http://talendforge.org/bugs/changelog_page.php
- détails techniques sur les lookups volumineux http://talendforge.org/wiki/doku.php?id=specifications:hash_(...)

> Lire le journal (5 commentaires, moyenne: 2,4).

La release 2.3.0 de Talend Open Studio est disponible dans sa première release candidate, 3 mois après la sortie de la release 2.2.0. La phase de stabilisation devrait durer 1 mois, au rythme d'une release candidate par semaine. Nous espérons un important retour des utilisateurs pour que cette release 2.3.0 soit la plus stable et aboutie possible. J'ajoute que Talend sera présent au salon Solutions Linux pour ceux qui seraient intéressés par une démonstration en vraie.

Nouveautés pour la génération de code Perl : liste dynamique de remplacement, chargement en masse pour PostgreSQL, transposée, sortie système en tant qu'origine de flux de données, composant dédié à la jointure, update en masse pour MySQL et PostgreSQL, réglage spécifique de la clef de mise à jour pour MySQL, lecture de log Subversion, lecture/écriture/attente sur socket, insertions étendues spécifiques MySQL, chargement de librairie.

Nouveautés pour la génération de code Java : liste dynamique de remplacement, sortie système en tant qu'origine de flux de données, partage de connexion Microsoft SQL Server et AS/400, attente sur base de données, option pour créer la table dans les composants de sortie en base, mode "append" et multi-feuille pour Microsoft Excel, support de script Groovy, composant dédié à la jointure, assistant pour la lecture de webservice, insertions étendues spécifiques MySQL, lecture de log Subversion, connexion SSL pour l'envoi d'email, lecture/écriture sur socket.

Nouveautés pour le studio : amélioration ergonomique du gestionnaire de contexte, ajout d'une vue dédiée au statistiques et logs pour chaque job, l'application peut être lancée en tant que plugin Eclipse, nouveau lien OnSubjobError.

- téléchargement http://talend.com/download.php
- détail des nouveautés Perl pour la 2.3.0 http://le-gall.net/pierrick/blog/index.php/2007/12/21/109
- site communautaire (forum, wiki, bugtracker) http://talendforge.org
- dépêche Talend Open Studio 2.2.0 http://linuxfr.org/2007/10/12/23208.html
- Solutions Linux http://www.solutionslinux.fr

> Lire le journal (6 commentaires, moyenne: 3,5).

Talend est un éditeur d'origine française, basé à Suresnes (92). Nous éditons l'ETL [1] opensource Talend Open Studio. Nous avons besoin d'un webmaster pour :

1. maintenir, faire évoluer, administrer talend.com (site institutionnel)
2. maintenir, faire évoluer, administrer talendforge.org (site communautaire)
3. développer, administer les applis web sur l'intranet (dev spécifique)

Les compétences techniques requises sont, dans l'ordre d'importance:

1. PHP
2. MySQL
3. CSS
4. Javascript

Le webmaster travaille en collaboration étroite (ie tout le temps) avec le directeur technique et le directeur marketting qui font les demandes d'évolution ou de mise à jour de contenu.

Pour plus d'informations, merci de me contacter sur : pierrick point legall à gmail point com.

- http://talend.com
- http://talendforge.org

[1] http://fr.wikipedia.org/wiki/ETL

> Lire le journal (37 commentaires, moyenne: 2,5).

Bonjour à Tous,

Talend [1] recrute des développeurs Perl. Voici un extrait d'un billet de mon blog [2], décrivant la société:

Talend est un éditeur logiciel. Un éditeur de logiciel opensource. Un éditeur de logiciel opensource dont une partie des développements se fait en Perl. [...] Le logiciel que nous éditons est un ETL acronyme d'Extract, Transform & Load (extraction, transformation et chargement). Ce type de logiciel est principalement lié à une utilisation en entreprise car un ETL est généralement utile pour traiter d'importants volumes de données. Notre objectif est de mettre l'ETL à portée de toutes les entreprises qu'elles soient grandes ou petites. En effet, les principales solutions actuelles sur la marché sont des solutions propriétaires et très chères.

Nous cherchons à compléter l'équipe Perl pour "absorber" la charge. Le rôle des membres de l'équipe Perl est de rechercher le meilleur modèle de génération de code Perl possible, de concevoir et de développer les composants.

Nous recherchons préférentiellement des profils expérimentés en Perl, mais des candidatures de profils plus jeunes motivés par Perl et l'opensource seront également les bienvenues. Les rémunérations proposées sont intéressantes (en tout cas très correctes) et dépendront évidemment du profil du candidat.

C'est anecdotique, mais ici les membres de l'équipe choisissent leur système d'exploitation, on a du Windows, du Debian/Ubuntu ou du Gentoo (il nous manque du Mandriva, non ?). On est assez autonome. L'ambiance est très bonne. L'équipe de développement française est constituée d'une dizaine de personnes, 9 sur Java et 1 seule sur Perl pour le moment (il faut que ça change !).

Les locaux de Talend sont à Suresnes, près de Paris. On a des tickets restaurant et on mange bien le midi. Le travail peut être partiellement fait en télétravail selon la situation géographique du candidat.

[1] http://talend.com
[2] http://le-gall.net/pierrick/blog/index.php/2006/11/06/89-tra(...)

> Lire le journal (7 commentaires, moyenne: 3,7).

bonjour à tous,

La nouvelle branche de PhpWebGallery est à quelques courtes semaines de sa sortie officielle, après plus d'1 an sur la branche 1.3 !

PhpWebGallery fait parti de ces logiciels qui permettent de créer une galerie d'images en ligne, comme Menalto Gallery, Coppermine, SPGM & Co. En toute subjectivité, PhpWebGallery a de bonnes capacités :-).

Voici les nouveautés par rapport à la branche 1.3 :

- design revu par un nouveau développeur
- gestion de tout type de fichiers, plus seulement les images
- nouvelles catégories spéciales : images au hasard, nouvelles catégories, mieux notés, calendrier
- outil de recherche avancée
- utilisation (et/ou affichage) des méta-données EXIF et IPTC
- nouveau frontend pour la gestion des sites distant
- image grand format optionnelle
- visualisation des catégories liées à l'élément (un élément peut appartenir à plusieurs catégories)
- gestion globale des options des catégories (commentables, autorisations d'ajout d'images, verrouillage, privée/publique)
- possibilité d'effectuer une simulation de synchronisation entre le filesystem et la base avant de la valider
- verrouillage globale de galerie
- gestion normalisée des mise à jour depuis les précédentes versions stables
- très nombreuses optimisations (suppression maximale de la récursivité lorsqu'inutile, utilisation de données calculées pertinentes)

En résumé, je dirais qu'il y a de nombreuses nouvelles fonctionnalités et que ça va nettement plus vite qu'avant.

Le projet a besoin d'un maximum de testeurs pour tenter de corriger un maximum de bugs sur les Releases Candidate avant la sortie de la 1.4.0 finale. Pour cette 1.4.0RC1 le français et l'anglais sont disponibles.

site officiel : http://www.phpwebgallery.net(...)
téléchargements 1.4.0RC1 : http://download.gna.org/phpwebgallery/build/1.4/(...)
feedback sur les tests : http://forum.phpwebgallery.net/viewforum.php?id=8(...) (vous pouvez y parler français si l'anglais vous rebute)

> Lire le journal (15 commentaires, moyenne: 1,9).

bonjour cher journal,

Actuellement, je suis en cours de réflexion sur le système de gestion de permissions de mon application PhpWebGallery http://www.phpwebgallery.net(...) ou plutôt sur la façon dont j'ai codé ça...

Le système de permissions : chaque catégorie (N-niveaux possibles) peut-être soit publique, soit privée. Prenons cat1 par exemple, si elle est privée, alors elle devient inaccessible à tous les utilisateurs. Le seul moyen que l'utilisateur user1 puisse y accéder est que le webmestre l'y autorise directement (on dit alors que user1 est autorisée à visiter la catégorie privée cat1) ou bien que le webmestre autorise l'accès à un groupe auquel user1 appartient.

En fonction des restrictions d'accès, chaque utilisateur n'a pas les mêmes statistiques sur chacune des catégories (nombre d'images contenues en récursif, nombre de sous-catégories, date de la dernière image contenue en récursif, nombre total d'images sur l'ensemble de la galerie).

Voici comment j'ai codé ça de façon très technique :

- un champ status dans la table des catégories à "public" ou "private"
- une table user_access (contenant 2 champs : user_id et category_id), si une ligne est présente pour un couple {userX, categoryY}, alors userX a accès à la catégorie categoryY
- une table group_access sur le même principe (et évidemment, la table user_group existe)

Comme avec une galerie qui augmente rapidement, plus de 100 catégories, la création de la page peut avoir tendance à devenir très très long (plus d'1 seconde, voire pire sur un hébergement gratuit type free). J'ai mis en place des éléments calculés en base (c'est moche, je déteste ça, mais l'important c'est plutôt d'éviter de bouffer toutes les ressources sur un serveur mutualisé) :

- un champ forbidden_categories dans la table des users listant les catégories interdites, séparées par des virgules (pas taper, journal)
- une table user_category qui donne pour un couple {user,category} la date de la dernière image qu'on peut trouver dans la catégorie en cherchant récursivement et le nombre de sous-catégories directes (accessible à cet utilisateur)

Du coup, il faut que je mette à jour ces éléments calculés à chaque mise à jour de la base d'images, et ça peut devenir très très long (trop long à vrai dire) car, on aura vite fait le calcul : (nombre de lignes dans user_category) = (nombre de lignes dans users) * (nombre de lignes dans categories), et lorsque certains ont 1000 catégories et autant d'utilisateurs... la mise à jour plante lamentablement.

Bref, je cherche à améliorer la mécanique, pour que ça aille vite, quitte à limiter les possibilités ! Si ma question n'a pas sa place ici, merci de m'indiquer un lieu de discussion plus approprié :-)

> Lire le journal (4 commentaires, moyenne: 1,5).

Bonjour à toi journal,

Il y a un truc que j'apprécie particulièrement sur mon Putty au boulot : la sélection des mots à la souris. Je la trouve particulièrement pratique car en double cliquant sur une chaîne de caractères, toute la chaîne est sélectionnée (les délimiteurs de chaîne sont l'espace mais pas le "/", le "-", "."). Alors que sur mon xterm à la maison, les délimiteurs de sélections sont plus nombreux, et du coup, ça convient très rarement à la sélection de chemins complets ou de nom de fichiers (avec l'extension).

Tu saurais pas comment faire pour que le comportement de mon xterm soit similaire à celui de mon Putty ?

> Lire le journal (3 commentaires, moyenne: 5).

Bonjour à tous,

Je suis le créateur d'une application web sous GPL qui s'appelle PhpWebGallery. La page du projet est http://www.phpwebgallery.net(...) En gros, c'est une appli web de gestion d'albums d'images en ligne, fonctionnant en PHP + MySQL.

Ce n'est pas la seule appli du même genre et d'autres titres sont très bons (je pense à Gallery et à Coppermine en particulier) mais je continue quand même le projet (débuté officiellement en avril 2002) parce que je trouve ça intéressant et que ça me permet d'apprendre plein de choses. Surtout, je sais que mon travail est utilisé par d'autres et il n'y a rien de plus gratifiant.

Seulement voilà, j'en suis à la release 1.3 et il y a de plus en plus de travail à faire entre les corrections de la 1.3, le devel de la future 1.4, les améliorations à faire côté perf (mon gros boulot depuis 2 semaines) + la gestion du site, le support sur le forum, la "promo" (référencement sur les sites spécialisés).

Bref, j'aurais besoin de développeurs PHP, de testeurs sur différentes plateformes, de traducteurs (actuellement 14 langues disponibles), de gens qui font du support sur le forum, de spécialistes HTML + CSS (faire un template ultra light avec du beau XHTML -- pas de tableaux imbriqués de partout -- et une feuille de style dissociée), d'un webmaster pour reprendre le site de présentation en un peu mieux (parce que là, j'aime bien, mais je voudrais le changer, ce que je ne fais pas par manque de temps)... Bon, plein de monde !

Si ça vous intéresse de participer (j'ai pas dit que ce serait un boulot de 10 h par semaine, y consacrer son temps libre de temps en temps suffit), dites le ici et / ou envoyer moi un mail.

> Lire le journal (1 commentaire, moyenne: 4).