Ce jeudi 23 avril 2015 à 19h se déroulera la 38ème séance montoise des Jeudis du Libre de Belgique.

Thématique : Big data

Public : Tout public

L’animateur conférencier : David Auber (LaBRI, Université Bordeaux I)

Tulip est un logiciel OpenSource dédié à l’analyse et à la visualisation de données. L’objectif est de fournir aux développeurs une bibliothèque complète pour mettre en place des visualisations interactives de données. Dans cette présentation nous détaillerons les possibilités du logiciel en présentant : son modèle de stockage de données, ses algorithmes et ses visualisations. Nous aborderons aussi les possibilités d’extension de ce logiciel via son mécanisme de greffon et l’environnement de développement Python intégré dans celui-ci.

Kst est un outil de tracés graphiques et d’analyse de données très rapide et convivial, libre (Qt) et multi‐plate‐forme : Windows, Mac OS X et GNU/Linux. Kst est comparable à LabPlot, Veusz, QtiPlot ou encore SciDAVis.

La version 1, plus maintenue à l’heure actuelle, était une application KDE à laquelle ont contribué des grands noms du projet KDE comme George Staikos, gage d’une bonne qualité de code. Lors du portage en Qt4, les dépendances aux bibliothèques KDE ont été supprimées pour faciliter la distribution sur toutes les plates‐formes.

Des versions de Kst2 stables et pleinement fonctionnelles sont disponibles depuis assez longtemps, mais cet outil reste malheureusement trop peu connu. Pour remédier à cela, des tutoriels vidéo ont été préparés en utilisant la version 2.0.8 sortie en juillet dernier. Ces tutoriels sont disponibles sur la chaîne Kst plot sur YouTube, pour vous faire (re)découvrir les principales fonctionnalités de cet outil.

N. D. M. : l’auteur de la dépêche est l’un des développeurs de Kst, profitez‐en si vous avez des questions !

Facette est un nouvel outil libre sous licence BSD permettant de réaliser des graphiques à partir de métriques collectées et stockées par divers outils tels que collectd, Graphite, InfluxDB. Cette alternative aux autres logiciels de visualisation permet de présenter sur les mêmes graphiques des séries de données numériques provenant de sources hétérogènes.

Facette est une application web développée en Go, par conséquent très facile à déployer et peu coûteuse en ressources système. L'interface web a été pensée pour permettre une utilisation simple et intuitive, et esthétiquement agréable — ce qui n'est pas toujours le cas des alternatives dans ce domaine ;-) Pour aller plus loin, le logiciel met également à disposition une API RESTful permettant par exemple de se servir de Facette "juste" pour fédérer plusieurs sources de données hétérogènes, ou encore d'automatiser certaines actions au niveau du catalogue interne.

MathMod est un logiciel de dessin de formules mathématiques, qu'elles soient sous forme implicite ou paramétrique (de dimension 3 ou 4).

MathMod est une réécriture du logiciel K3DSurf, dont la dernière version date de 2008 et dont je suis aussi l'auteur. Cette réécriture apporte tout de même son lot de nouveautés et d'optimisation de traitement des formules mathématiques. MathMod permet d'animer les objets mathématiques, par rotation ou en utilisant le paramètre temps, de changer les propriétés visuelles de l'objet en temps réel… Développé avec Qt5, il est disponible pour Linux, Windows et MacOSX.

Finalement, je tiens à remercier tous ceux et celles qui m'ont soutenu durant toutes ces années par leurs messages de félicitations et d'encouragement et je leur dis : l'aventure ne fait que commencer !

Une description plus détaillée et des copies d'écran sont disponibles en deuxième partie.

NdM: Le logiciel est sous licence GPL2.

La nouvelle version majeure de l'outil de métrologie Perfwatcher vient de sortir, Perfwatcher 2.0. Perfwatcher est un frontend pour Collectd (un outil de mesure de performances du système) écrit en PHP, HTML, JavaScript et C.

Présenté sur LinuxFr.org lors de sa sortie en version 1.2, le fonctionnement interne de Perfwatcher a subi un profond remaniement amenant une modularité permettant aujourd'hui son déploiement sur des grilles de calculs de plus de 20000 nœuds.

Pour rappel, Perfwatcher est une interface utilisateur pour Collectd, il permet d'afficher les graphes RRD générés par ce dernier et étend ses fonctionnalités par l'apport de nombreux modules et patchs.

Parmi ceux-ci, le module Top permet l'affichage de la totalité de la liste des processus à la façon de la commande top et ce, à la date et heure de son choix ainsi que l'affichage des processus sous la forme d'une frise chronologique (timeline).

Perfwatcher permet, en outre et ce fut son premier but, d’agréger les données de Collectd par groupes de serveurs afin de, par exemple, visualiser la charge moyenne de parties d'une grille de calcul.

GeoBases version 5 vient d’être publié! Il y a six semaines ce projet passait open-source. Depuis, grâce à de nombreux retours, nous avons pu améliorer, documenter, corriger de nombreuses fonctionnalités.

Pour ceux qui ne connaissent pas ce projet, son but est de fournir des services et des possibilités de visualisation pour des données géographiques (ou non). Le projet contient déjà des sources de données (issues, par exemple, de GeoNames, optd ou encore de l'OpenData). Il est très simple d’ajouter ses propres sources de données pour pouvoir jouer avec.

Parmi les services disponibles :

• exécuter de simples recherches (trouver cette donnée, trouver toutes les entrées qui ont cette propriété)
• exécuter des recherches approximatives basées sur une notion de distance entre chaîne de caractères (trouver les données dont le nom ressemble à cela)
• exécuter des recherches phonétiques (trouver des données qui se prononce comme cela)
• exécuter des recherches géographiques (trouver les données proches de ce point)
• afficher les résultats sur une carte, ou bien les exporter en CSV, ou encore utiliser une API Python pour les manipuler directement

Le projet est principalement un package Python, il y a également une interface en ligne de commande assez complète (qui peut s'utiliser un peu comme grep).

GeoBases est un projet dont le but est de fournir des services et des possibilités de visualisation pour des données géographiques. En réalité cela fonctionne également avec des données non-géographiques, mais cela limite les possibilités de cartographie.

Le projet contient déjà des sources de données issues d'autres projets (comme GeoNames ou optd), ou encore de l'OpenData. Par défaut une source de données d’aéroports est utilisée. Il est très simple d’ajouter ses propres sources de données pour pouvoir jouer avec.

Parmi les services disponibles :

• exécuter de simples recherches (trouver cette donnée, trouver toutes les entrées qui ont cette propriété)
• exécuter des recherches approximatives basées sur une notion de distance entre chaîne de caractères (trouver les données dont le nom ressemble à cela)
• exécuter des recherches géographiques (trouver les données proches de ce point)
• afficher les résultats sur une carte, ou bien les exporter en CSV, ou encore utiliser une API Python pour les manipuler directement

Tulip est un environnement de visualisation d’informations dédié à l’analyse et à la visualisation de données relationnelles. Tulip fournit aux développeurs une bibliothèque complète, prenant en charge la conception d’applications de visualisation interactive de données relationnelles qui peut être taillée pour les problèmes qu’il ou elle adresse.

Après un an de développement, plus de 2 000 commits, environ 300 bogues et demandes de fonctionnalités fermés, deux versions candidates et énormément de retours des utilisateurs, nous sommes fiers de vous présenter Tulip 4. Ceci est la première de la nouvelle lignée 4.x, qui apporte une nouvelle interface graphique, beaucoup d’améliorations de vitesse et de stabilité, ainsi qu’un gros ravalement de l’API et de sa documentation.

La suite de cette dépêche contient la traduction de la dépêche officielle, qui se lit comme un guide d’introduction à la nouvelle interface utilisateur de Tulip.

Tulip 4.0 alpha 1 vient de sortir, apportant énormément de nouveautés plus instables qu'à l'accoutumée. Les seuls binaires produits sont pour Windows pour les versions alpha, les Linuxiens impatients peuvent bien sûr compiler à partir des sources.

Piqué sur le site web : Tulip is an information visualization framework dedicated to the analysis and visualization of relational data. Tulip aims to provide the developer with a complete library, supporting the design of interactive information visualization applications for relational data that can be tailored to the problems he or she is addressing.

Ce qui donne en français : Tulip est un framework de visualisation d'informations dédié à l'analyse et la visualisation de données relationnelles. Tulip fournit aux développeurs une bibliothèque complète, prenant en charge la conception d'application de visualisation interactive de données relationnelles qui peut être taillée pour les problèmes qu'il ou elle adresse.

Cette version remplace intégralement l'interface utilisateur vieillissante de Tulip par une interface simple et puissante, graphiquement inspirée de Qt Creator. La gestion de plug-ins installés a été complètement revue pour offrir une plus grande facilité d'utilisation et une bien plus grande visibilité. Une présentation en captures d'écran est disponible dans l'annonce officielle.

NdM : Tulip est sous licence LGPL.

Matplotlib est une bibliothèque en Python très utilisée pour tracer des graphiques en deux et trois dimensions. Le degré de sophistication peut être très élevé mais les choses simples le restent ; pour se donner une idée, il suffit de regarder la galerie d’exemples.
En combinaison avec les bibliothèques scientifiques NumPy ou SciPy et l’interpréteur IPython, nous obtenons un outil de prototypage très pratique.

Matplotlib n’est pas exempte de limitations, pour de grosses séries de données ou des visualisations complexes en trois dimensions. Il faut alors se tourner vers d’autres outils tels que guiqwt ou Mayavi, si l’on veut rester avec des outils en Python.

Oscopy est une sorte d’oscilloscope propulsé par IPython. En tant que contribution à la simplification du flot de simulation électronique, il permet de visionner des données et de les post‐traiter (arithmétique, trigonométrique, FFT…). La particularité d’Oscopy est d’assurer automatiquement certaines tâches fastidieuses lors du rechargement des données d’origine (par exemple, après une nouvelle simulation) :

• la mise à jour des signaux post‐traités en tenant compte des dépendances ;
• la mise à jour des figures et graphiques.

Oscopy gère la communication avec d’autres programmes, tels que gschem de la suite gEDA, qui peuvent déclencher la relecture des fichiers à distance (D-Bus, etc.). Oscopy est conçu pour être facilement extensible, peu d’effort est nécessaire pour gérer de nouveaux formats de fichiers ou types de graphiques.

La version 0.70 aussi appelée 20110921 se focalise sur la stabilisation et l’amélioration de l’API, ainsi que la documentation.
Oscopy est maintenant propulsé par IPython et présente des améliorations pour le post-traitement et les recalculs automatiques lors de la mise à jour des données.

Le journal des modifications est détaillé dans la seconde partie de la dépêche.

D3.js

D3.js est une bibliothèque javascript légère et libre qui permet de manipuler et représenter graphiquement des documents en s'appuyant sur leurs données. Elle est une réécriture de protovis et s'appuie sur des technologies comme HTML5, CSS3 et SVG pour afficher des données et interagir avec elles. Je vous encourage à aller voir les exemples pour voir de quoi est capable d3.js.

Sugar.js

Sugar.js est une bibliothèque qui vise à faciliter la manipulation des objets natifs Javascript et à combler les différences entre navigateurs. Elle ajoute des méthodes bien pratiques aux entiers, chaînes de caractères, fonctions, tableaux, objets, dates… En revanche, elle ne concerne ni les requêtes AJAX ni le DOM (jQuery fait ça très bien).

Batman.js

Batman.js est un petit framework MVC sous licence MIT. Il est écrit en CoffeeScript et peut donc naturellement être utilisé en Javascript afin de structurer une application web qui ferait un fort usage du JS. S'inspirant des principes de Rails (convention over configuration, etc.), il doit permettre de développer rapidement des applications web mono-page.