On parle beaucoup du Big Data, mais finalement pas assez du rôle primordial de l'open source et des logiciels libres dans ce domaine.

Afin d'y remédier, le Groupe Thématique Logiciel Libre du pôle de compétivité Systematic a organisé un Data Tuesday sur ce thème récemment. Nous vous proposons de retrouver les différentes présentations des intervenants :

• Stéfane Fermigier - GTLL > "Data et Open Source" ;
• Charly Clairmont – Altic > "L’écosystème Open Source au services des Big Data" ;
• Nicolas Chauvat - Logilab > "Utilisation d'Open Data avec Cubic Web" ;
• Vincent Picavet - Oslandia > "Spatial n'est pas spécial" ;
• Jean Paul Smets - Nexedi > "Shacache.org - la mémoire du code" ;
• Olivier Grisel - ENSTA > "Présentation du projet Scikit learn - machine learning en python" ;
• Nicolas Baldeck - OpenMeteoData > "Supercalculateur associatif pour faire tourner un modèle météo libre" ;
• Florian Douetteau - Dataiku > "Construire son Data Lab Open Source, en pratique".

Lors de ce petit déjeuner ouvert à tous, nous allons faire un tour d'horizon des différentes bases de données libres et open source sous un angle technique.

Programme :

• La BDD à l'heure du cloud, où en est-on ? Hervé Leclerc & Pierre Dumont - 20 mn
• MySQL & MariaDB: Point sur les technologies et comparatifs - Pierre Dumont expert BDD chez Alter Way - 40 min
• PostgreSQL - Guillaume Lelarge expert PostgreSQL chez Dalibo - 40 min
• NoSQL: Point sur les technologies et comparatifs - Hervé Leclerc - Directeur technique chez Alter Way - 40 min
• Mini table-ronde sur les tendances à venir - 20 min

Quand : le 19 avril 2013
Horaire : de 8h30 à 11h30
Où : 105 rue La Fayette 75010 Paris

Le PG Day France est la conférence annuelle de la communauté francophone de PostgreSQL. Cette année, l’événement se tiendra le jeudi 13 juin à Nantes. Une centaine de visiteurs sont attendus pour une journée d'échanges autour de PostgreSQL et de ses projets associés.

Vous êtes expert sur un domaine lié aux bases de données libres ? Vous avez utilisé PostgreSQL dans un contexte spécifique (gros volumes, forte charge, client reconnu, projet innovant, etc.) ? Vous participez à un projet libre lié à PostgreSQL ? Alors n'hésitez pas à proposer une présentation !

L’Association française des utilisateurs de PHP (AFUP) organise, le **31 octobre à 19 h 30**, une conférence d’introduction à PostgreSQL à Lyon.

Le système de gestion de base de données (SGBD) libre sera présenté par deux experts et contributeurs.

La conférence est ouverte à tous et a pour but de montrer que PostgreSQL est une sérieuse alternative aux solutions utilisées couramment.

Elle aura lieu dans les locaux de l’Epitech Lyon, au 86 boulevard Marius Vivier‐Merle 69003 Lyon.

Venez nombreux.

Le gestionnaire libre de base de données relationnelle PostgreSQL vient de sortir en version 9.2. Cette version est principalement axée sur l’amélioration des performances.

Des informations très détaillées se trouvent sur la page du wiki « What's new in PostgreSQL 9.2 ». La liste des principales nouveautés se trouve en seconde partie de dépêche.

Une nouvelle version de la base de données MongoDB est sortie ce mercredi. Il s'agit de la version 2.2 qui fait suite à la version 2.0 (le versionnement adopte un système pair/impair : pair pour les versions stables, impair pour les versions en développement).

Pour rappel, MongoDB (humongous database) est une base de données développée par la société 10gen. Elle s'inscrit dans le mouvement NoSQL (Not Only SQL), très à la mode. Les forces de MongoDB viennent avant tout de sa simplicité : aucun schéma, installation simplissime, peu de concept complexes à maîtriser avant de l'utiliser. C'est un système de gestion de base de données orientée documents, extensible, écrit en langage C++ et distribué sous licence AGPL. Plus d'information sur la base de données sur Wikipedia ou sur le site de MongoDB.

Dans cette dépêche, nous étudierons les nouveautés proposées par cette nouvelle version. Les plus pressés iront consulter les notes de version tandis que les pointilleux pourront s'intéresser à la liste des bugs corrigés par cette version.

Akiban a présenté une version Open Source (AGPL3) de sa base de données. La société compte ainsi séduire les développeurs de MySQL. C'est une version pour l'instant à destination des développeurs. À voir si cela va effectivement susciter des envies.

La base de données reconnaît la totalité des commandes SQL et répond à toutes les propriétés de l'ACID (atomicité, cohérence, isolation, durabilité) qui garantissent la fiabilité d'une base de données. En plus de prendre en charge pleinement le SQL, Akiban sait aussi délivrer les données via une requête HTTP GET formatée en JSON (JavaScript Object Notation).

L'entreprise a également sorti un connecteur qui permet de répliquer une base de données MySQL dans Akiban, et a monté un partenariat avec Engine Yard, un fournisseur de Platform-as-a-Service (PaaS) dans le cloud.

MAT est un projet écrit en python dédié à l'anonymisation de metadonnées, se voulant simple d'utilisation. Écrit durant le GSoC 2011 sous l'ombrelle du projet Tor, il vient de sortir en version 0.3.2. Il est composé d'une bibliothèque, d'une interface en CLI, et d'une autre en GUI.

Qu'est-ce qu'une metadonnée ?

Une métadonnée est une information qui caractérise une donnée.
Prenons un exemple : lorsque vous créez un PDF, en général, des données additionnelles sont ajoutées à votre fichier : le nom du logiciel producteur, votre nom, la date de production, la description de votre document, le titre de votre document, la dernière date de modification, … ce sont des métadonnées. Vous n'avez peut-être pas envie de partager ces informations lorsque vous partagez votre fichier.

Formats pris en charge

Pour l'instant, MAT prend en charge les formats suivants :

• Portable Document Format (pdf)
• Zip
• TApe aRchiver (tar.gz, tar.bz2, tar)
• Jpeg (jpg, jpeg)
• Portable Network Graphics (png)
• Torrent
• Opendocuments (odt, opt, …)
• Openxml de Microsoft (docx, pptx, …)
• MPEG Audio (mp3, mp2, mpa, …)
• Ogg Vorbis (ogg)
• Free Lossless Audio Codec (flac)

Objectifs à long terme

Pour l'instant MAT permet l'anonymisation de quelques formats de fichiers couramment utilisés. Un des buts à long terme serait d'implémenter des contres-mesures pour le tatouage/marquage.

Pendant longtemps, les bases de données relationnelles ont été l'unique solution pour enregistrer des données, ou en tout cas, la solution adoptée par défaut par beaucoup de monde sans plus de réflexion sur le sujet. Pourtant, certaines personnes considèrent que le problème de stockage de données est en fait multiple et qu'il convient de se poser de nombreuses questions :

• Est-ce que les données sont fortement structurées ou non ?
• Quel est le ratio entre les lectures et les écritures ?
• Est-il acceptable de perdre un enregistrement sur un million ? Sur un milliard ?
• Est-ce que les données sont réparties sur plusieurs data-centres ?
• Est-ce que la taille des données peut être multipliée par 10 en l'espace d'un mois ?
• Quelle indisponibilité du service peut-on se permettre ?
• Etc.

Les bases de données relationnelles proposent leurs réponses à ces questions ; elles peuvent paraître raisonnables dans bien des cas, mais pas toujours. Par exemple, les bases de données relationnelles sont très mal adaptées quand on veut privilégier les performances plutôt que la garantie d'écriture des données.
Aussi, pour répondre à ces problématiques différentes, un mouvement, NoSQL, a proposé d'adopter des outils différents, spécialisés pour certains cas d'usage. Certaines bases de données NoSQL sont destinées à traiter d'énormes volumes de données, d'autres sont conçues pour maximiser le nombre de requêtes par seconde qu'un serveur pourra traiter, etc. Notons en particulier que la plupart des plus gros sites web ont quitté le monde relationnel (Google, Facebook, Twitter, Amazon), ce qui tend à valider le besoin d'avoir d'autres outils que les bases de données relationnelles.

NdA : Merci à Christophe Turbout, Thomas Douillard, Buf, olivierweb, Spack, baud123, Bruno Michel, mike.simonson et rakoo pour leur aide lors de la rédaction de cette dépêche

Le 7 juin à Lyon se tiendra le PG Day France 2012, une journée de conférences et d'échanges sur le thème du SGBDR open source PostgreSQL. Cette journée sera également l'occasion de rencontrer les acteurs de la communauté PostgreSQL.

Inscrivez-vous dès à présent, et retrouvez les informations complémentaires sur le site

Rendez-vous à Lyon le 7 juin !

NdM : le prix de l'inscription plein tarif est de 30 €.

On l’attendait impatiemment depuis un moment, c’est fait, la nouvelle version majeure de PostGIS est sortie !

PostGIS est la cartouche spatiale de PostgreSQL, la base de donnée Opensource relationnelle la plus avancée. PostgreSQL/PostGIS est souvent la pierre angulaire des systèmes d'information géographique. Elle comporte de nouveaux types de données (points, lignes, polygones…), un mécanisme d'indexation spatial, et un grand nombre de fonctions pour travailler avec ces données.

PostGIS 2.0, qui vient donc de voir le jour, arrive après un peu plus de 2 ans de développement. Les améliorations sont nombreuses, tant en terme de fonctionnalités, que de changements dans le code interne de PostGIS. Cette version utilise également les bibliothèques GEOS 3.3.3 et GDAL 1.9.0, qui sont sorties récemment.

Parmi les grandes nouvelles fonctionnalités, on trouve la gestion des raster (données image) dans la base de données, ainsi que la gestion d’un modèle topologique respectant le standard SQL/MM.

Tous les membres de l'équipe de développement de PostGIS tiennent à remercier leurs parents d'avoir rendu cette sortie possible.

NdM: PostGIS 2.0 nécessite PostgreSQL 8.4 ou supérieur.

Le PgDay France est une journée de conférences en français sur PostgreSQL. Cela se passe à Lyon, le 7 juin 2012.

Au programme, des conférences intéressant les utilisateurs, qu'ils soient DBA, architectes, programmeurs… Les inscriptions seront ouvertes prochainement.

Programme dans la suite de la dépêche.

Je viens de publier un livre blanc sur ce que je pense être la convergence inévitable du Big Data et du logiciel libre / open source. Après une définition du big data (« ensembles de données qui deviennent tellement gros qu'ils en deviennent difficiles à travailler avec des outils classiques de gestion de base de données », d'après Wikipedia) et de ses caractéristiques (les « 3 V » de Stonebraker ou les « 4 V » de Popescu), j'expose les raisons pour lesquels les principaux logiciels du domaine ont été mis en open source, et j'en fais un panorama.

Le même jour, le magazine InfoDSI publie un article sur le décollage du Big Data, citant une étude de marché d'IDC qui évalue le marché à 3.2 milliards de $US en 2010 et potentiellement presque 17 milliards de $US en 2015 et qui met en avant également le dynamisme des projets open source dans le domaine.

Pour en revenir à mon livre blanc, il s'agit de la première édition, forcément incomplète. Vos commentaires, qu'ils soient posté sur mon blog ou ici-même, seront pris en compte (s'ils sont pertinents ;-)).

NdM: le livre est sous licence CC BY-SA 3.0.

Une nouvelle version 8.10 de Ora2Pg est sortie ce 2 mars 2012 ; cet outil, développé en Perl depuis 2005, permet d'exporter le schéma d'une base de données Oracle vers PostgreSQL. Il est disponible sous licence GPL3+.

Les fonctionnalités de migration automatique proposées concernent les schémas, mais aussi les données et — en partie — les fonctions voire les procédures PL/SQL :

• export de schéma complet
  • tables, vues, séquences, index
  • droits/privilèges pour des utilisateurs et groupes
  • export des vues Oracle en tant que table PostgreSQL
• export de données
  • par table
  • export complet des données ou par sélection via une clause WHERE
  • gestion des objets BLOB Oracle en tant que PG BYTEA
• export des fonctions prédéfinies, triggers, procédures, packages
  • assistance simple à la conversion de code PL/SQL en code PL/pgSQL
  • pour le code spécifique PL/SQL, la conversion reste principalement manuelle

Ce genre d'outil permet de migrer un parc de bases de données Oracle vers un vrai gestionnaire de base de données relationnelles libre tel que PostgreSQL. Les retours d'expérience sont les bienvenus ! Cela peut être la première étape d'une migration, sans oublier d'effectuer les adaptations et tests de non-régression des développements applicatifs se connectant à votre base de données.

Elastic Search est un moteur de recherche full-text, sous licence Apache 2. Plus précisément, c'est une interface Rest (Representational State Transfer) distribuée, utilisant le format JSON, qui permet d'exposer des index Lucene pour construire des moteurs de recherche avec des fonctionnalités avancées comme de la recherche par facette. On peut donc le comparer à Solr, mais avec une approche plus moderne et plus proche du mouvement NoSQL.

Il existe de nombreux clients pour Elastic Search comme la gem Tire dans le monde Ruby ou ElasticSearch.pm pour Perl. Elastic Search est utilisé en production par Mozilla, Stumble Upon , yfrog, Klout, af83, etc.

NdM : LinuxFr.org utilise Elastic Search pour son moteur de recherche interne, dans sa version 0.19 depuis le jour de sa sortie. Merci Lukhas !

Oracle, nouvel éditeur de MySQL suite au rachat de Sun, vient d'annoncer une nouvelle version 7.2 de MySQL Cluster sous licence GPL (les numéros de version de la version « cluster » sont déconnectés de la version classique). MySQL Cluster est une version dite « distribuée » de MySQL utilisant le moteur NDB (Network DataBase), en lieu et place des classiques MyISAM et InnoDB, permettant une répartition des données et un fonctionnement sur plusieurs serveurs. Le développeur ne voit qu'un seul serveur : le répartiteur de charge.

Cette nouvelle version augmenterait les performances d'un facteur 70 sur les requêtes SQL complexes incluant des jointures sur plusieurs partitions. Un benchmark interne affiche que cette version est désormais capable de dépasser le milliard de requêtes par minute. Il faut évidemment avoir le matériel adéquat. Il a été réalisé sur un « cluster » de 8 nœuds, chaque nœud ayant été équipé de serveur avec 2 Intel Xeon X5670 et 48 Go de RAM, le tout relié par un bus InfiniBand.

Enfin, quant à la version GPL, on se souviendra de la tendance d'Oracle à ajouter tout un tas d'extensions fermées au cœur de MySQL afin de mieux retenir ses utilisateurs.

Le PG Day France est un moment de rencontres et de conférences pour la communauté francophone de PostgreSQL. Les conférences s'adressent à tous les utilisateurs de ce logiciel de base de données : étudiants, administrateurs systèmes, DBA, développeurs, chefs de Projets, décideurs, etc. Cet événement, interrompu depuis 2009, revient à Lyon le 7 juin 2012 et l'appel à conférences est lancé ; ne procrastinez pas, la date limite de soumission est proche ! Tous les détails sont dans la suite de la dépêche.

LeMug.fr (MySQL User Group) et SkySQL organisent un Meetup au Patricks Irish Pub à Paris, le 1er février 2012.
La présentation du meetup sera animée par Colin Charles de Monty Program AB.

Cet événement est ouvert à l'ensemble des développeurs et développeuses de tous les langages (C, PHP, Python, Java, Perl, Ruby, etc...). Ainsi, vous pourrez rencontrer la communauté de MySQL et MariaDB.

Au programme

Présentation de MariaDB : The New M in LAMP

Informations pratiques

Date & heure : mercredi 1er Février à 18h00
Lieu : Patricks Irish Pub, 33 rue de Montreuil, Paris 11ème
Accès : métro Faidherbe - Chaligny
Tarif : gratuit

Selon Wikipédia, « Hadoop est un framework Java libre destiné aux applications distribuées et à la gestion intensive des données. Il permet aux applications de travailler avec des milliers de nœuds et des pétaoctets de données. Hadoop a été inspiré par les publications MapReduce, GoogleFS et BigTable de Google. ».

C'est Doug Cutting qui a créé ce projet, originellement pour Nutch, et qui éclot en projet majeur Apache. Yahoo est un gros utilisateur et contributeur, mais dans les gros utilisateurs on peut également citer Facebook, qui se vante d'avoir la plus grosse grappe Hadoop au monde, et puis Amazon (sur son réseau Amazon Elastic MapReduce), le New York Times (qui fait tourner 100 instances Amazon EC2).

Au menu de Hadoop 1.0, la base de données distribuée big Data Hbase est intégrée au projet. La sécurité des nœuds est assurée par une authentification basée sur Kerberos. WebHDFS est pris en charge comme couche d'accès en lecture/écriture HTTP sur HDFS. Il y a en outre les traditionnelles corrections, optimisations et fonctionnalités mineures.

La session des Jeudis du Libre de Bruxelles du jeudi 3 novembre 2011 sera assurée par Frédéric Descamps.

Il sera question de la performance des bases de données. Quels sont les problèmes qui se posent généralement à ce propos ? Quelles méthodes et quels outils peut‐on mettre en œuvre pour y faire face ?

Postgresql, le moteur de base de données le plus avancé du monde libre vient de sortir en version 9.1. Contrairement à d'autres bases de données libres, Postgresql est développé par une communauté mondiale d'entreprises et de contributeurs indépendants.

Les nouveautés de cette version sont détaillées en seconde partie.

Le mois dernier, Richard Hipp et Damien Katz (respectivement, les créateurs de SQLite et CouchDB) ont annoncé la création d'un groupe de travail ouvert autour d'un nouveau langage de requêtes pour les bases de données NoSQL : UnQL (Unstructured Query Language). L'objectif étant de libérer les bases de données orientés documents des interfaces spécifiques et éviter la dépendance envers un fournisseur.

Moins de dix mois après la sortie de sa dernière version stable, l'entreprise 10gen a sorti la nouvelle mouture de sa base de données : MongoDB 2.0. Cette version ne propose rien de révolutionnaire, mais apporte tout de même un certain nombre de fonctionnalités appréciables. On retrouvera notamment :

• la journalisation activée par défaut ;
• l'amélioration de l'efficacité spatiale et temporelle des index ;
• la gestion plus fine des priorités pour la réplication ;
• et la datacenter awereness de certaines opérations.

N. D. M. : MongoDB est publiée sous licence AGPL v3.0.

N. D. M. : la version 2.0 de MongoDB n'est encore qu'en release candidate.

Drizzle

Drizzle est un fork de MySQL allégé et spécialement adapté pour le web et les infrastructures Cloud. Contrairement à MySQL qui est la propriété d'Oracle, Drizzle est développé et conduit par la communauté. Parmi les autres différences avec MySQL, on peut également citer :

• l'absence des vues, triggers et procédures stockées ;
• la non prise en charge de Windows ;
• un nouveau moteur, HailDB ;
• une configuration optimisée par défaut pour 1024 connexions simultanées…

La version 2011.03.13 a été déclarée General Availability (GA), c'est-à-dire prête pour la production, et ce trois ans après l'annonce du fork.

MongoDB

MongoDB est une base de données NoSQL de type documents, sous licence GNU AGPL. La version 1.8 est sortie le 16 mars et apporte :

• la journalisation, en réponse à ceux qui se plaignaient au sujet de la durabilité de MongoDB ;
• amélioration des performances pour le sharding ;
• Map/Reduce incrémental
• prise en charge des indexes Sparse et Covered ;
• et bien d'autres nouveautés !

Webdis

Redis est une base de données de type clé-valeur, un memcached boosté aux stéroïdes. Webdis est une interface HTTP au-dessus de Redis, sous licence BSD.

Il permet d'interroger une base de données Redis en appelant un chemin de la forme /Commande/Argument1/Argument2/.../ArgumentN. Le retour sera par défaut du JSON, mais il est également possible d'utiliser du JSONP ou d'autres formats : HTML, texte brut, etc. Webdis intègre également une gestion des droits en fonction de l'adresse IP, de l'authentification HTTP ou des deux.

Redis est une base de données de type clé-valeur, sous licence BSD. On peut voir Redis comme une sorte de Memcached boosté aux stéroïdes.

La version 2.2.0 est sortie la semaine dernière, très rapidement suivie de la version 2.2.1. Cette version apporte principalement des optimisations par rapport à Redis 2.0 :

• importante diminution de la consommation mémoire (à ce sujet, je vous conseille la lecture des astuces pour optimiser la mémoire) ;
• réplication non-bloquante ;
• la commande Watch pour faire du check and set ;
• l'Algorithme LRU pour l'éviction des données quand la mémoire consommée par Redis est limitée ;
• nouvelles commandes : SETBIT, GETBIT, SETRANGE et GETRANGE permettant d'accéder à des valeurs de type « chaînes de caractères », comme s'il s'agissait de tableaux.

Pour la suite, antirez (le principal développeur) souhaite se concentrer sur la prise en charge des grappes de serveurs (clusters) et sur diskstore (un stockage sur disque des données pour les instances où tout faire tenir en mémoire n'est pas une option).