Une nouvelle version de la base de données MongoDB est sortie ce mercredi. Il s'agit de la version 2.2 qui fait suite à la version 2.0 (le versionnement adopte un système pair/impair : pair pour les versions stables, impair pour les versions en développement).

Pour rappel, MongoDB (humongous database) est une base de données développée par la société 10gen. Elle s'inscrit dans le mouvement NoSQL (Not Only SQL), très à la mode. Les forces de MongoDB viennent avant tout de sa simplicité : aucun schéma, installation simplissime, peu de concept complexes à maîtriser avant de l'utiliser. C'est un système de gestion de base de données orientée documents, extensible, écrit en langage C++ et distribué sous licence AGPL. Plus d'information sur la base de données sur Wikipedia ou sur le site de MongoDB.

Dans cette dépêche, nous étudierons les nouveautés proposées par cette nouvelle version. Les plus pressés iront consulter les notes de version tandis que les pointilleux pourront s'intéresser à la liste des bugs corrigés par cette version.

Akiban a présenté une version Open Source (AGPL3) de sa base de données. La société compte ainsi séduire les développeurs de MySQL. C'est une version pour l'instant à destination des développeurs. À voir si cela va effectivement susciter des envies.

La base de données reconnaît la totalité des commandes SQL et répond à toutes les propriétés de l'ACID (atomicité, cohérence, isolation, durabilité) qui garantissent la fiabilité d'une base de données. En plus de prendre en charge pleinement le SQL, Akiban sait aussi délivrer les données via une requête HTTP GET formatée en JSON (JavaScript Object Notation).

L'entreprise a également sorti un connecteur qui permet de répliquer une base de données MySQL dans Akiban, et a monté un partenariat avec Engine Yard, un fournisseur de Platform-as-a-Service (PaaS) dans le cloud.

MAT est un projet écrit en python dédié à l'anonymisation de metadonnées, se voulant simple d'utilisation. Écrit durant le GSoC 2011 sous l'ombrelle du projet Tor, il vient de sortir en version 0.3.2. Il est composé d'une bibliothèque, d'une interface en CLI, et d'une autre en GUI.

Qu'est-ce qu'une metadonnée ?

Une métadonnée est une information qui caractérise une donnée.
Prenons un exemple : lorsque vous créez un PDF, en général, des données additionnelles sont ajoutées à votre fichier : le nom du logiciel producteur, votre nom, la date de production, la description de votre document, le titre de votre document, la dernière date de modification, … ce sont des métadonnées. Vous n'avez peut-être pas envie de partager ces informations lorsque vous partagez votre fichier.

Formats pris en charge

Pour l'instant, MAT prend en charge les formats suivants :

• Portable Document Format (pdf)
• Zip
• TApe aRchiver (tar.gz, tar.bz2, tar)
• Jpeg (jpg, jpeg)
• Portable Network Graphics (png)
• Torrent
• Opendocuments (odt, opt, …)
• Openxml de Microsoft (docx, pptx, …)
• MPEG Audio (mp3, mp2, mpa, …)
• Ogg Vorbis (ogg)
• Free Lossless Audio Codec (flac)

Objectifs à long terme

Pour l'instant MAT permet l'anonymisation de quelques formats de fichiers couramment utilisés. Un des buts à long terme serait d'implémenter des contres-mesures pour le tatouage/marquage.

Pendant longtemps, les bases de données relationnelles ont été l'unique solution pour enregistrer des données, ou en tout cas, la solution adoptée par défaut par beaucoup de monde sans plus de réflexion sur le sujet. Pourtant, certaines personnes considèrent que le problème de stockage de données est en fait multiple et qu'il convient de se poser de nombreuses questions :

• Est-ce que les données sont fortement structurées ou non ?
• Quel est le ratio entre les lectures et les écritures ?
• Est-il acceptable de perdre un enregistrement sur un million ? Sur un milliard ?
• Est-ce que les données sont réparties sur plusieurs data-centres ?
• Est-ce que la taille des données peut être multipliée par 10 en l'espace d'un mois ?
• Quelle indisponibilité du service peut-on se permettre ?
• Etc.

Les bases de données relationnelles proposent leurs réponses à ces questions ; elles peuvent paraître raisonnables dans bien des cas, mais pas toujours. Par exemple, les bases de données relationnelles sont très mal adaptées quand on veut privilégier les performances plutôt que la garantie d'écriture des données.
Aussi, pour répondre à ces problématiques différentes, un mouvement, NoSQL, a proposé d'adopter des outils différents, spécialisés pour certains cas d'usage. Certaines bases de données NoSQL sont destinées à traiter d'énormes volumes de données, d'autres sont conçues pour maximiser le nombre de requêtes par seconde qu'un serveur pourra traiter, etc. Notons en particulier que la plupart des plus gros sites web ont quitté le monde relationnel (Google, Facebook, Twitter, Amazon), ce qui tend à valider le besoin d'avoir d'autres outils que les bases de données relationnelles.

NdA : Merci à Christophe Turbout, Thomas Douillard, Buf, olivierweb, Spack, baud123, Bruno Michel, mike.simonson et rakoo pour leur aide lors de la rédaction de cette dépêche

Le 7 juin à Lyon se tiendra le PG Day France 2012, une journée de conférences et d'échanges sur le thème du SGBDR open source PostgreSQL. Cette journée sera également l'occasion de rencontrer les acteurs de la communauté PostgreSQL.

Inscrivez-vous dès à présent, et retrouvez les informations complémentaires sur le site

Rendez-vous à Lyon le 7 juin !

NdM : le prix de l'inscription plein tarif est de 30 €.

On l’attendait impatiemment depuis un moment, c’est fait, la nouvelle version majeure de PostGIS est sortie !

PostGIS est la cartouche spatiale de PostgreSQL, la base de donnée Opensource relationnelle la plus avancée. PostgreSQL/PostGIS est souvent la pierre angulaire des systèmes d'information géographique. Elle comporte de nouveaux types de données (points, lignes, polygones…), un mécanisme d'indexation spatial, et un grand nombre de fonctions pour travailler avec ces données.

PostGIS 2.0, qui vient donc de voir le jour, arrive après un peu plus de 2 ans de développement. Les améliorations sont nombreuses, tant en terme de fonctionnalités, que de changements dans le code interne de PostGIS. Cette version utilise également les bibliothèques GEOS 3.3.3 et GDAL 1.9.0, qui sont sorties récemment.

Parmi les grandes nouvelles fonctionnalités, on trouve la gestion des raster (données image) dans la base de données, ainsi que la gestion d’un modèle topologique respectant le standard SQL/MM.

Tous les membres de l'équipe de développement de PostGIS tiennent à remercier leurs parents d'avoir rendu cette sortie possible.

NdM: PostGIS 2.0 nécessite PostgreSQL 8.4 ou supérieur.

Le PgDay France est une journée de conférences en français sur PostgreSQL. Cela se passe à Lyon, le 7 juin 2012.

Au programme, des conférences intéressant les utilisateurs, qu'ils soient DBA, architectes, programmeurs… Les inscriptions seront ouvertes prochainement.

Programme dans la suite de la dépêche.

Je viens de publier un livre blanc sur ce que je pense être la convergence inévitable du Big Data et du logiciel libre / open source. Après une définition du big data (« ensembles de données qui deviennent tellement gros qu'ils en deviennent difficiles à travailler avec des outils classiques de gestion de base de données », d'après Wikipedia) et de ses caractéristiques (les « 3 V » de Stonebraker ou les « 4 V » de Popescu), j'expose les raisons pour lesquels les principaux logiciels du domaine ont été mis en open source, et j'en fais un panorama.

Le même jour, le magazine InfoDSI publie un article sur le décollage du Big Data, citant une étude de marché d'IDC qui évalue le marché à 3.2 milliards de $US en 2010 et potentiellement presque 17 milliards de $US en 2015 et qui met en avant également le dynamisme des projets open source dans le domaine.

Pour en revenir à mon livre blanc, il s'agit de la première édition, forcément incomplète. Vos commentaires, qu'ils soient posté sur mon blog ou ici-même, seront pris en compte (s'ils sont pertinents ;-)).

NdM: le livre est sous licence CC BY-SA 3.0.

Une nouvelle version 8.10 de Ora2Pg est sortie ce 2 mars 2012 ; cet outil, développé en Perl depuis 2005, permet d'exporter le schéma d'une base de données Oracle vers PostgreSQL. Il est disponible sous licence GPL3+.

Les fonctionnalités de migration automatique proposées concernent les schémas, mais aussi les données et — en partie — les fonctions voire les procédures PL/SQL :

• export de schéma complet
  • tables, vues, séquences, index
  • droits/privilèges pour des utilisateurs et groupes
  • export des vues Oracle en tant que table PostgreSQL
• export de données
  • par table
  • export complet des données ou par sélection via une clause WHERE
  • gestion des objets BLOB Oracle en tant que PG BYTEA
• export des fonctions prédéfinies, triggers, procédures, packages
  • assistance simple à la conversion de code PL/SQL en code PL/pgSQL
  • pour le code spécifique PL/SQL, la conversion reste principalement manuelle

Ce genre d'outil permet de migrer un parc de bases de données Oracle vers un vrai gestionnaire de base de données relationnelles libre tel que PostgreSQL. Les retours d'expérience sont les bienvenus ! Cela peut être la première étape d'une migration, sans oublier d'effectuer les adaptations et tests de non-régression des développements applicatifs se connectant à votre base de données.

Elastic Search est un moteur de recherche full-text, sous licence Apache 2. Plus précisément, c'est une interface Rest (Representational State Transfer) distribuée, utilisant le format JSON, qui permet d'exposer des index Lucene pour construire des moteurs de recherche avec des fonctionnalités avancées comme de la recherche par facette. On peut donc le comparer à Solr, mais avec une approche plus moderne et plus proche du mouvement NoSQL.

Il existe de nombreux clients pour Elastic Search comme la gem Tire dans le monde Ruby ou ElasticSearch.pm pour Perl. Elastic Search est utilisé en production par Mozilla, Stumble Upon , yfrog, Klout, af83, etc.

NdM : LinuxFr.org utilise Elastic Search pour son moteur de recherche interne, dans sa version 0.19 depuis le jour de sa sortie. Merci Lukhas !

Oracle, nouvel éditeur de MySQL suite au rachat de Sun, vient d'annoncer une nouvelle version 7.2 de MySQL Cluster sous licence GPL (les numéros de version de la version « cluster » sont déconnectés de la version classique). MySQL Cluster est une version dite « distribuée » de MySQL utilisant le moteur NDB (Network DataBase), en lieu et place des classiques MyISAM et InnoDB, permettant une répartition des données et un fonctionnement sur plusieurs serveurs. Le développeur ne voit qu'un seul serveur : le répartiteur de charge.

Cette nouvelle version augmenterait les performances d'un facteur 70 sur les requêtes SQL complexes incluant des jointures sur plusieurs partitions. Un benchmark interne affiche que cette version est désormais capable de dépasser le milliard de requêtes par minute. Il faut évidemment avoir le matériel adéquat. Il a été réalisé sur un « cluster » de 8 nœuds, chaque nœud ayant été équipé de serveur avec 2 Intel Xeon X5670 et 48 Go de RAM, le tout relié par un bus InfiniBand.

Enfin, quant à la version GPL, on se souviendra de la tendance d'Oracle à ajouter tout un tas d'extensions fermées au cœur de MySQL afin de mieux retenir ses utilisateurs.

Le PG Day France est un moment de rencontres et de conférences pour la communauté francophone de PostgreSQL. Les conférences s'adressent à tous les utilisateurs de ce logiciel de base de données : étudiants, administrateurs systèmes, DBA, développeurs, chefs de Projets, décideurs, etc. Cet événement, interrompu depuis 2009, revient à Lyon le 7 juin 2012 et l'appel à conférences est lancé ; ne procrastinez pas, la date limite de soumission est proche ! Tous les détails sont dans la suite de la dépêche.

LeMug.fr (MySQL User Group) et SkySQL organisent un Meetup au Patricks Irish Pub à Paris, le 1er février 2012.
La présentation du meetup sera animée par Colin Charles de Monty Program AB.

Cet événement est ouvert à l'ensemble des développeurs et développeuses de tous les langages (C, PHP, Python, Java, Perl, Ruby, etc...). Ainsi, vous pourrez rencontrer la communauté de MySQL et MariaDB.

Au programme

Présentation de MariaDB : The New M in LAMP

Informations pratiques

Date & heure : mercredi 1er Février à 18h00
Lieu : Patricks Irish Pub, 33 rue de Montreuil, Paris 11ème
Accès : métro Faidherbe - Chaligny
Tarif : gratuit

Selon Wikipédia, « Hadoop est un framework Java libre destiné aux applications distribuées et à la gestion intensive des données. Il permet aux applications de travailler avec des milliers de nœuds et des pétaoctets de données. Hadoop a été inspiré par les publications MapReduce, GoogleFS et BigTable de Google. ».

C'est Doug Cutting qui a créé ce projet, originellement pour Nutch, et qui éclot en projet majeur Apache. Yahoo est un gros utilisateur et contributeur, mais dans les gros utilisateurs on peut également citer Facebook, qui se vante d'avoir la plus grosse grappe Hadoop au monde, et puis Amazon (sur son réseau Amazon Elastic MapReduce), le New York Times (qui fait tourner 100 instances Amazon EC2).

Au menu de Hadoop 1.0, la base de données distribuée big Data Hbase est intégrée au projet. La sécurité des nœuds est assurée par une authentification basée sur Kerberos. WebHDFS est pris en charge comme couche d'accès en lecture/écriture HTTP sur HDFS. Il y a en outre les traditionnelles corrections, optimisations et fonctionnalités mineures.

La session des Jeudis du Libre de Bruxelles du jeudi 3 novembre 2011 sera assurée par Frédéric Descamps.

Il sera question de la performance des bases de données. Quels sont les problèmes qui se posent généralement à ce propos ? Quelles méthodes et quels outils peut‐on mettre en œuvre pour y faire face ?

Postgresql, le moteur de base de données le plus avancé du monde libre vient de sortir en version 9.1. Contrairement à d'autres bases de données libres, Postgresql est développé par une communauté mondiale d'entreprises et de contributeurs indépendants.

Les nouveautés de cette version sont détaillées en seconde partie.

Le mois dernier, Richard Hipp et Damien Katz (respectivement, les créateurs de SQLite et CouchDB) ont annoncé la création d'un groupe de travail ouvert autour d'un nouveau langage de requêtes pour les bases de données NoSQL : UnQL (Unstructured Query Language). L'objectif étant de libérer les bases de données orientés documents des interfaces spécifiques et éviter la dépendance envers un fournisseur.

Moins de dix mois après la sortie de sa dernière version stable, l'entreprise 10gen a sorti la nouvelle mouture de sa base de données : MongoDB 2.0. Cette version ne propose rien de révolutionnaire, mais apporte tout de même un certain nombre de fonctionnalités appréciables. On retrouvera notamment :

• la journalisation activée par défaut ;
• l'amélioration de l'efficacité spatiale et temporelle des index ;
• la gestion plus fine des priorités pour la réplication ;
• et la datacenter awereness de certaines opérations.

N. D. M. : MongoDB est publiée sous licence AGPL v3.0.

N. D. M. : la version 2.0 de MongoDB n'est encore qu'en release candidate.

Drizzle

Drizzle est un fork de MySQL allégé et spécialement adapté pour le web et les infrastructures Cloud. Contrairement à MySQL qui est la propriété d'Oracle, Drizzle est développé et conduit par la communauté. Parmi les autres différences avec MySQL, on peut également citer :

• l'absence des vues, triggers et procédures stockées ;
• la non prise en charge de Windows ;
• un nouveau moteur, HailDB ;
• une configuration optimisée par défaut pour 1024 connexions simultanées…

La version 2011.03.13 a été déclarée General Availability (GA), c'est-à-dire prête pour la production, et ce trois ans après l'annonce du fork.

MongoDB

MongoDB est une base de données NoSQL de type documents, sous licence GNU AGPL. La version 1.8 est sortie le 16 mars et apporte :

• la journalisation, en réponse à ceux qui se plaignaient au sujet de la durabilité de MongoDB ;
• amélioration des performances pour le sharding ;
• Map/Reduce incrémental
• prise en charge des indexes Sparse et Covered ;
• et bien d'autres nouveautés !

Webdis

Redis est une base de données de type clé-valeur, un memcached boosté aux stéroïdes. Webdis est une interface HTTP au-dessus de Redis, sous licence BSD.

Il permet d'interroger une base de données Redis en appelant un chemin de la forme /Commande/Argument1/Argument2/.../ArgumentN. Le retour sera par défaut du JSON, mais il est également possible d'utiliser du JSONP ou d'autres formats : HTML, texte brut, etc. Webdis intègre également une gestion des droits en fonction de l'adresse IP, de l'authentification HTTP ou des deux.

Redis est une base de données de type clé-valeur, sous licence BSD. On peut voir Redis comme une sorte de Memcached boosté aux stéroïdes.

La version 2.2.0 est sortie la semaine dernière, très rapidement suivie de la version 2.2.1. Cette version apporte principalement des optimisations par rapport à Redis 2.0 :

• importante diminution de la consommation mémoire (à ce sujet, je vous conseille la lecture des astuces pour optimiser la mémoire) ;
• réplication non-bloquante ;
• la commande Watch pour faire du check and set ;
• l'Algorithme LRU pour l'éviction des données quand la mémoire consommée par Redis est limitée ;
• nouvelles commandes : SETBIT, GETBIT, SETRANGE et GETRANGE permettant d'accéder à des valeurs de type « chaînes de caractères », comme s'il s'agissait de tableaux.

Pour la suite, antirez (le principal développeur) souhaite se concentrer sur la prise en charge des grappes de serveurs (clusters) et sur diskstore (un stockage sur disque des données pour les instances où tout faire tenir en mémoire n'est pas une option).

L’association des utilisateurs de MySQL LeMug.fr et Openday vous invitent à rencontrer Morgan Tocker, consultant chez Percona.

Au programme :

• présentation de l’association LeMug.fr et OpenDay ;
• présentation des ouvrages « Audit et optimisation MySQL 5 » et « MySQL 5 Administration et optimisation » par leurs auteurs ;
• optimisation de vos bases de données MySQL par Morgan Tocker ;
• apéro.

Infos pratiques

Date & heure : lundi 7 mars à partir de 19 h

Lieu : café Le Dune — 18 av. Claude Vellefaux, 75010 Paris

Accès : métro Goncourt / Col. Fabien

Tarif : gratuit

Inscriptions sur le site de l'organisateur d'évènements sur le logiciel libre Openday.

N.B. : il n'y a pas de sponsor sur l'évènement, si vous souhaitez vous positionner, contactez-nous sur LinuxFr. Il manque à l'association un peu de budget pour prendre en charge un apéritif à la fin de la conférence. :)

Alchemy, éditeur français de logiciels, annonce la sortie de la version 3.1 de sa solution de gestion de photothèques open source Phraseanet ! Phraseanet est un logiciel permettant aux professionnels de l’image (services photo et communication d'entreprise, mairies, photographes indépendants...) de gérer et diffuser leurs fonds photo et multimédia, en ligne, à partir d'un navigateur web.

Logiciel propriétaire jusqu’en mars 2010, Phraseanet est aujourd’hui l’une des rares solutions à avoir fait l'objet d'un passage à l’open source parmi les logiciels professionnels de gestion de contenu photo et multimédia (Phraseanet gère les photos, mais aussi les vidéos, documents audio et PDF). Sous licence GPL v3, Phraseanet est téléchargeable gratuitement.

Parmi les nouveautés de cette version majeure :

• l’interface « Phraseanet Lightbox », l’application dédiée à la validation et à la consultation de documents envoyés par d’autres utilisateurs, se voit dotée de nouvelles fonctions : possibilité d’ajouter des commentaires sur un document, compatibilité de l'interface avec l'iPhone™ et d'autres ordiphones...
  
• mise en fonction d'un gestionnaire des commandes ;
  
• mise en place d'une « quarantaine » lors de l'envoi de documents ;
  
• ajout de nouvelles statistiques dans l’interface de statistiques « Phraseanet Report »...

L'article « L’interprétation des graphiques produits par Ngram Viewer » m'a donné envie de faire quelques essais avec cet outil. « (...) mis en ligne par Google le 16 décembre dernier. Il permet de visualiser sous forme de graphiques les fréquences d'apparition de suites de mots dans les livres numérisés depuis 2003 sur Google Books. »

Bref on peut rechercher des séquences de un à cinq mots dans le corpus de livres numérisés, couvrant jusqu'à 2008. Le blog de Jean Véronis précise qu'il s'agit du « plus gros corpus linguistique de tous les temps : 500 milliards de mots (...) 4% des livres jamais publiés sur Terre ».

Ce corpus est disponible sous licence Creative Commons Attribution 3.0.

Je me suis livré à une petite recherche sur les termes pour geeks libristes, en anglais et français (liés aux lois et traités sur l'immatériel, au logiciel libre, etc.). Le plus simple est encore d'aller regarder les graphes obtenus.

L'année 2009 fut exceptionnelle pour la communauté PostgreSQL Francophone avec notamment la conférence européenne "PG Day" qui s'est tenue à Paris et qui reste à ce jour la plus grande conférence dédiée à PostgreSQL jamais organisée en Europe. Ce succès se traduit par un net bénéfice au niveau de l'association PostgreSQLFr. En clair : l'association dispose d'assez d'argent pour fonctionner pendant plusieurs années et elle continue à recevoir plus d'argent qu'elle n'en dépense.

En 2010, les membres de l'association ont décidé de lancer un grand appel à projet pour redistribuer une partie des fonds de l'association au profit de projets de la communauté francophone de PostgreSQL. Concrètement l'association propose de financer des projets avec des bourses allant de 1000€ à 4000€, selon le besoin exprimé. Ces bourses pourront être utilisées pour rembourser des déplacements, du matériel, des frais d'impressions, de location ou tout frais nécessaire à la réalisation du projet. Les frais seront remboursés par l'association sur présentation des factures correspondantes. Il est possible de financer tout ou partie d'un stage étudiant. Des avances sur frais peuvent être accordées si elles sont justifiées.

Firebird est sorti ce lundi 4 octobre en version 2.5. Pour mémoire, Firebird est système de gestion de base de données relationnel sous licence IDPL. C'est la cinquième version majeure depuis la création du projet, il y a 10 ans.

La principale nouveauté est la nouvelle architecture "SuperClassic" qui permet une meilleure utilisation des ressources CPU. Les autres nouveautés importantes sont :

• Un système de trace qui permet d'enregistrer et suivre en temps réel toute l'activité du serveur et des différentes bases ;
  
• La possibilité de faire des requêtes entre différentes bases de données ;
  
• La gestion des utilisateurs via des commandes SQL.
  

Mais aussi diverses autres fonctionnalités comme :

• Les transactions autonomes dans le langage PSQL ;
  
• Des procédures stockées et déclencheurs;
  
• L'ajout de l'opérateur SIMILAR TO permettant l'utilisation des expressions régulières ;
  
• La possibilité de tuer proprement via SQL des connexions ;
  
• L'extension des tables de monitoring ;
  
• L'amélioration du support de l'Unicode.