La version 9.3 de PostgreSQL est sortie le 9 septembre 2013.

Avec cette nouvelle version, la plus aboutie des bases de données libres s'enrichit encore de nouvelles fonctionnalités.

Principales nouveautés :

• tables externes modifiables ;
• le pilote pgsql_fdw permet l’agrégation de base de données PostgreSQL ;
• vues modifiables ;
• vue matérialisée ;
• jointure latérale ;
• fonctions JSON supplémentaires ;
• recherche indexée des expressions régulières ;
• checksums des pages disques ;
• utilisation de mmap pour réduire la consommation de mémoire partagée SysV.

Plus de détails dans la deuxième partie.

Pendant longtemps, les bases de données relationnelles ont été l'unique solution pour enregistrer des données, ou en tout cas, la solution adoptée par défaut par beaucoup de monde sans plus de réflexion sur le sujet. Pourtant, certaines personnes considèrent que le problème de stockage de données est en fait multiple et qu'il convient de se poser de nombreuses questions :

• Est-ce que les données sont fortement structurées ou non ?
• Quel est le ratio entre les lectures et les écritures ?
• Est-il acceptable de perdre un enregistrement sur un million ? Sur un milliard ?
• Est-ce que les données sont réparties sur plusieurs data-centres ?
• Est-ce que la taille des données peut être multipliée par 10 en l'espace d'un mois ?
• Quelle indisponibilité du service peut-on se permettre ?
• Etc.

Les bases de données relationnelles proposent leurs réponses à ces questions ; elles peuvent paraître raisonnables dans bien des cas, mais pas toujours. Par exemple, les bases de données relationnelles sont très mal adaptées quand on veut privilégier les performances plutôt que la garantie d'écriture des données.
Aussi, pour répondre à ces problématiques différentes, un mouvement, NoSQL, a proposé d'adopter des outils différents, spécialisés pour certains cas d'usage. Certaines bases de données NoSQL sont destinées à traiter d'énormes volumes de données, d'autres sont conçues pour maximiser le nombre de requêtes par seconde qu'un serveur pourra traiter, etc. Notons en particulier que la plupart des plus gros sites web ont quitté le monde relationnel (Google, Facebook, Twitter, Amazon), ce qui tend à valider le besoin d'avoir d'autres outils que les bases de données relationnelles.

NdA : Merci à Christophe Turbout, Thomas Douillard, Buf, olivierweb, Spack, baud123, Bruno Michel, mike.simonson et rakoo pour leur aide lors de la rédaction de cette dépêche

Bon, voilà, j’ai développé ce greffon pour pgModeler (C++/Qt), et j’ai envie de le partager dans une petite dépêche.

Mes motivations principales étaient de pouvoir effectuer des requêtes dans mon logiciel de modélisation préféré, bien entendu, et le fait que les logiciels de modélisation que je connais ne prennent pas en charge les jointures existantes ou automatiques.

Votre client SQL est cool ? Mais est‑il cool à ce point ?! :)

Rapide présentation de pgModeler

pgModeler est un logiciel de modélisation de base de données. Bien que plutôt généraliste — si l’on s’en tient à un modèle logique des données — il est spécialisé PostgreSQL. Il permet entre autres de :

• construire par interface graphique un modèle de base de données (tables, schémas, rôles…), mais bien plus ; en fait, il propose toutes les fonctionnalités offertes par PostgreSQL, allant jusqu’aux extensions PostGIS ;
• créer une base de données à partir d’un modèle : passer de la représentation à l’implémentation ;
• à l’inverse, créer un modèle à partir d’une base de données ;
• comparer une instance PostgreSQL avec un modèle et produire — voire réintégrer — les différences entre schémas ;
• administrer sa base, avec un module riche, mais qui n’égalera sans doute pas pgAdmin ;
• produire un dictionnaire des données.

Des discussions sont en cours pour rendre pgModeler nativement compatible avec les autres systèmes de gestion de bases de données relationnelles (SGBDR) grâce à l’excellent extracto‑chargeur (ETL) pgLoader.

PostgreSQL est un système de gestion de base de données relationnelle. La version 11 est sortie ce 18 octobre 2018.

Les principales nouveautés, détaillées en seconde partie de la dépêche, se sont concentrées sur la gestion des bases ayant un très gros volume de données.

Contributeur de longue date au projet PostgreSQL, Dimitri Fontaine a publié il y a quelques mois un ouvrage consacré au développement d’applications et au « SGBD libre de référence » : Mastering PostgreSQL in Application Development. On s’est dit que cela pourrait être une bonne occasion pour avoir sa vision sur l’évolution de PostgreSQL et des rapports entre développeurs et bases de données.

Il y a presque un an, une dépêche annonçait le logiciel OpenDBViewer, sponsorisé par l’entreprise Jet1oeil et supervisé par moi‐même.

Il s’agit, comme son nom le suggère, d’un petit logiciel très léger écrit en C++/Qt pour lire et modifier les bases de données SQLite, MySQL et PostgreSQL. Le logiciel est sous licence GPL v3.

Avec la venue de stagiaires dans l’entreprise, nous avons pu développer de nouvelles fonctionnalités durant l’année afin d’encore améliorer son ergonomie.

PostgreSQL est sorti ce lundi 20 septembre en version 9.0.
Pour mémoire, PostgreSQL est un système de gestion de base de données relationnel-objet qui se veut le plus performant possible tout en respectant les standards SQL au maximum, la licence du code source est de type MIT.
Cette dernière version apporte plus de 200 améliorations (nouvelles fonctions, nouvelles commandes, ajout d'options...) et permet de migrer à partir d'une base 8.3 ou 8.4.

La principale nouveauté est la réplication intégrée par défaut, qui était une demande importante de la part des utilisateurs.
Même si elle est limitée à un seul maître et plusieurs esclaves, ceci devrait réjouir beaucoup d'utilisateurs.
Les autres nouveautés importantes sont détaillées en seconde partie de dépêche.

CouchDB est une base de données de la famille NoSQL. C’est même l’une des plus anciennes, sortie en 2005. Elle est ensuite devenue un projet Apache en 2008. Elle a pris du retard sur ses concurrents sur de nombreux aspects, mais sa grande force, la réplication entre instances primaires, reste inégalée. Pouchdb, un portage de CouchDB en JavaScript capable de tourner dans les navigateurs, est compatible avec le protocole de réplication de CouchDB et la combinaison des deux est très intéressante pour développer des applications Web dites « progressives » (PWA), capables de travailler sans connexion Internet. Il existe d’autres implémentations compatibles avec ce protocole de réplication, dont Couchbase lite pour mobile.

La version 2.0 de CouchDB est attendue depuis plusieurs années et a pris beaucoup de retard. Elle vient enfin de sortir avec de grandes nouveautés, dont la prise en charge du clustering, un nouveau moteur de « requêtage » et une interface d’administration plus moderne.

« Chère pêche »,

En ce début d'année, il ne me semble pas inutile de faire le pont entre la rétrospective et la perspective, afin de conjuguer l’avenir du Web au présent. :-)

Le but de cette dépêche est de faire un tour d’horizon de technologies permettant de faire des requêtes sur des données structurées : le Web sémantique. Comment il a évolué en dix ou quinze ans et ce qu’il permet de faire. Après une introduction contextuelle et historique, il sera question de Sparql et de linked data fragments, ainsi que de leurs usages en pratique chez Wikimedia Foundation.

Accrochez‐vous à votre fauteuil, il va être question de niveaux d’abstractions, d’enrichissement croisé de données, de manipulation de tables, de la pertinence du choix de RDF par rapport à SQL, des outils utilisés par les contributeurs Wikimedia mis au point par les développeurs du projet et, enfin, des limites actuelles et d’un avenir possible.

SQLite, la plus petite des bases de données est sortie en version 3.8.0 le 26 août et est disponible en version 3.8.0.2 depuis le 3 septembre. C'est une base de données qui sort du schéma client/serveur habituel. Elle s'utilise en effet sous forme de bibliothèque, la plupart du temps directement embarquée par les applications.

L'incrémentation du numéro de révision mineure de 7 à 8 marque le passage à un nouveau générateur de plan d'exécution.
Celui-ci est sobrement appelé NGQP (next generation query planner) c'est-à-dire générateur de plan d'exécution de nouvelle génération. Ce nouveau générateur est plus rapide et fournit de meilleurs plan d'exécution à vos applications (à l'exception de son utilisation dans Fossil… mais c'est corrigé :o)).

L'autre ajout important est le support des index partiels. Ces index sont construits de la même façon que les index habituels, mais l'ajout d'une condition WHERE à la fin de leur définition vous permet de restreindre la plage de données. Ces index peuvent alors être moins volumineux et réduire les temps de traitement : moins de place, moins d'analyse. SQLite n'utilise pas de résolution sophistiquée pour faire le lien entre requête et index partiel. Il faut donc que les clauses WHERE entre ceux-ci soient les plus proches possible.

Postgresql, le moteur de base de données le plus avancé du monde libre vient de sortir en version 9.1. Contrairement à d'autres bases de données libres, Postgresql est développé par une communauté mondiale d'entreprises et de contributeurs indépendants.

Les nouveautés de cette version sont détaillées en seconde partie.

Une nouvelle version 8.10 de Ora2Pg est sortie ce 2 mars 2012 ; cet outil, développé en Perl depuis 2005, permet d'exporter le schéma d'une base de données Oracle vers PostgreSQL. Il est disponible sous licence GPL3+.

Les fonctionnalités de migration automatique proposées concernent les schémas, mais aussi les données et — en partie — les fonctions voire les procédures PL/SQL :

• export de schéma complet
  • tables, vues, séquences, index
  • droits/privilèges pour des utilisateurs et groupes
  • export des vues Oracle en tant que table PostgreSQL
• export de données
  • par table
  • export complet des données ou par sélection via une clause WHERE
  • gestion des objets BLOB Oracle en tant que PG BYTEA
• export des fonctions prédéfinies, triggers, procédures, packages
  • assistance simple à la conversion de code PL/SQL en code PL/pgSQL
  • pour le code spécifique PL/SQL, la conversion reste principalement manuelle

Ce genre d'outil permet de migrer un parc de bases de données Oracle vers un vrai gestionnaire de base de données relationnelles libre tel que PostgreSQL. Les retours d'expérience sont les bienvenus ! Cela peut être la première étape d'une migration, sans oublier d'effectuer les adaptations et tests de non-régression des développements applicatifs se connectant à votre base de données.

Issu de l'univers du data-journalisme, Tabula est un logiciel permettant d'extraire facilement des données tabulaires issues de fichiers PDF. Il a été développé par des journalistes pour des journalistes. Mais son usage va au-delà de cette profession : étudiants, chercheurs, etc…

Si vous avez déjà essayé de copier-coller des tableaux contenus dans des documents PDF pour les retravailler dans Libre Office par exemple, au format CSV, vous savez à quel point c'est compliqué et chronophage.

Gratuit, Libre (Licence MIT), Tabula fonctionne sous Mac, Windows et Linux. Codé en Ruby, fonctionnant avec la JVM, Tabula est un web-service puissant, disposant de fonctionnalités de détection de tableaux de deux types :

• soit par détection automatique des espaces entre les colonnes (mode stream) ;
• soit par détection automatique des caractères de colonnes (mode lattice).

Je viens de publier un livre blanc sur ce que je pense être la convergence inévitable du Big Data et du logiciel libre / open source. Après une définition du big data (« ensembles de données qui deviennent tellement gros qu'ils en deviennent difficiles à travailler avec des outils classiques de gestion de base de données », d'après Wikipedia) et de ses caractéristiques (les « 3 V » de Stonebraker ou les « 4 V » de Popescu), j'expose les raisons pour lesquels les principaux logiciels du domaine ont été mis en open source, et j'en fais un panorama.

Le même jour, le magazine InfoDSI publie un article sur le décollage du Big Data, citant une étude de marché d'IDC qui évalue le marché à 3.2 milliards de $US en 2010 et potentiellement presque 17 milliards de $US en 2015 et qui met en avant également le dynamisme des projets open source dans le domaine.

Pour en revenir à mon livre blanc, il s'agit de la première édition, forcément incomplète. Vos commentaires, qu'ils soient posté sur mon blog ou ici-même, seront pris en compte (s'ils sont pertinents ;-)).

NdM: le livre est sous licence CC BY-SA 3.0.

Le gestionnaire libre de base de données relationnelle PostgreSQL vient de sortir en version 9.2. Cette version est principalement axée sur l’amélioration des performances.

Des informations très détaillées se trouvent sur la page du wiki « What's new in PostgreSQL 9.2 ». La liste des principales nouveautés se trouve en seconde partie de dépêche.

GapMea est un outil de conception de bases de données (code sous licence GPL v3+ et documentation sous GFDL v1.3+).

GapMea est un outil graphique de modélisation des données écrit en C++ à l’aide de la bibliothèque Qt. Il permet de formaliser des schémas recueillant et structurant les informations nécessaires à un domaine de gestion. Le schéma obtenu est enregistré dans un fichier texte au format XML. Le logiciel permet la génération du code SQL nécessaire à la création des tables de la base de données qui vont accueillir les informations.

Elasticsearch est un moteur de recherche distribué, RESTful, reposant sur la bibliothèque Apache Lucene et sous licence Apache 2.

Si vous ne le connaissez pas encore, vous pouvez vous reporter à la précédente dépêche, Sortie d'Elasticsearch en version 1.0 où un rapide test est disponible.

Vous pouvez aussi voir tous les contenus taggés avec elasticsearch.

Le rachat de Sun par Oracle avait entraîné l’absorption de MySQL AB par l'ogre de l'édition logiciel. Depuis, au moins deux forks de MySQL ont vu le jour : MariaDB et SkySQL, pour se réunir à nouveau au sein d'un unique projet newSQL. Un peu plus tard, Red Hat, a décidé de remplacer MySQL par MariaDb pour la prochaine version majeure de sa distribution phare : RHEL 7.

C'est dans ce contexte que MariaDB a dénoncé les équipes de MySQL AB pour avoir silencieusement modifié la licence des pages de manuel de MySQL. La nouvelle licence est bien plus restrictive, puisqu'elle n'autorise plus la duplication de la documentation sous forme imprimée à des fins de redistribution, à moins d'obtenir l'accord d'Oracle.

On attend avec impatience la réponse de MySQL AB ou d'Oracle.

NdM : Il semblerait que ce soit un bug dans le processus de publication de la documentation et non pas un changement intentionnel de licence.

Dans un article de blog, en anglais, Shay Banon, le créateur de ElasticSearch, annonce qu’il va « ouvrir » le code de X-Pack, la suite d’extensions propriétaires de l’ensemble de produit Elastic. Mais cette ouverture n’en est pas une au sens où on aurait aimé l’entendre !

Pour faire court, Illico Editor est un couteau suisse de la qualification de données qui simplifie les opérations de préparation de données : formatage, pivot, croisement, comparaison avec d’autres jeux de données. Il s’utilise à travers une interface web, et n’a pas besoin de serveur.

Pour l’installer on se contente de décompresser une archive et d’ouvrir le fichier HTML. L’application est écrite en Javascript et distribuée sous licence GPL. Je présente ici en résumé les nouveautés depuis la précédente dépêche en 2019. J’en profite pour vous souhaiter une excellente année 2021 !

Redis est une base de données de type clé-valeur, sous licence BSD. On peut voir Redis comme une sorte de Memcached boosté aux stéroïdes.

La version 2.2.0 est sortie la semaine dernière, très rapidement suivie de la version 2.2.1. Cette version apporte principalement des optimisations par rapport à Redis 2.0 :

• importante diminution de la consommation mémoire (à ce sujet, je vous conseille la lecture des astuces pour optimiser la mémoire) ;
• réplication non-bloquante ;
• la commande Watch pour faire du check and set ;
• l'Algorithme LRU pour l'éviction des données quand la mémoire consommée par Redis est limitée ;
• nouvelles commandes : SETBIT, GETBIT, SETRANGE et GETRANGE permettant d'accéder à des valeurs de type « chaînes de caractères », comme s'il s'agissait de tableaux.

Pour la suite, antirez (le principal développeur) souhaite se concentrer sur la prise en charge des grappes de serveurs (clusters) et sur diskstore (un stockage sur disque des données pour les instances où tout faire tenir en mémoire n'est pas une option).

Alors que le paysage des logiciels libres de gestion de base de données est souvent réduit à MySQL et PostgreSQL, de nouveaux entrants innovants tentent d'émerger.
Tout en conservant le classique soubassement relationnel (à l'inverse des tentatives du mouvement NoSQL) ces nouveaux concurrents font le pari de l'ouverture et de la modernité par rapport à leurs prédécesseurs plus anciens.

Tout le monde le sait, le projet MySQL est actuellement dans l'expectative : le rachat de MySQL AB par Sun et le rachat de Sun par Oracle ont jeté un doute sur sa pérennité à long terme (voir cet article LWN et ses commentaires qui seront accessibles le jeudi 24). En outre, la qualité technique du code est remise en cause et les orientations futures sont incertaines. Comme MySQL reste toutefois le plus connu des SGBD libres, il n'est pas étonnant de constater que les nouveaux entrants, MariaDB et Drizzle, sont des rejetons de MySQL, qui cherchent à reprendre ce qu'il y a de mieux dans son code et à reconstruire un projet qui fédère une large communauté de développeurs.

Nous examinerons dans la suite de la dépêche ces deux projets et nous évaluerons leurs chance de s'imposer dans le monde très concurrentiel des gestionnaires de base de données. Place donc à MariaDB et à Drizzle.

Elasticsearch est un moteur de recherche distribué, RESTful, reposant sur la bibliothèque Apache Lucene et sous licence Apache 2.

En un an, depuis sa sortie en version 0.90, sa popularité et ses fonctionnalités n'ont cessé de croître.

Note: Si vous n'avez jamais joué avec Elasticsearch, il est plus intéressant de commencer par le test.

Le mois dernier, Richard Hipp et Damien Katz (respectivement, les créateurs de SQLite et CouchDB) ont annoncé la création d'un groupe de travail ouvert autour d'un nouveau langage de requêtes pour les bases de données NoSQL : UnQL (Unstructured Query Language). L'objectif étant de libérer les bases de données orientés documents des interfaces spécifiques et éviter la dépendance envers un fournisseur.

Une nouvelle version de la base de données MongoDB est sortie ce mercredi. Il s'agit de la version 2.2 qui fait suite à la version 2.0 (le versionnement adopte un système pair/impair : pair pour les versions stables, impair pour les versions en développement).

Pour rappel, MongoDB (humongous database) est une base de données développée par la société 10gen. Elle s'inscrit dans le mouvement NoSQL (Not Only SQL), très à la mode. Les forces de MongoDB viennent avant tout de sa simplicité : aucun schéma, installation simplissime, peu de concept complexes à maîtriser avant de l'utiliser. C'est un système de gestion de base de données orientée documents, extensible, écrit en langage C++ et distribué sous licence AGPL. Plus d'information sur la base de données sur Wikipedia ou sur le site de MongoDB.

Dans cette dépêche, nous étudierons les nouveautés proposées par cette nouvelle version. Les plus pressés iront consulter les notes de version tandis que les pointilleux pourront s'intéresser à la liste des bugs corrigés par cette version.