Une petite précision tout d'abord sur ce qu'est un SGBD ! Voici ce que nous écrit Wikipédia à ce sujet "En informatique un système de gestion de base de données (abr. SGBD) est un logiciel système destiné à stocker et à partager des informations dans une base de données, en garantissant la qualité, la pérennité et la confidentialité des informations, tout en cachant la complexité des opérations."
Il en existe un grand nombre, plus ou moins libres et plus ou moins répandus. Dans les plus connus du monde libre, il y a notamment MySQL, PostgreSQL…

À l'heure actuelle, une grande majorité des applications voulant stocker de l'information le fait dans un SGDB. Par exemple, nombre de sites web sont développés en environnement LAMP dont le "M" vient de MySQL. Vient ensuite une autre précision à donner sur ce qu'est "l'exploitation" de ces SGBD. Cela regroupe en fait les tâches récurrentes (souvent automatisées) faites par les administrateurs de bases de données.

La première qui vient à l'esprit est celle de backup (sauvegarde). En général, quand on stocke de l'information, c'est que l'on ne veut pas la perdre ! Il est donc de bon ton d'avoir un système de backup efficace qui nous permettra de récupérer nos données perdues ou altérées en cas de problème (matériel, logiciel, erreur humaine…).

Viennent ensuite les tâches dédiées à la performance comme l'update statistics ou la réorganisation (là, on est dans le barbare pour certains, mais on tâchera d'écrire un article dessus si cela intéresse du monde).

Et enfin, il est bien de pouvoir avoir une vision globale de son parc de SGBD en terme de type, version, volumétrie… c'est ce que l'on appelle la gestion de la CMDB et du capacity planning.

Un outil a été développé dans ce sens pour regrouper toutes ces tâches (et bien d'autres), il s'agit de dbSQWare.

Bokeh est un portail documentaire libre et communautaire sous licence AGPLv3.
Il permet aux bibliothèques et médiathèques de tous types, isolées ou en réseau, avec un ou plusieurs systèmes de gestion de bibliothèque d'agréger en un point d'entrée unique:

• leurs fonds physiques (livres, DVD, journaux…),
• leurs fonds numériques (fonds patrimonial numérisé, par exemple)
• des catalogues numériques externes (Arte VOD, Jamendo, Numerique Premium…).

Le moteur d'indexation et de recherche intégrée offre une interface unifiée aux utilisateurs pour qu'ils puissent consulter ce fonds, rechercher des documents précis ou bien élargir sur des ressources susceptibles de les intéresser.

Les abonnés aux médiathèques peuvent réserver des documents ou gérer leurs prêts entre autres. CMS et gestion de lettres d'information permettent aux médiathécaires de publier la programmation événementielle du réseau, d'enrichir et mettre en avant leurs fonds.

Un peu comme pour la dernière news, nous avons oublié de parler de la version 4.4, mais nous sommes heureux de vous annoncer la mise à disposition de Datafari 5.0

Changement majeur donc, synonyme de mise à jour majeure des composants utilisés.

Pour rappel, Datafari est une solution de recherche pour entreprise. Ça veut dire qu’elle permet aux employés de retrouver les données où qu’elles soient, quelles qu’elles soient. Plus concrètement, il s’agit de récupérer et d’indexer les données et documents depuis de nombreuses sources différentes et plusieurs formats de fichiers, et de permettre de chercher aussi bien l’intérieur des documents que leurs métadonnées. Linuxfr oblige, le focus dans cette dépêche sera sur la version libre (mais on a plein d’autres nouveautés aussi sur la version entreprise propriétaire)

On l’attendait impatiemment depuis un moment, c’est fait, la nouvelle version majeure de PostGIS est sortie !

PostGIS est la cartouche spatiale de PostgreSQL, la base de donnée Opensource relationnelle la plus avancée. PostgreSQL/PostGIS est souvent la pierre angulaire des systèmes d'information géographique. Elle comporte de nouveaux types de données (points, lignes, polygones…), un mécanisme d'indexation spatial, et un grand nombre de fonctions pour travailler avec ces données.

PostGIS 2.0, qui vient donc de voir le jour, arrive après un peu plus de 2 ans de développement. Les améliorations sont nombreuses, tant en terme de fonctionnalités, que de changements dans le code interne de PostGIS. Cette version utilise également les bibliothèques GEOS 3.3.3 et GDAL 1.9.0, qui sont sorties récemment.

Parmi les grandes nouvelles fonctionnalités, on trouve la gestion des raster (données image) dans la base de données, ainsi que la gestion d’un modèle topologique respectant le standard SQL/MM.

Tous les membres de l'équipe de développement de PostGIS tiennent à remercier leurs parents d'avoir rendu cette sortie possible.

NdM: PostGIS 2.0 nécessite PostgreSQL 8.4 ou supérieur.

Variation est un logiciel de gestion de dossiers d'usagers adapté au secteur du social et médico-social. Il s'adresse par exemple aux structures d'hébergement ou d'emploi de personnes handicapées, au suivi à domicile d'adolescents en difficultés, aux maisons de retraite, etc.

Nous sommes heureux d'annoncer la sortie de la version 1.0 de Variation sous licence libre (AGPL).

Odoo, la suite libre d'applications de gestion, vient de sortir sa version 8. Dans les nouvelles fonctionnalités, on retrouve un point de vente fonctionnant aussi sur iPad et Android, un outil de création de site internet, une boutique en ligne, un moteur de rapports statistiques, un système de blogue (clone open source de Medium).

Quelques applications marketing ont également été publiées : envois de mails, une gestion d'événements, un outil de création de sondages et un clone de Stackoverflow (Q&A)

Le cadriciel Python a été totalement réécrit permettant d'être plus efficace pour créer des modules personnalisés.

OpenDBViewer est un petit logiciel qui permet dans une interface très simple de se connecter à une base de données SQLite ou MySQL.

Je l’avais d’abord conçu en Python pour mes besoins personnels et professionnels. Ce logiciel a été ensuite converti en C++ avec Qt. Bien qu’il soit opérationnel, beaucoup de choses pourraient l’améliorer. Pour cela, les contributions des utilisateurs et des développeurs sont chaleureusement espérées.

FoundationDB, une base de données distribuée adaptée à de grands volumes de données, a été libérée. Apple avait racheté la société FoundationDB, éditrice de la solution de base de données du même nom, il y a trois ans. Avant le rachat, une version gratuite mais non libre était disponible. Depuis, certaines personnes regrettaient qu’une base de données de cette qualité ne soit plus disponible. Apple a fait le choix tout récemment de publier FoundationDB sous une licence libre (licence Apache 2.0) et d’encourager le développement d’un écosystème autour de celle‐ci.

Bokeh, disponible maintenant en version 7.8, est un portail documentaire libre (AGPL 3) destiné aux médiathèques publiques, etc., mais pas seulement !

Il permet d’agréger en un point d’entrée unique leurs fonds physiques et numériques, ainsi que des catalogues numériques externes. Les utilisateurs peuvent consulter des documents, en réserver, gérer leurs prêts…

Ancestris est un logiciel de généalogie libre. Ancestris est gratuit et libre, et il respecte strictement la spécification GEDCOM. Il est disponible pour GNU/Linux, *BSD, Solaris, Mac OS X et Windows, est écrit en langage Java (en tant que projet Netbeans 8) et est distribué selon les termes de la GPL v2.

Le projet vient de sortir, la veille de Noël 2016, la nouvelle version stable, la 0.9. Des améliorations et des nouveautés sont au menu. Ces améliorations et nouveautés sont les conséquences directes des demandes et souhaits des utilisateurs au travers de la liste de discussion.

   Ancestris

Mikio Hirabayashi est un ingénieur qui travaille pour un réseau social japonais, mixi.jp. Pour faire face à la montée en charge, il a écrit une base de données très rapide de type clés-valeurs : Tokyo Cabinet. C'est une bibliothèque écrite en C, avec des bindings Ruby, Perl, Java et Lua, et distribuée sous licence LGPL.

Tokyo Cabinet est très rapide, mais son auteur n'était pas satisfait des performances en concurrence sur des machines avec de nombreux cores. Il a donc écrit son successeur : Kyoto Cabinet. Kyoto Cabinet est écrit en C++, et publié sous licence GPL. Des bindings Ruby, Perl, Python (2.x et 3.x) et Java sont disponibles.

Kyoto Cabinet est rapide (l'ordre de grandeur est un million de requêtes par seconde), ACID et capable de gérer un haut niveau de concurrence. Ses bases de données peuvent enregistrer jusqu'à 8 exabytes et peuvent être de différents types en fonction des caractéristiques recherchées (persistence, verrouillage par enregistrement, par page ou global, ordre de tri, algorithme de stockage).

Tokyo Cabinet bénéficie d'un service réseau, Tokyo Tyrant, et d'un moteur de recherche full-text, Tokyo Distopia. Les équivalents pour Kyoto Cabinet n'existent pas encore, mais sont prévus et devraient sortir d'ici la fin de l'année.

Note : Pour ceux qui s'intéressent aux bases de données, le NoSQL Summer est l'occasion d'en apprendre plus. Le principe est simple : se réunir régulièrement pour discuter d'un papier scientifique autour des bases de données. Le lancement se fera le 21 juin à la Cantine pour Paris, mais vous pouvez n'assister qu'à une seule rencontre si vous le souhaitez. L'entrée est libre, la seule chose que l'on vous demande est d'avoir lu le papier sélectionné avant de venir. Si vous êtes dans une ville qui n'est pas encore couverte, rien ne vous empêche de trouver 2 ou 3 volontaires et de contacter les organisateurs.

Après plus de trois mois de développement, une équipe de stagiaires autogérée du 24^ème a mis au point une application de gestion de bases de données MongoDB. L’objectif ? Créer un outil corrigeant certains défauts des outils libres actuels tout en conservant une interface ergonomique et agréable.

MongoPassion est un outil libre sous licence AGPL 3.0, développé en PHP, entièrement gratuit et utilisable par tous les utilisateurs et les utilisatrices de MongoDB.

Drizzle

Drizzle est un fork de MySQL allégé et spécialement adapté pour le web et les infrastructures Cloud. Contrairement à MySQL qui est la propriété d'Oracle, Drizzle est développé et conduit par la communauté. Parmi les autres différences avec MySQL, on peut également citer :

• l'absence des vues, triggers et procédures stockées ;
• la non prise en charge de Windows ;
• un nouveau moteur, HailDB ;
• une configuration optimisée par défaut pour 1024 connexions simultanées…

La version 2011.03.13 a été déclarée General Availability (GA), c'est-à-dire prête pour la production, et ce trois ans après l'annonce du fork.

MongoDB

MongoDB est une base de données NoSQL de type documents, sous licence GNU AGPL. La version 1.8 est sortie le 16 mars et apporte :

• la journalisation, en réponse à ceux qui se plaignaient au sujet de la durabilité de MongoDB ;
• amélioration des performances pour le sharding ;
• Map/Reduce incrémental
• prise en charge des indexes Sparse et Covered ;
• et bien d'autres nouveautés !

Webdis

Redis est une base de données de type clé-valeur, un memcached boosté aux stéroïdes. Webdis est une interface HTTP au-dessus de Redis, sous licence BSD.

Il permet d'interroger une base de données Redis en appelant un chemin de la forme /Commande/Argument1/Argument2/.../ArgumentN. Le retour sera par défaut du JSON, mais il est également possible d'utiliser du JSONP ou d'autres formats : HTML, texte brut, etc. Webdis intègre également une gestion des droits en fonction de l'adresse IP, de l'authentification HTTP ou des deux.

MongoDB est une base de données de type documents, sous licence GNU AGPL V3, et dont la version 1.4 vient de sortir. Elle s'inscrit dans le mouvement NoSQL, et propose des fonctionnalités très intéressantes :

• Le stockage des documents se fait dans un format très proche du JSON (le BSON) et sans avoir à imposer un schéma ;
  
• Les requêtes dynamiques sont d'une richesse fonctionnelle que je pense être équivalente au SQL, et de nouveaux opérateurs font apparition au fur et à mesure des versions ;
  
• Il est possible d'indexer plein de choses, dont les objets internes et, nouveauté de la 1.4, des données géospatiales ;
  
• Les requêtes peuvent être profilées ;
  
• Il est faisable de stocker des objets binaires volumineux, comme des photos ou des vidéos, dans MongoDB grâce à GridFS ;
  
• MongoDB supporte la réplication, le failover, et de manière expérimentale le sharding automatique ;
  
• Des pilotes permettent de l'utiliser depuis de nombreux langages, dont le PHP, le Ruby et le Python.
  

Cela en fait une base de données solide, offrant des performances impressionnantes. Elle est déjà utilisée par de grands noms comme Sourceforge, EA, le New-York Time et bien d'autres. Elle me semble être particulièrement bien adapté pour le développement web (enfin, si vous visez à devenir le prochain twitter, Cassandra est probablement un meilleur choix). Certains prédisent même qu'elle pourrait prendre la place de MySQL dans ce domaine.

Oracle, nouvel éditeur de MySQL suite au rachat de Sun, vient d'annoncer une nouvelle version 7.2 de MySQL Cluster sous licence GPL (les numéros de version de la version « cluster » sont déconnectés de la version classique). MySQL Cluster est une version dite « distribuée » de MySQL utilisant le moteur NDB (Network DataBase), en lieu et place des classiques MyISAM et InnoDB, permettant une répartition des données et un fonctionnement sur plusieurs serveurs. Le développeur ne voit qu'un seul serveur : le répartiteur de charge.

Cette nouvelle version augmenterait les performances d'un facteur 70 sur les requêtes SQL complexes incluant des jointures sur plusieurs partitions. Un benchmark interne affiche que cette version est désormais capable de dépasser le milliard de requêtes par minute. Il faut évidemment avoir le matériel adéquat. Il a été réalisé sur un « cluster » de 8 nœuds, chaque nœud ayant été équipé de serveur avec 2 Intel Xeon X5670 et 48 Go de RAM, le tout relié par un bus InfiniBand.

Enfin, quant à la version GPL, on se souviendra de la tendance d'Oracle à ajouter tout un tas d'extensions fermées au cœur de MySQL afin de mieux retenir ses utilisateurs.

MAT est un projet écrit en python dédié à l'anonymisation de metadonnées, se voulant simple d'utilisation. Écrit durant le GSoC 2011 sous l'ombrelle du projet Tor, il vient de sortir en version 0.3.2. Il est composé d'une bibliothèque, d'une interface en CLI, et d'une autre en GUI.

Qu'est-ce qu'une metadonnée ?

Une métadonnée est une information qui caractérise une donnée.
Prenons un exemple : lorsque vous créez un PDF, en général, des données additionnelles sont ajoutées à votre fichier : le nom du logiciel producteur, votre nom, la date de production, la description de votre document, le titre de votre document, la dernière date de modification, … ce sont des métadonnées. Vous n'avez peut-être pas envie de partager ces informations lorsque vous partagez votre fichier.

Formats pris en charge

Pour l'instant, MAT prend en charge les formats suivants :

• Portable Document Format (pdf)
• Zip
• TApe aRchiver (tar.gz, tar.bz2, tar)
• Jpeg (jpg, jpeg)
• Portable Network Graphics (png)
• Torrent
• Opendocuments (odt, opt, …)
• Openxml de Microsoft (docx, pptx, …)
• MPEG Audio (mp3, mp2, mpa, …)
• Ogg Vorbis (ogg)
• Free Lossless Audio Codec (flac)

Objectifs à long terme

Pour l'instant MAT permet l'anonymisation de quelques formats de fichiers couramment utilisés. Un des buts à long terme serait d'implémenter des contres-mesures pour le tatouage/marquage.

La Fondation MariaDB lance un appel à contributions auprès des enseignants et de la communauté afin de contribuer à un curriculum de formation théorique et pratique sur les bases de données, en s’appuyant tout ou partie sur MariaDB. Kaj Arnö, président de la Fondation MariaDB, viendra présenter l’initiative à Paris le 12 novembre à 16 h au Bistro du Canal (75010), juste avant l’événement organisé par le Fonds de Dotation du Libre et le CNLL à Cap Digital.

L’objectif de cet enseignement est de s’attaquer à la pénurie de compétences avancées sur les bases de données et d’améliorer la pédagogie sur les aspects algorithmiques (caches, structures des index, prédiction de jointure, tables de hachage sans verrou, etc.) qu’il faut aujourd’hui environ dix ans à acquérir. Kaj Arnö présentera également la feuille de route de MariaDB (10.5).

Pour faire écho à Elastic, qui a changé la licence de ses produits Elasticsearch (moteur de recherche) et Kibana (visualisation de données), Amazon vient d’annoncer il y a peu la sortie de son produit OpenSearch en open-source, un fork de ces deux produits.

Le NoSQL est un mouvement qui vise à offrir des bases de données dont les caractéristiques sont différentes des bases de données relationnelles, afin de laisser aux développeurs le choix. Par exemple, une de ces caractéristiques est la "mise à l'échelle" (scalability) : certains très gros sites Internet ont besoin de gérer des bases de données conséquentes et dont la taille ne cesse de croître, sans pour autant voir leurs coûts de fonctionnement exploser. Cassandra vient justement répondre à ce besoin.

Cassandra est un stockage structuré de clés-valeurs, distribué, acceptant facilement la montée en charge et résistant aux pannes. Initialement développé par Facebook, le projet a été libéré sous licence Apache 2.0 et placé dans les mains de la fondation Apache. Il a depuis connu un succès grandissant : en plus de facebook, twitter, digg, reddit et bien d'autres ont annoncé qu'ils utilisent Cassandra.

Cassandra bénéficie de beaucoup d'activités : la version 0.6 est sortie il y a quelques jours et apporte des fonctionnalités très intéressantes (plus de détails dans la seconde partie de la dépêche). Cassandra participera aussi au Google summer of code sous le chapeau de la fondation Apache.

Variation est un logiciel de gestion de dossiers d'usagers adapté au secteur du social et médico-social. Il s'adresse par exemple aux structures d'hébergement ou d'emploi de personnes handicapées, au suivi à domicile d'adolescents en difficulté, aux maisons de retraite, etc.

La particularité de Variation par rapport aux autres logiciels du secteur est d'être un outil de construction d'applications : à l'installation, le vide règne ; il est de la responsabilité d'une personne compétente en gestion de ces établissements de placer les champs de saisie et autres agendas dans les bons onglets. C'est ce que nous appelons le « paramétrage » d'une solution particulière adaptée à un établissement particulier.

Depuis l'article de l'an dernier dans ces mêmes pages, nous avons travaillé d'une part à la création de paramétrages (que nous appelons « Arrangements » pour rester dans le thème musical) pour quelques catégories d'établissements répandues (MECS, SESSAD, CHRS) et d'autre part sur un outil d'import/export de ces arrangements afin de pouvoir les redistribuer plus facilement.

Quelques autres nouvelles en vrac :

• la forge de l'Adullact a adopté le projet,
• nous avons eu le plaisir de présenter notre solution aux RMLL de Beauvais en début de mois,
• les manuels d'utilisation sont désormais en téléchargement libre,
• nous travaillons maintenant à diverses améliorations de l'interface web.

Rasdaman ("raster data manager") est une extension à PostgreSQL permettant le stockage de données maillées dans une base de données. C'est en quelque sorte l'équivalent de PostGIS pour des données raster.

Conjointement développé depuis plusieurs années par la Jacobs_University_Bremen (Allemagne) et rasdaman GmbH, Rasdaman est désormais disponible en licence GPL V3 et en licence propriétaire.

Rasdaman est notamment utilisé par l'Institut géographique national français pour gérer une base de données de photographies aériennes de 12 To.

OpenERP, le logiciel libre de gestion d'entreprise, vient de recevoir 3 millions d'euros d'investisseurs français. C'est une étape très importante pour OpenERP, car cette levée de fonds donne les moyens de se concentrer principalement sur les services de maintenance et de développement, afin de faire évoluer rapidement le logiciel.

Cette opération valide le modèle économique libre de l'éditeur OpenERP : une diminution des coûts (commerciaux, marketing et de développement) grâce au logiciel libre qui compense le manque à gagner qu'est le revenu de la licence chez les concurrents propriétaires.

L’association des utilisateurs de MySQL LeMug.fr et Openday vous invitent à rencontrer Morgan Tocker, consultant chez Percona.

Au programme :

• présentation de l’association LeMug.fr et OpenDay ;
• présentation des ouvrages « Audit et optimisation MySQL 5 » et « MySQL 5 Administration et optimisation » par leurs auteurs ;
• optimisation de vos bases de données MySQL par Morgan Tocker ;
• apéro.

Infos pratiques

Date & heure : lundi 7 mars à partir de 19 h

Lieu : café Le Dune — 18 av. Claude Vellefaux, 75010 Paris

Accès : métro Goncourt / Col. Fabien

Tarif : gratuit

Inscriptions sur le site de l'organisateur d'évènements sur le logiciel libre Openday.

N.B. : il n'y a pas de sponsor sur l'évènement, si vous souhaitez vous positionner, contactez-nous sur LinuxFr. Il manque à l'association un peu de budget pour prendre en charge un apéritif à la fin de la conférence. :)

Moins de dix mois après la sortie de sa dernière version stable, l'entreprise 10gen a sorti la nouvelle mouture de sa base de données : MongoDB 2.0. Cette version ne propose rien de révolutionnaire, mais apporte tout de même un certain nombre de fonctionnalités appréciables. On retrouvera notamment :

• la journalisation activée par défaut ;
• l'amélioration de l'efficacité spatiale et temporelle des index ;
• la gestion plus fine des priorités pour la réplication ;
• et la datacenter awereness de certaines opérations.

N. D. M. : MongoDB est publiée sous licence AGPL v3.0.

N. D. M. : la version 2.0 de MongoDB n'est encore qu'en release candidate.

La version 2.0.1 - Dufour - du système de gestion d'informations géographiques QGIS est sortie en septembre 2013. Cette version paraît plus d'un an après la dernière version majeure (1.8). Elle apporte sa dose de polissage et d'améliorations graphico-ergonomiques diverses.

La version 1.8 nommée "Lisboa" a été publiée le 21 juin 2012 et totalise plus de 730 000 téléchargements pour l'installateur Windows. Pour cuisiner la 2.0, il a fallu 108 contributeurs (+68%) et plus de 4600 commits, soit 1,6 millions de lignes en plus (1/3 des ajouts depuis l'existence du projet !).