Journal Optimisez votre code !

Posté par . Licence CC by-sa.
75
7
déc.
2017

Cher journal,
Je voudrais te raconter une histoire, qui n'est peut-être pas encore finie d'ailleurs, qu'on pourrait résumer en 1 mot : OPTIMISATION !

Tout commence en tout début d'année : je suis embauché chez Chacun cherche son Film, une toute petite (5, moi inclus) boite qui développe un site Web faisant la promotion du cinéma indépendant. Cette boite a fait le (très mauvais, comme on va le voir) choix de faire développer son site par une boite de prestation (...)

SPARQL, le SQL du Web, et Linked Data Fragment : le point sur le requêtage du Web

Posté par . Édité par Davy Defaud, tankey, palm123, Benoît Sibaud et ZeroHeure. Modéré par Nils Ratusznik. Licence CC by-sa.
Tags :
49
1
jan.
2017
Base de données

« Chère pêche »,

En ce début d'année, il ne me semble pas inutile de faire le pont entre la rétrospective et la perspective, afin de conjuguer l’avenir du Web au présent. :-)

Le but de cette dépêche est de faire un tour d’horizon de technologies permettant de faire des requêtes sur des données structurées : le Web sémantique. Comment il a évolué en dix ou quinze ans et ce qu’il permet de faire. Après une introduction contextuelle et historique, il sera question de Sparql et de linked data fragments, ainsi que de leurs usages en pratique chez Wikimedia Foundation.

Accrochez‐vous à votre fauteuil, il va être question de niveaux d’abstractions, d’enrichissement croisé de données, de manipulation de tables, de la pertinence du choix de RDF par rapport à SQL, des outils utilisés par les contributeurs Wikimedia mis au point par les développeurs du projet et, enfin, des limites actuelles et d’un avenir possible.

Journal web moderne, bases de données et beauté logiciel libre

47
11
juin
2014

J'aimerais parler ici de mon expérience lors du développement de sql.js, un port de SQLite en javascript. Pour ceux qui ne s’intéressent pas aux technologies du web, la fin de ce journal pourrait quand même vous intéresser, on va parler de SQLite.

Web moderne

Ceux d'entre vous qui s'intéressent aux technologies modernes du web ont certainement entendu parler d’emscripten, et d’asm.js.

Emscripten est un compilateur de bitcode LLVM en Javascript. Il permet de compiler du (...)

Migrer de Oracle à PostgreSQL : Ora2Pg

Posté par (page perso) . Édité par baud123, Florent Zara, olivierweb et Yves Bourguignon. Modéré par Xavier Claude. Licence CC by-sa.
45
13
mar.
2012
Base de données

Une nouvelle version 8.10 de Ora2Pg est sortie ce 2 mars 2012 ; cet outil, développé en Perl depuis 2005, permet d'exporter le schéma d'une base de données Oracle vers PostgreSQL. Il est disponible sous licence GPL3+.

Les fonctionnalités de migration automatique proposées concernent les schémas, mais aussi les données et — en partie — les fonctions voire les procédures PL/SQL :

  • export de schéma complet
    • tables, vues, séquences, index
    • droits/privilèges pour des utilisateurs et groupes
    • export des vues Oracle en tant que table PostgreSQL
  • export de données
    • par table
    • export complet des données ou par sélection via une clause WHERE
    • gestion des objets BLOB Oracle en tant que PG BYTEA
  • export des fonctions prédéfinies, triggers, procédures, packages
    • assistance simple à la conversion de code PL/SQL en code PL/pgSQL
    • pour le code spécifique PL/SQL, la conversion reste principalement manuelle

Ce genre d'outil permet de migrer un parc de bases de données Oracle vers un vrai gestionnaire de base de données relationnelles libre tel que PostgreSQL. Les retours d'expérience sont les bienvenus ! Cela peut être la première étape d'une migration, sans oublier d'effectuer les adaptations et tests de non-régression des développements applicatifs se connectant à votre base de données.

Sortie de PostgreSQL 9.2

Posté par (page perso) . Édité par Davy Defaud, Nÿco, Benoît, Xavier Claude, baud123 et Florent Zara. Modéré par Florent Zara. Licence CC by-sa.
40
10
sept.
2012
Base de données

Le gestionnaire libre de base de données relationnelle PostgreSQL vient de sortir en version 9.2. Cette version est principalement axée sur l’amélioration des performances.

Logo PostgreSQL

Des informations très détaillées se trouvent sur la page du wiki « What's new in PostgreSQL 9.2 ». La liste des principales nouveautés se trouve en seconde partie de dépêche.

Exploitez vos SGBD grâce à dbSQWare

Posté par (page perso) . Édité par Nÿco et Xavier Claude. Modéré par Pierre Jarillon. Licence CC by-sa.
30
24
mai
2014
Base de données

Une petite précision tout d'abord sur ce qu'est un SGBD ! Voici ce que nous écrit Wikipédia à ce sujet "En informatique un système de gestion de base de données (abr. SGBD) est un logiciel système destiné à stocker et à partager des informations dans une base de données, en garantissant la qualité, la pérennité et la confidentialité des informations, tout en cachant la complexité des opérations."
Il en existe un grand nombre, plus ou moins libres et plus ou moins répandus. Dans les plus connus du monde libre, il y a notamment MySQL, PostgreSQL…

À l'heure actuelle, une grande majorité des applications voulant stocker de l'information le fait dans un SGDB. Par exemple, nombre de sites web sont développés en environnement LAMP dont le "M" vient de MySQL. Vient ensuite une autre précision à donner sur ce qu'est "l'exploitation" de ces SGBD. Cela regroupe en fait les tâches récurrentes (souvent automatisées) faites par les administrateurs de bases de données.

La première qui vient à l'esprit est celle de backup (sauvegarde). En général, quand on stocke de l'information, c'est que l'on ne veut pas la perdre ! Il est donc de bon ton d'avoir un système de backup efficace qui nous permettra de récupérer nos données perdues ou altérées en cas de problème (matériel, logiciel, erreur humaine…).

Viennent ensuite les tâches dédiées à la performance comme l'update statistics ou la réorganisation (là, on est dans le barbare pour certains, mais on tâchera d'écrire un article dessus si cela intéresse du monde).

Et enfin, il est bien de pouvoir avoir une vision globale de son parc de SGBD en terme de type, version, volumétrie… c'est ce que l'on appelle la gestion de la CMDB et du capacity planning.

Un outil a été développé dans ce sens pour regrouper toutes ces tâches (et bien d'autres), il s'agit de dbSQWare.

CatchChallenger version 2

27
23
sept.
2016
Jeu

CatchChallenger est un MMORPG, un jeu de rôle massivement multijoueur. Particularité ? il est indépendant, en ligne et entièrement libre : licence GPLv3 pour le code, les données (artwork) et le site.

La base du jeu est un mélange de différent styles : combat, agriculture, exploration, fabrication, commerce, gestion, compétition. Le travail est concentré sur la jouabilité, les performances et la créativité.

Une partie de Catch Challenger

Cette version totalise plus de 8Mo de code, plus de 2500 commits avec 400k de lignes sur cinq ans de vie (sur les différentes parties du projet). Le client et le serveur sont développés sous GNU/Linux, puis empaquetés automatiquement pour MacOSX et Windows.

Journal Rechercher dans son dépôt Git avec du SQL ? C'est possible !

Posté par . Licence CC by-sa.
Tags :
26
16
avr.
2014

Bonjour cher Nal,
Je viens de découvrir un projet permettant de faire des recherches dans un dépôt Git, non pas avec la commande git log (fort puissante et pratique, je l'admets mais qui nécessite de potasser le man), mais avec des requêtes SQL !
Ce projet, nommé gitql, est disponible… via Git, tu t'en serais douté, et sur Github en particulier.
Cela semble bien pratique (pour ceux qui connaissent plus le SQL que les commandes git), bien que (...)

Injection SQL sur toutes les versions de Ruby on Rails

Posté par (page perso) . Édité par Bruno Michel, Benoît Sibaud, baud123 et rootix. Modéré par patrick_g. Licence CC by-sa.
Tags :
25
3
jan.
2013
Sécurité
   
Les développeurs de Ruby on Rails (aka RoR, un framwork de développement web open source populaire et basé sur Ruby) viennent d'émettre une alerte concernant une faille de sécurité de type injection SQL touchant toutes les versions de Ruby on Rails. Selon l'annonce, la faille se situe dans l'interface de requêtage d'ActiveRecord et plus précisément dans la manière dont les dynamic finders extraient les options des paramètres de méthodes. Un paramètre peut être utilisé en tant que scope et en manipulant ce dernier, il devient possible d'injecter du SQL. Des appels tels que Post.find_by_id(params[:id]) sont vulnérables. Nous vous laissons consulter l'annonce pour plus de détails. Logo RoR

Les mainteneurs ont sorti des nouvelles versions hier – 3.2.10, 3.1.9 and 3.0.18 – corrigeant le problème et il est fortement recommandé de mettre à jour dès que possible. Pour ceux qui ne peuvent se permettre une mise à jour, des patches sont aussi disponibles pour les branches supportées (3.1.x et 3.2.x), mais aussi des branches plus anciennes et non supportées officiellement (3.0 et 2.3). Dans ce dernier cas, il faut vraiement mettre à jour car les correctifs de sécurité ne sont pas garantis à l'avenir.

LinuxFr.org, qui, rappelons-le, est basé sur RoR, est déjà passé en 3.2.10 !

Journal CryptDB : un bond en avant pour la sécurité des base de données

Posté par . Licence CC by-sa.
23
20
déc.
2011

Lors d'un congrès récent, des chercheurs du MIT ont présentés une solution paliant à un problème épineux : comment permettre un accès à une base de données chiffrée sans pour autant tout déchiffrer ? Quid de la garantie de confidentialité (possibilité d'attaques externes) ? Quid de la délégation des droits de gestion (possibilité d'accès aux données par un administrateur système ou DB) ?

En pratique il s'agit d'un proxy écrit en C++ (pour la bibliothèque) et Lua (pour le module). (...)

Journal Microsoft va porter SQL Server sur Linux

Posté par . Licence CC by-sa.
20
7
mar.
2016

Non on n'est pas Vendredi, et on n'est pas le 1er avril non plus…

https://blogs.microsoft.com/blog/2016/03/07/announcing-sql-server-on-linux/

Today I’m excited to announce our plans to bring SQL Server to Linux as well. This will enable SQL Server to deliver a consistent data platform across Windows Server and Linux, as well as on-premises and cloud. We are bringing the core relational database capabilities to preview today, and are targeting availability in mid-2017.

Maintenant il ne reste plus qu'à attendre quelles critiques certains vont (...)

Journal python-sql n'est pas un ORM

Posté par (page perso) . Licence CC by-sa.
Tags :
20
14
sept.
2013

La version 0.1 de la librairie python-sql vient d'être publiée. python-sql est une librairie Python pour écrire des requêtes SQL de manière pythonique. Elle n'a pas la prétention d'être un ORM comme SQLAlchemy et de ce fait, elle ne cache pas le SQL bien au contraire elle propose une manière plus flexible d'écrire une requête qu'en manipulant des strings.
Par défaut, elle génère uniquement des requêtes SQL standard mais un système de Flavor permet d'adapter le résultat à un (...)

Rencontre #4 du PLUG à Lyon le mercredi 15 avril 2015

Posté par (page perso) . Édité par Benoît Sibaud et palm123. Modéré par Nÿco. Licence CC by-sa.
10
16
mar.
2015
Base de données

Le mercredi 15 avril 2015 de 19h à 22h, aura lieu la quatrième rencontre du PLUG (PostgreSQL Lyon User Group), au gîte numérique, 6 rue Saint Georges à Lyon. Ce sera l'occasion de parler de PoWA et les techniques de détection d'indexes non utilisés, présenté par Ronan Dunklau. La présentation cible aussi bien les développeurs que les équipes d'exploitation des données.

Si vous souhaitez proposer une autre conférence, n'hésitez pas à le faire savoir.

Le reste de la soirée donnera lieu à des discussions informelles sur des sujets divers et variés autour de quelques verres que chacun apportera.

Que vous découvriez PostgreSQL ou que vous cherchiez des retours d'expériences sur des utilisations avancées du moteur, vous êtes les bienvenu(e)s.

Pour indiquer votre venue, merci de vous inscrire ou de me faire un retour à cette dépêche.
http://www.meetup.com/PostgreSQL-User-Group-Lyon/events/221188759/

Forum général.cherche-logiciel Quel logiciel (libre) pour construire des tableaux de bord à partir de données SQL ?

4
12
nov.
2019

Bonjour,

Je souhaite mettre au point des tableaux de bord pour analyser les données d'une base de données SQL : nombre d'utilisateurs, dernière utilisation, etc. J'aimerais également pouvoir remonter des données provenant d'autres sources, par exemple : espace de stockage utilisé par client.

Je ne sais pas vers quel logiciel me tourner, ni même vers quel typologie de logicie… s'agit-il de BI (business intelligence) genre Talend Open Studio ? Autre chose ?

Mes besoins :

  • historiser des données basées sur (...)