Journal SeqTools et retour d'expérience sur le traitement de jeux de données en python

38
29
oct.
2018

SeqTools est une librairie que j'ai créée pour transformer des jeux de données trop gros pour tenir en mémoire. Elle remplit un rôle comparable à itertools de la librairie standard, mais fait aussi en sorte de donner accès aux éléments par indexation, ce qui est plus pratique.

Dépôt du code
Documentation

L'objectif principal consiste à prendre une ou plusieurs sources de données et de les combiner ou de modifier leurs éléments pour obtenir une version transformée.
Par exemple, partant d'une (...)

Wiki [Tuto/HowTo] [Debian/Ubuntu] Interfacer metasploit avec la base de données PostGreSQL

0
23
oct.
2018

musique d'ambiance : Best Melodic Dubstep Mix 2016

"Un grand pouvoir implique de grandes responsabilités." oncle Ben.

Introduction

Nous allons voir ici comment utiliser la base de données PostgreSQL avec Metasploit.

Mise en place

Connectez vous à l'utilisateur dédié de postgresql.

sudo -s -u postgres

Créez 'utilisateur dédié pour metasploit.

createuser -d -P metasploit
  • -d => autorise l'utilisateur à créer des base de données (n'est PAS nécessaire)
  • -P => on demande à définir un mot de (...)

PostgreSQL 11.0

64
22
oct.
2018
Base de données

PostgreSQL est un système de gestion de base de données relationnelle. La version 11 est sortie ce 18 octobre 2018.

Logo PostgreSQL

Les principales nouveautés, détaillées en seconde partie de la dépêche, se sont concentrées sur la gestion des bases ayant un très gros volume de données.

Forum Linux.général quel outil pour traiter une base de données moyenne

Posté par . Licence CC by-sa.
3
9
juil.
2018

Salut à tous,

Je me retrouve au boulot à traiter et faire ressortir des informations d'un export de bdd. Le fichier n'est pas énorme, il contient quelques centaines de lignes. Pour l'instant je travaille sur un fichier .xls. Bien sûr je me retrouve très rapidement à réaliser des opérations très répétitives, car Excel ou Calc ne sont pas adaptés pour ce travail. Les opérations à faire sont par exemple:

  • Compter le nombre d'occurences
  • Supprimer les occurences uniques
  • Séparer du (...)

Interview de Dimitri Fontaine, contributeur majeur à PostgreSQL

56
25
fév.
2018
Base de données

Contributeur de longue date au projet PostgreSQL, Dimitri Fontaine a publié il y a quelques mois un ouvrage consacré au développement d’applications et au « SGBD libre de référence » : Mastering PostgreSQL in Application Development. On s’est dit que cela pourrait être une bonne occasion pour avoir sa vision sur l’évolution de PostgreSQL et des rapports entre développeurs et bases de données.

Wiki [Tuto/HowTo] [Ubuntu/Debian] GaleraCluster / MariaDB - restaurer cluster BDD cassé

0
25
oct.
2017

Introduction

La grappe de votre cluster refuse de démarrer après une coupure réseau ou parce qu'un de ses nœuds a redémarré ?
La procédure suivante devrait vous sauver les miches !




Relancer le cluster

Note : ici il n'y a pas de corruption de données, on va simplement forcer le cluster à repartir d'une machine. Il est conseillé que cette machine soit la plus à jours (la dernière a avoir planté).

Donc sur le nœud ayant la base de données
(...)

Forum général.petites-annonces Offre d'emploi : Administrateur Bases de données à Nantes (44) - Ministère des Affaires Etrangères

8
4
oct.
2017

DEFINITION SYNTHETIQUE DU POSTE

Au sein du Bureau de l'Ingénierie et de l'Administration des Systèmes de la DSI du Ministère des Affaires Etrangères, le titulaire participe à la mise en production des applications pour la partie bases de données. Cela est fait en liaison avec les chefs de projets et les équipes de qualification et de pré-production. Il participe également à l'administration, la définition et la mise en oeuvre des outils d'infrastructure (sauvegarde, supervision, métrologie, journaux…)

ACTIVITES PRINCIPALES

  • L'administration courante (...)

Wiki [Tuto/HowTo] [Debian/Ubuntu] Clusteriser vos bases de données MariaDB avec Galera Cluster et HaProxy

1
21
sept.
2017

Présentation

Un Cluster de base de données est un ensemble de serveurs reliés entre eux via réseau afin de créer un ensemble virtuel utilisant la réplication des données pour protéger les bases de données contre une éventuelle panne (machine, réseau).

HaProxy va servir de pont (proxy) entre les clients et les serveurs du cluster de base de données. C'est un répartiteur de charge (load balancer) qui va choisir le serveur le plus facilement accessible (le moins occupés) lorsqu'un client veut (...)

Forum Linux.général [Tuto/HowTo] Protéger ses Bases de Données MySQL/MariaDB contre les pannes matérielles - Partie 1

2
27
avr.
2017

Préambule

  • Sur certains sites (LinuxFR par ex) on reproche souvent aux auto-hébergés d'avoir une faible résistance aux pannes et d'être incapable de créer une infrastructure capable de tenir à travers le temps ni de monter en charge. Ce tuto fais partie d'une série de tutos visant à résoudre cette problématique en apportant des systèmes et méthodologies compréhensible et applicable par des noobs.
  • Au moins 80% de la procédure est applicable via copier-coller.
  • Il va de soit que vous pouvez remplacer (...)

Forum Programmation.python choix pour démarrer en Python

3
3
mar.
2017

Salut,

Je vais faire une petite application, sous Windows, (4 fenêtres principales et 2 annexes) liée à une base de données (Firebird probablement). Je pourrais le faire en 2h avec MS Access … mais je me suis dit que, depuis le temps, que je veux me mettre à Python, c'est le moment.

Du coup, il faut que je choisisse un framework qui me permette de travailler avec une base de données et de gérer des listes et des (...)

Open Beauty Facts : que contiennent vraiment nos produits cosmétiques ?

35
31
juil.
2016
Open Data

Open Beauty Facts est un projet collaboratif en ligne dont le but est de constituer une base de données libre et ouverte sur les produits cosmétiques du monde entier.

Après les aliments, Open Food Facts s’attelle donc à un nouveau chantier : les produits de beauté. Lancé en février 2016, Open Beauty Facts a pour but de réaliser pour les cosmétiques, dentifrices et autres shampooings ce que Open Food Facts a fait pour la nourriture.

Logo Open Beauty Facts

Forum général.cherche-logiciel Appliquer des méta données sur des photos raw en grande quantité ...

Posté par . Licence CC by-sa.
6
31
août
2015

Bonsoir,
je me décide - enfin - a lancer une bouée à la mer … je manipule de plus en plus de méta données sur des photos et je cherche à gagner en efficacité. Je vous raconte un peu mon contexte histoire que vous ayez la description du besoin.

Je fais de la photo sous marine. J'essaye d'identifier ce que j'observe. Pour chaque photo j'ai systématiquement au moins deux mots clés liés : le nom de la chose observée en (...)

Journal L'état de Wikidata (Avril 2015) - 3 ans de développement

26
12
avr.
2015

Nalut.

Extrait non exhaustif et choix totalement contingent d'informations sur Wikidata triés par la méthode du vrac:

  • Wikidata a fêté ses 3 ans - (ne le dites à personne, ce projet est un poisson d'Avril)
  • Le fichier VIAF, qui fédère les données des bibliothèques du monde entier et qui fournit des identifiants pour les auteurs des livres qui paraissent, par exemple, approfondi sa collaboration avec Wikimédia en utilisant les identifiants Wikidata à la place des titres d'articles de la (...)

Rencontre #4 du PLUG à Lyon le mercredi 15 avril 2015

Posté par (page perso) . Édité par Benoît Sibaud et palm123. Modéré par Nÿco. Licence CC by-sa.
10
16
mar.
2015
Base de données

Le mercredi 15 avril 2015 de 19h à 22h, aura lieu la quatrième rencontre du PLUG (PostgreSQL Lyon User Group), au gîte numérique, 6 rue Saint Georges à Lyon. Ce sera l'occasion de parler de PoWA et les techniques de détection d'indexes non utilisés, présenté par Ronan Dunklau. La présentation cible aussi bien les développeurs que les équipes d'exploitation des données.

Si vous souhaitez proposer une autre conférence, n'hésitez pas à le faire savoir.

Le reste de la soirée donnera lieu à des discussions informelles sur des sujets divers et variés autour de quelques verres que chacun apportera.

Que vous découvriez PostgreSQL ou que vous cherchiez des retours d'expériences sur des utilisations avancées du moteur, vous êtes les bienvenu(e)s.

Pour indiquer votre venue, merci de vous inscrire ou de me faire un retour à cette dépêche.
http://www.meetup.com/PostgreSQL-User-Group-Lyon/events/221188759/

Journal Open Source Rookies of the Year

15
15
mar.
2015

Alors c'est la première fois que je vois ce prix et puisque je n'ai rien vu passer à ce sujet sur LinuxFr.org, je me suis dit que j'allais partager ça.

Le prix est décerné par Black Duck (boite derrière un moteur de recherche de code (suite à un rachat) et OpenHub (ex Ohloh)).

Gagnant:

  • cAdvisor
    Analyse d'utilisation de ressources et performance de conteneurs.

  • CockrochDB
    Base de données répliquée géographiquement. Je ne précise pas plus, je suis en train (...)