Journal De l'exploitation des logs de fail2ban…

Posté par . Licence CC by-sa
31
4
sept.
2017

Comme beaucoup d'entre vous, pour sécuriser l'accès SSH de mon serveur j'utilise fail2ban (en plus des règles habituelles de sécurité). Fail2ban permet d'envoyer un mail à chaque fois qu'il bannit une IP mais finalement personne ne prend le temps d'examiner ces mails car le format n'est pas exploitable.

J'ai donc décidé d'exploiter les logs de fail2ban afin de générer un rapport quotidien.

Pour cela, j'ai utilisé python et les excellentes bibliothèques pandas et matplotlib.

Principe de fonctionnement

1) fail2ban-getlog

Une (...)

Sortie du Topology ToolKit (TTK)

Posté par (page perso) . Édité par ZeroHeure, Davy Defaud, palm123, patrick_g et Nils Ratusznik. Modéré par patrick_g. Licence CC by-sa
30
4
avr.
2017
Science

Bonjour à tous,

Nous sommes heureux d’annoncer la sortie du Topology ToolKit (TTK), une bibliothèque libre (licence BSD) pour l’analyse topologique de données en visualisation scientifique.
TTK rend l’analyse topologique de données accessible aux utilisateurs finals grâce à des greffons faciles à utiliser pour la plate‐forme de visualisation ParaView. Grâce à ParaView, TTK prend en charge de nombreux formats de fichiers.

Journal Sortie de matplotlib 2.0

Posté par . Licence CC by-sa
54
18
jan.
2017

Bonjour à toutes les moules scientifiques (et les autres !),
la bibliothèque python Matplotlib vient de sortir en version 2.

Pour info, matplotlib est la bibliothèque de référence pour le tracé de données avec python. Elle permet de tracer des graphs de grande qualité que ce soit en 2D ou 3D (cf la galerie du site). Pour les aficionados des logiciels privateurs à plusieurs milliers d'euros (commençant par mat et terminant par lab), il est possible d'utiliser le namespace pyplot qui (...)

GraphDash, ou comment construire une interface web simple pour vos graphes

Posté par . Édité par Benoît Sibaud et Xavier Claude. Modéré par ZeroHeure. Licence CC by-sa
29
29
juin
2016
Python

GraphDash est un outil développé en Python (avec Flask) et publié sous licence Apache v2.

Il permet de construire une interface web à partir de graphes dont vous disposez. Il vous suffit simplement d'ajouter un fichier contenant des métadonnées. Par exemple:

$ ls default_graph_dir
graph.svg
graph.txt

graph.svg est votre graphe, et graph.txt contient quelques métadonnées au format YAML:

$ cat default_graph_dir/graph.txt
name: graph.svg
family: Category 1
title: '*Real serious* graph'

Vous pouvez bien évidemment placer autant de graphes que vous le souhaitez dans le répertoire, et ensuite lancez GraphDash. Vous obtiendrez une interface web permettant de naviguer, chercher et d'afficher vos graphes.

$ GraphDash -r default_graph_dir
* Running on http://0.0.0.0:5555/ (Press CTRL+C to quit)

Présentation technique de Canopsis

16
7
fév.
2016
Supervision

Supervision et visualisation des données : des domaines de l'informatique qui nous permettent de surveiller, analyser une infra, des données afin de comprendre et éventuellement prédire des dysfonctionnements.

De nombreux outils existent et excellent dans chacune de ces tâches. Les accorder ensemble afin d'unifier l'information permet ainsi de faciliter la prise de décision.

C'est ce que l'on appelle l'hypervision.

Canopsis se veut une solution d'hypervision (on évite l'appellation hyperviseur qui reste dans le langage courant spécifique à la virtualisation). Solution open-source sous licence AGPL3 développée par la société française Capensis, elle se veut simple d'utilisation, et suffisamment souple pour répondre à un maximum de besoin.

Forum Linux.général generation de diagramme reseau à partir de fichier texte

Posté par (page perso) . Licence CC by-sa
3
6
oct.
2015

bonjour,

je cherche un moyen de faire des diagrammes de reseaux à partir de fichiers plats.
j'ai trouvé nwdiag, qui semble faire l'affaire

on peut voir que

nwdiag {
network dmz {
address = "210.x.x.x/24"

  web01 [address = "210.x.x.1"];
  web02 [address = "210.x.x.2"];

}
network internal {
address = "172.x.x.x/24";

  web01 [address = "172.x.x.1"];
  web02 [address = "172.x.x.2"];
  db01;
  db02;

}
}

renvoit cette image la :

et c'est grosso modo ce que je veux faire.

mais par curiosité, je (...)

Forum Programmation.web Highcharts probleme valeurs y Axis

Posté par . Licence CC by-sa
0
12
août
2015

Bonjour je reviens vers vous pour un probleme sur une page Web j'utilise Highcharts pour faire un Bar Graph , mais j'ai un soucis de valeurs sur l'axe y Comme vous pouvez le voir sur la photo ,les valeurs (a droite ) sont 0 0.02, 0.04 ,0.06 et 0.08 et moi je voudrais 0,100,200,300,400 car chaque impulsion enregistré dans ma Base de donnée = 100 Litres .
D’où sorte ces valeurs 0.02, 0.04 ,0.06 et 0.08 ?

Voila le code de (...)

Journal Faire des graphiques à partir de données : comparaison

18
17
mai
2015

Bon dimanche à tous !

Tracer des graphiques, je l'ai fait à la main à l'école, comme tous je suppose. Aujourd'hui, l'ordinateur s'en charge bien mieux. Enfin, c'est ce qu'on pourrait penser, mais je trouve que ce n'est pas si bien que ça en fait.

Je vous propose donc une petite comparaison pour créer le même graphique de plusieurs manières différentes : Libreoffice Calc, Calligra Sheets, Gnumeric et à la main (Python/Pandas).

L'idée étant de voir le résultat par défaut obtenu (...)

Kst, outil de tracés graphiques convivial et puissant

Posté par . Édité par Davy Defaud, Nils Ratusznik, ZeroHeure et Benoît Sibaud. Modéré par ZeroHeure. Licence CC by-sa
44
19
nov.
2014
Science

Kst est un outil de tracés graphiques et d’analyse de données très rapide et convivial, libre (Qt) et multi‐plate‐forme : Windows, Mac OS X et GNU/Linux. Kst est comparable à LabPlot, Veusz, QtiPlot ou encore SciDAVis.

La version 1, plus maintenue à l’heure actuelle, était une application KDE à laquelle ont contribué des grands noms du projet KDE comme George Staikos, gage d’une bonne qualité de code. Lors du portage en Qt4, les dépendances aux bibliothèques KDE ont été supprimées pour faciliter la distribution sur toutes les plates‐formes.

Des versions de Kst2 stables et pleinement fonctionnelles sont disponibles depuis assez longtemps, mais cet outil reste malheureusement trop peu connu. Pour remédier à cela, des tutoriels vidéo ont été préparés en utilisant la version 2.0.8 sortie en juillet dernier. Ces tutoriels sont disponibles sur la chaîne Kst plot sur YouTube, pour vous faire (re)découvrir les principales fonctionnalités de cet outil.

N. D. M. : l’auteur de la dépêche est l’un des développeurs de Kst, profitez‐en si vous avez des questions !

Journal Journal Bookmark #1

Posté par (page perso) . Licence CC by-sa
15
13
sept.
2014

Dimensions, une extension Chrome permettant de mesurer, en pixels, tous les éléments d'une page web.

Un expérience testant les limites de la commandes cp : que ce passe t-il lorsqu'on copie 432 millions de fichiers totalisant 39 To ?

Morte, une expérience pour faire une sorte de templating (comme ceux de C++) automatique : il regarde ce qui est calculable en fonction des informations dont il dispose dans le code et précompile

Algomation, un site pour visualiser des (...)

Facette, outil de visualisation de séries numériques

Posté par . Édité par Benoît Sibaud. Modéré par Christophe Guilloux. Licence CC by-sa
31
29
juil.
2014
Supervision

Facette est un nouvel outil libre sous licence BSD permettant de réaliser des graphiques à partir de métriques collectées et stockées par divers outils tels que collectd, Graphite, InfluxDB. Cette alternative aux autres logiciels de visualisation permet de présenter sur les mêmes graphiques des séries de données numériques provenant de sources hétérogènes.

logo Facette

Facette est une application web développée en Go, par conséquent très facile à déployer et peu coûteuse en ressources système. L'interface web a été pensée pour permettre une utilisation simple et intuitive, et esthétiquement agréable — ce qui n'est pas toujours le cas des alternatives dans ce domaine ;-) Pour aller plus loin, le logiciel met également à disposition une API RESTful permettant par exemple de se servir de Facette "juste" pour fédérer plusieurs sources de données hétérogènes, ou encore d'automatiser certaines actions au niveau du catalogue interne.

Sortie de Perfwatcher 2.0

27
8
mar.
2014
Supervision

La nouvelle version majeure de l'outil de métrologie Perfwatcher vient de sortir, Perfwatcher 2.0. Perfwatcher est un frontend pour Collectd (un outil de mesure de performances du système) écrit en PHP, HTML, JavaScript et C.

Présenté sur LinuxFr.org lors de sa sortie en version 1.2, le fonctionnement interne de Perfwatcher a subi un profond remaniement amenant une modularité permettant aujourd'hui son déploiement sur des grilles de calculs de plus de 20000 nœuds.

Pour rappel, Perfwatcher est une interface utilisateur pour Collectd, il permet d'afficher les graphes RRD générés par ce dernier et étend ses fonctionnalités par l'apport de nombreux modules et patchs.

Parmi ceux-ci, le module Top permet l'affichage de la totalité de la liste des processus à la façon de la commande top et ce, à la date et heure de son choix ainsi que l'affichage des processus sous la forme d'une frise chronologique (timeline).

Perfwatcher permet, en outre et ce fut son premier but, d’agréger les données de Collectd par groupes de serveurs afin de, par exemple, visualiser la charge moyenne de parties d'une grille de calcul.

GeoBases version 5, services et visualisation pour données (géographiques)

Posté par . Modéré par Xavier Claude. Licence CC by-sa
32
15
mar.
2013
Technologie

GeoBases version 5 vient d’être publié! Il y a six semaines ce projet passait open-source. Depuis, grâce à de nombreux retours, nous avons pu améliorer, documenter, corriger de nombreuses fonctionnalités.

Pour ceux qui ne connaissent pas ce projet, son but est de fournir des services et des possibilités de visualisation pour des données géographiques (ou non). Le projet contient déjà des sources de données (issues, par exemple, de GeoNames, optd ou encore de l'OpenData). Il est très simple d’ajouter ses propres sources de données pour pouvoir jouer avec.

Parmi les services disponibles :

  • exécuter de simples recherches (trouver cette donnée, trouver toutes les entrées qui ont cette propriété)
  • exécuter des recherches approximatives basées sur une notion de distance entre chaîne de caractères (trouver les données dont le nom ressemble à cela)
  • exécuter des recherches phonétiques (trouver des données qui se prononce comme cela)
  • exécuter des recherches géographiques (trouver les données proches de ce point)
  • afficher les résultats sur une carte, ou bien les exporter en CSV, ou encore utiliser une API Python pour les manipuler directement

Le projet est principalement un package Python, il y a également une interface en ligne de commande assez complète (qui peut s'utiliser un peu comme grep).

GeoBases, services et visualisation pour données géographiques

Posté par . Édité par Nÿco, Xavier Claude et baud123. Modéré par baud123. Licence CC by-sa
21
28
jan.
2013
Python

GeoBases est un projet dont le but est de fournir des services et des possibilités de visualisation pour des données géographiques. En réalité cela fonctionne également avec des données non-géographiques, mais cela limite les possibilités de cartographie.

Le projet contient déjà des sources de données issues d'autres projets (comme GeoNames ou optd), ou encore de l'OpenData. Par défaut une source de données d’aéroports est utilisée. Il est très simple d’ajouter ses propres sources de données pour pouvoir jouer avec.

Parmi les services disponibles :

  • exécuter de simples recherches (trouver cette donnée, trouver toutes les entrées qui ont cette propriété)
  • exécuter des recherches approximatives basées sur une notion de distance entre chaîne de caractères (trouver les données dont le nom ressemble à cela)
  • exécuter des recherches géographiques (trouver les données proches de ce point)
  • afficher les résultats sur une carte, ou bien les exporter en CSV, ou encore utiliser une API Python pour les manipuler directement

Tulip 4.0 est sorti

Posté par . Édité par Davy Defaud, baud123, NeoX, Florent Zara, Christophe Guilloux, Nils Ratusznik et Nÿco. Modéré par Nÿco.
20
9
oct.
2012
Science

Tulip est un environnement de visualisation d’informations dédié à l’analyse et à la visualisation de données relationnelles. Tulip fournit aux développeurs une bibliothèque complète, prenant en charge la conception d’applications de visualisation interactive de données relationnelles qui peut être taillée pour les problèmes qu’il ou elle adresse.

Après un an de développement, plus de 2 000 commits, environ 300 bogues et demandes de fonctionnalités fermés, deux versions candidates et énormément de retours des utilisateurs, nous sommes fiers de vous présenter Tulip 4. Ceci est la première de la nouvelle lignée 4.x, qui apporte une nouvelle interface graphique, beaucoup d’améliorations de vitesse et de stabilité, ainsi qu’un gros ravalement de l’API et de sa documentation.

La suite de cette dépêche contient la traduction de la dépêche officielle, qui se lit comme un guide d’introduction à la nouvelle interface utilisateur de Tulip.