Forum Linux.debian/ubuntu Demande de conseils / procédures récentes pour Graylog2

Posté par  . Licence CC By‑SA.
Étiquettes :
0
26
jan.
2014

Bonjour à tous,

Je rencontre actuellement des problèmes pour déployer la solution de centralisation de logs Graylog 2 (http://graylog2.org/). J'ai essayé de la configurer par moi-même, rien n'y fait, puis j'ai trouvé plusieurs scripts d'auto-installation :
- http://everythingshouldbevirtual.com/category/monitoring/graylog2)

Cependant les scripts ne fonctionnent pas tous sur toute les distributions et versions.

Mon choix se tournerai plutôt par une installation manuelle pour mieux comprendre l'infrastructure de la solution et être capable de suivre son évolution. Au niveau distrib (…)

Gestion des logs avec Logstash, ElasticSearch & Kibana

Posté par  . Édité par yannig, rogo, palm123, Benoît Sibaud, NeoX, Benoît et eMerzh. Modéré par claudex. Licence CC By‑SA.
Étiquettes :
31
29
sept.
2013
Supervision

Tout bon administrateur a un jour dû chercher une info à coup de grep, tail, awk dans les fichiers de logs des équipements qu'il gère.
Or la recherche est toujours un peu fastidieuse, avec les questions qui reviennent : "Où est-ce qu'ils sont ces logs ?", "Et c'est quoi le format déjà ?", "Tu connais le mot de passe pour se connecter sur le routeur ?".

Si on peut mettre en place une récupération des logs de façon centralisée avec des outils connus comme syslog, le trio Logstash, ElasticSearch et Kibana est un très bon candidat pour gérer et trouver efficacement des informations dans les milliers de lignes de traces que peuvent générer les divers services.

Forum Linux.debian/ubuntu Apache : exécuter un script après qu'une erreur ait été enregistrée dans error.log

Posté par  . Licence CC By‑SA.
Étiquettes :
1
30
oct.
2013

Bonjour,

J'ai un vieux serveur sous Debian Lenny qui fait tourner Apache en reverse proxy pour accéder à un démon Anyterm qui tourne sur le localhost:8888.
Depuis quelques jours Anyterm se votre comme une merde pour une raison encore obscure.
Le error.log d'Apache contient ceci : 

[Wed Oct 16 17:39:13 2013] [error] [client 192.168.1.3] (20014)Internal error: proxy: error reading status line from remote server localhost, referer: https://xxxx
[Wed Oct 16 17:39:13 2013] [error] (111)Connection refused: proxy: HTTP: attempt to connect
(…)

Forum général.cherche-logiciel Analyse statistiques de logs web

Posté par  (site web personnel) . Licence CC By‑SA.
Étiquettes :
1
5
avr.
2013

Bonjour, un petit site confidentiel que j'administre vient de manger plus d'un millions de hits dans les 48h suivant la publications de certains articles, et devrait passer la barre du 1.5 million dans la soirée sachant qu'hier soir j'avais une fréquentation de 5 articles lus chaque 10 secondes (je ne parle pas des hits) et que ce soir ça continue avec 3 articles chaque 10 secondes (40 hits dans la même durée)…

Comme ledit site ne comptait que 3/4 pages (…)

Forum général.cherche-logiciel Analyse Logs & Big Data (ou autres)

Posté par  . Licence CC By‑SA.
Étiquettes :
0
2
avr.
2013

Bonjour,

Je veux creuser un peu le concept de "Big data" et j'aimerai partir d'un cas assez simple :
Créer un sorte de centre d'activité de notre infrastructure en se basant sur nos gros fichiers logs (apache pour les applis web, Postfix/Cyrus pour les mails pour commencer)
Biensûr j'ai déjà awstats qui fait bien son boulot mais par curiosité "geekienne" et pour appréhender d'une manière plus terre à terre le concept de big data, je me demande s'il n'y a (…)

Forum Linux.général Logs PHP dans un fichier séparé par rapport à Apache

Posté par  .
Étiquettes :
1
7
août
2012

Bonjour à tous,

Je possède depuis peu un Kimsufi 2G, et j'ai besoin d'un petit coup de main sur la configuration des erreurs de PHP.

Il y a longtemps, je me souviens que lorsque je faisais un error_log('message à envoyer dans les logs \n salut'); en PHP, cela allait directement dans un fichier "php.log" bien à part des logs d'Apache. De plus, le php.log prenait bien en compte les \n et compagnie, du coup j'avais un affichage des logs parfait !

(…)

Recours constitutionnel contre la conservation obligatoire des données de télécom en Autriche

Posté par  . Édité par Benoît Sibaud, tuiu pol, baud123 et claudex. Modéré par tuiu pol. Licence CC By‑SA.
Étiquettes :
20
2
avr.
2012
Internet

Le 30 mars, le cercle de travail (AK Vorrat) a déposé un recours constitutionnel contre la « sauvegarde provisionnelle des données », qu'on dénomme en français conservation des données, qui va être imposée pour toutes les télécommunications en Autriche. À partir du premier avril, toutes les données de communications mobiles ou fixes devront être stockées de manière préventive pour six mois en Autriche.

À titre de comparaison dans l'Union Européenne, en France, la rétention obligatoire des données a été introduite pour une durée de 12 mois obligatoire en 2006, avec N. Sarkozy ministre de l'Intérieur. Les cours constitutionnelles de Bulgarie, de Roumanie et d'Allemagne ont jugé que la législation sur la conservation des données était inconstitutionnelle, tandis que l'Irlande a déposé plainte contre la directive de 2006 devant la Cour européenne de justice.

Plus de détails sur les contextes autrichiens et allemands dans le billet original.

Projet Lumberjack

Posté par  . Édité par Florent Zara, NeoX, Nÿco, Xavier Teyssier et olivierweb. Modéré par Florent Zara. Licence CC By‑SA.
Étiquettes :
34
7
mar.
2012
Linux

Le projet Lumberjack est une initiative de plusieurs développeurs de système de logs pour améliorer l'enregistrement d'événements par le système. Il a débuté lors d'une conférence dans les bureaux de Red Hat en République Tchèque avec un entretien entre Steve Gibbs (auditd), Lennart Poettering (systemd, journald), Rainer Gerhards (rsyslog), William Heinbockel (CEE, Mitre) et plusieurs autres développeurs Red Hat.

Le but est de standardiser le contenu des logs et d'améliorer leur création par les applications qui les génèrent. Pour cela, les développeurs vont suivre les spécifications Common Event Expression (CEE). Sur leur site, on peut déjà trouver le schéma XML des logs, ainsi qu'un exemple en XML et un autre en JSON.
Logo Lumberjack
NdA : Merci à Nÿco, olvierweb et Neox pour leur aide lors de la rédaction de cette dépêche.

Journal Centralisation des logs Windows vers Linux via syslog

Posté par  . Licence CC By‑SA.
Étiquettes :
21
12
jan.
2012

Intro

Lorsqu'on gère un parc de serveur qui comprend malheureusement des serveurs Windows, on souhaite centraliser leurs logs, voir même recevoir des alertes en fonction du contenu. C'est simple à faire sous Linux avec rsyslog, avec lequel je transmets les syslogs vers l'excellent Graylog2. Par contre dans le monde Windows il n'y a pas de serveur syslog natif. J'avais donc trouvé MonitorWare Agent un impressionnant logiciel propriétaire qui permet de définir des services qui vont lire n'importe quel type (…)

Journal Annonce PyLogsParser 0.1

Posté par  (site web personnel) . Licence CC By‑SA.
Étiquettes :
14
19
juil.
2011

PyLogsParser est un module Python qui facilite l'analyse des logs provenant de diverses sources.

Les logs sont dans des formats très divers. PyLogsParser simplifie cette analyse en implémentant un moteur puissant d'analyse de logs.

La version 0.1 apporte le support des formats de log suivants:

  • apache
  • dhcpd
  • LEA
  • named
  • netfilter
  • pam
  • postfix
  • squid
  • sshd
  • syslog

Pour ajouter des nouveaux formats, il suffit d'ajouter un fichier XML de description.

Le but du projet est de faciliter et de promouvoir l'utilisation des (…)

Journal Centralisation des logs, interface de consultation

Posté par  . Licence CC By‑SA.
Étiquettes :
13
8
avr.
2011

(C'est vendredi, mais ça n'en fait pas une obligation de troller.)

Si comme moi vous avez à gérer plusieurs serveurs Linux, si vous avez fait de la virtualisation ou si vous utilisez LTSP, vous vous retrouvez avec pleins de machines qui produisent chacune leurs logs. La gestion par fichiers dans /var/log arrive rapidement à ses limites.

Heureusement, les systèmes syslog modernes permettent facilement de centraliser les logs sur une machine et de les placer dans une base de données. La (…)

Journal Décret d'application de la LCEN

Posté par  (site web personnel) . Licence CC By‑SA.
Étiquettes :
25
1
mar.
2011

Vous vous souvenez peut-être d'une loi parue en 2004 nommée loi pour la confiance dans l'économie numérique (LCEN). Pour ceux qui ne se rappellent pas de son contenu, le texte est accessible ici : http://www.legifrance.gouv.fr/affichTexteArticle.do?idArticle=LEGIARTI000022469889&cidTexte=JORFTEXT000000801164&dateTexte=20110301

Bien entendu, les décret d'applications correspondants ne sont pas tous parus en 2004. Il a même fallut attendre pas mal de temps avant de les voir arriver. Le dernier en date est tout récent : il a été publié ce matin. Vous pouvez l'admirer ici (…)

Forum Astuces.divers petit script pour rechercher un historique de transaction email

Posté par  . Licence CC By‑SA.
Étiquettes :
8
25
sept.
2014

principalement en utilisant le log postfix au format par defaut au jour de publication de ce script

#!/bin/sh
#
# small script that search mail address within from or to
# and show the whole transaction log by email ID

case $# in
        3)
        count=0
        sens=$1
        motif=$2
        file=$3
        case $sens in
                from)
                        search='from=<'$motif
                ;;
                to)
                        search='to=<'$motif
                ;;
        esac
        for i in $(grep
(…)