Journal analyse de log

Posté par  (site web personnel) .
Étiquettes :
0
19
juil.
2004
Bonjour


Dans le cadre d'un essais de maquette de serveur complet je me suis penché sur le problème des logs.
Linux en produit beaucoup (voir énormément si comme moi on est parano et que presque toutes les transactions réseaux sont logués).
Je me suis renseigné autour de moi et à par "je les imprime et je me torche avec" j'ai rien eu de concluant. ( ce que font d'ailleurs la majorité des windowsiens avec leur log vu la facilité d'utilisations des logs sous win).

J'ai d'abord trouvé log-analysis sous debian mais qui n'a rien donné d'intéressant pour l'instant.

Puis jai finalement trouvé lire sur http://www.logreport.org/(...) .
C'est très puissant et sa supporte plein de log de différents services (apache, bind, etc...).
Lire produit des rapports complet selon le log fournit (exemple moyenne des transfert ftp pour xferlog).

Mais il me manque certaines fonctionnalités.
J'ai rien trouver sur la gestion des user, qui se connecte le plus souvent? quand? etc..
Je sais qu'on peux le faire sous lire ( à grand coup de xml) mais j'ai la flemme.

J'aimerais savoir ce que vous faites avec vos logs.
Qu'utilisez vous pour les traiter ?

  • # grep

    Posté par  (site web personnel) . Évalué à 5.

    J'utilise grep et tail.
    Mais je suis pas très parano, et j'ai un serveur stable, donc je les lis seulement quand il se passe un truc étrange - ce qui est rare.
    Sinon, j'utilise mrtg, ça donne une bonne indication de "trucs étranges (charge cpu ou réseau soudaine, etc). C'est par mrtg que j'ai découvert l'arrivée du dernier virus windows, par exemple...

    • [^] # Re: grep

      Posté par  . Évalué à 0.

      s/virus/ver

  • # Méthode du dino.

    Posté par  . Évalué à 7.

    J'aimerais savoir ce que vous faites avec vos logs.
    Qu'utilisez vous pour les traiter ?

    Personellement je créé des regexp avec grep et je retiens les lignes qui ne matchent pas. Comme je susi aussi un brin parano j'ai tendance a loguer énnormément et mes batchs de grep me permettent de faire le tri très vite. Ensuite si jamais il y a des logs qui ont une forme que je ne connais pas je regarde attentivement.

    j'ai don cun batch grep par type de log. Autre avantage le batch grep est realtime et génère des copies des parties interressantes des fichiers de logs, ce qui rend l'éffaçage des traces plus difficile. Je fais un tee des sorties de log et j'envoi la moitié dans un fichier et l'autre dans un grep qui attend.

    Mais bon il faut écrire les batchs greps adéquats, c'est un peu lourd, mais uen fois que c'est fait c'est assez top, en plus la possibilité de manquer une ligne bizarre parmis 6000 lignes normales est très faible.

    Kha

    • [^] # Re: Méthode du dino.

      Posté par  (site web personnel) . Évalué à 2.

      Je suis intéressé (j'aime bien la méthode dino avec grep :) Aurais-tu la gentillesse de nous montrer un exemple de script ?

      • [^] # Re: Méthode du dino.

        Posté par  . Évalué à 2.

        Aurais-tu la gentillesse de nous montrer un exemple de script ?

        Pas la maintenant tout de suite je suis au boulot et j'ai peur de dire des bétises. En plus ma config est assez particulière (OpenBSD avec le egrep BSD, tout en chrooté et des syslogueurs différents suivant les étages de chroot jail)
        Mais grosso-modo c'est pas très dificile. Il suffit de prendre le logs et d'écrire les regexps au fur et a mesure en repassant par le grep a chaque fois. déjà au bout de trois regexps il reste plus grand chose du log souvent.

        Je veux bien te donner des exemples, mais ils vont sur ma config, notamment les logs apaches et sendmail sont pas tristes, avec les rotations de logs, les chrootjails, les virtuals hosts et autres translations d'adresse et de domaine je risque plus de t'embrouiller qu'autre chose.

        Mais bon si tu insistes je peux te fournir des exemples ce soir ou demain.

        Kha

        • [^] # Re: Méthode du dino.

          Posté par  (site web personnel) . Évalué à 2.

          Si j'ai bien compris : l'idée c'est de faire des grep -v afin de ne conserver que les lignes pas habituelles, c'est bien ça ? Jusque là c'est à ma portée ;)

          Ce qui m'intrigue plus dans ton précédent commentaire, c'est :
          Autre avantage le batch grep est realtime et génère des copies des parties interressantes des fichiers de logs, ce qui rend l'éffaçage des traces plus difficile. Je fais un tee des sorties de log et j'envoi la moitié dans un fichier et l'autre dans un grep qui attend.

          Comment fais-tu pour que ce soit « realtime » ?

          • [^] # Re: Méthode du dino.

            Posté par  . Évalué à 5.

            Comment fais-tu pour que ce soit « realtime » ?

            tail -f (mon_fichier_de_logs) > grep -e la regexps qui va bien > mon_fichiers_de_logs_interressants

            Le -f sur le tail fait qu'il ne s'arretera pas aux EOF mais continueras a attendre la suite du fichier. En plus il peut suivre les rotations de logs car il recconnait un nouveau fichier ou un fichier tronqué et réouvre le nouveau fichier (par contre ca peut générer des doublons.)

            Variantes (encore meilleure a mon gout), rediriger les logs vers un flux de sortie et faire
            monflux de sortie | tee mon_fichier_de_logs > grep -e la regexps qui va bien > mon_fichiers_de_logs_interressants

            Avec ca pas de problèmes de doublons. Par contre il faut créer plusieurs flux de sortie pour faire de la rotation de logs.

            Kha

            • [^] # Re: Méthode du dino.

              Posté par  (site web personnel) . Évalué à 1.

              Je note ta méthode!!!
              Effectivement cest interessant, car on peux détécter les évenement non communs (ceux importants) facilement.
              De plus comme tu le disais on double le stockage de log sur 2 emplacement (fichier de log + sortie des grep) et en cas de compromission d'un serveur ca peux servir de sauvegarde de log je pense.
              Bref merci pour ta reponce.
              Par contre, tu n'utilise aucun outil statistique pour les annalyser?

            • [^] # Re: Méthode du dino.

              Posté par  (site web personnel) . Évalué à 0.

              Ok, merci. Je connaissais tail -f, mais je n'y avais pas pensé...

              Sinon, juste pour t'embêter encore un peu : comment rediriges-tu les logs vers un flux de sortie (si c'est possible sous GNU/Linux) ? Ça doit se passer dans la conf du démon qui se charge des logs, non ?

              Merci pour tes réponses !

    • [^] # Re: Méthode du dino.

      Posté par  (site web personnel) . Évalué à 1.

      Cest sympa effectivement je veux bien moi aussi un exemple de script.
      Mais grep et tail ne marchera pas sur wtmp qui est en binaire et qui si jai bien compris log les login.

  • # analyse de log

    Posté par  . Évalué à 3.

    logcheck est très bien pour l'analyse. Par contre, il ne fait pas de statistiques. Il faut le configurer correctement pour que ca soit utile (pas trop d'infos et pas trop peu...)

  • # et logcheck

    Posté par  (site web personnel) . Évalué à 2.

    Ca marche tres bien logcheck pour ca
    ca va verifier les logs et des qu'il y a quelque chose d'anormal, ca envoit un mail.
    (en plus, il y a 3 niveaux de configuration)

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.