Forum général.cherche-logiciel Analyseur de log SQUID en temps réel

Posté par  .
Étiquettes : aucune
0
15
jan.
2010
Bonjour à tous !

Je cherche, comme vous avez pu le remarquer, un analyseur de log Squid pour suivre en temps réel (ou simili temps réel) l'activité sur le proxy.

J'ai bien évidemment trouvé les classiques :
* calamaris : pour les performances (mais pas de temps réel)
* sarg et squint : pour les informations relatives aux consommations par users/IP ...

L'idéal serait un squint mais capable de mâcher les logs en temps réel et ne pas attendre la fin de la journée pour le faire.

Je remercie toute personne qui sera susceptible de m'aider.

Meilleurs voeux pour 2010
-tpiresgo-

  • # cron et fichiers ouverts

    Posté par  . Évalué à 2.

    regarde la config de squint, si ca se trouve c'est un simple cron qui va traiter les fichiers que logrotate aura mis de coté (donc fichiers fermés et dispo en fin de journée)

    mais si ca se trouve, tu peux jouer avec le cron pour le faire faire du "quasi" temps reel
    genre tourner toutes les X minutes

    seulement pour ne pas retraiter tout ce qui a été traiter precedemment, il faut surement faire tourner les logs aussi toutes les X minutes

    sinon, analyser les logs d'un proxy en temps réel ? c'est pour faire quoi ?
    pcq perso j'analyse si j'ai un souci, je met un sniffeur (tcpdump)...

    • [^] # Re: cron et fichiers ouverts

      Posté par  . Évalué à 1.

      Pour la config de squint, la version basique est de travailler sur le fichier de log que tu lui demandes d'analyser (dans le lancement manuel)

      Il est cependant possible de créer des analyses mensuelles, hebdo et journalières en utilisant des crontab.

      Plus qu'une analyse journalière, j'aimerais travailler sur des versions plutôt horaires car le traitement de l'analyse journalière dure quelque chose comme 3h !!! La volumétrie que j'ai à traiter est très importante.

      Pour ce qui est de l'analyse en temps réel, c'est uniquement pour pouvoir parer les abus sur l'utilisation d'Internet : utilisation trop importante de bande passante, sites à surveiller car trop proxyvores, profils utilisateurs à moduler ...


      Le pourquoi de ce post était plutôt de savoir si un soft "tout fait" pouvait gérer de façon transparente les analyses à la volée. Mais plus je fouille et plus je suis convaincu qu'il faut que je développe autour de squint.

      • [^] # Re: cron et fichiers ouverts

        Posté par  . Évalué à 2.

        ben prend le squint par defaut (1 analyse par jour)

        modifie logrotate pour faire la rotation toutes les 15 minutes
        modifie la conf de squint pour faire la meme chose toutes les 15 minutes aussi

        comme ca tu n'analyseras que les 15 dernieres minutes

        sinon y a avait un soft que j'avais mis en place dans mon premier job
        qui permettaient effectivement de voir la conso par IP sortante
        et de voir sur quel site allait la personne

        je ne me souviens plus le nom
        du coup en cherchant linux network monitoring sur un moteur de recherche qui va peut-etre se retiré de la Chine
        j'ai trouvé ca : http://www.slac.stanford.edu/xorg/nmtf/nmtf-tools.html#publi(...)

        qui recense pas mal de solution.

        et pour du temps reel, peut-etre qu'un simple Ntop pourrait te suffire
        à lancer dans un terminal sur la passerelle :D

  • # SNMP ?

    Posté par  . Évalué à 1.

    Squid permet d'acceder a ses stats temp réel en SNMP.
    Bande Passante, % de hit dans le cache, numbre de client connectés...



    Pour activer l'agent snmp de squid : dans squid.conf

    #definir un port snmp
    snmp_port 3401

    #definir une acl pour la communauté SNMP (on doit pouvoir limiter a localhost aussi)
    acl acl_snmp snmp_community MYCOMMUNITY

    #on applique l'acl au snmp
    snmp_access allow acl_snmp


    Dans la conf de l 'agent snmp (/etc/snmp/snmpd.conf)
    #on relie un oid à l'agent snmp de squid
    proxy -c MYCOMMUNITY-v 2c localhost:3401 .1.3.6.1.4.1.3495.1


    On redémare snmpd et squid, toutes les stats sont désormais accessible en snmp sous l'oid : .1.3.6.1.4.1.3495.1
    Ensemble des infos dispo :
    http://www.oidview.com/mibs/3495/SQUID-MIB.html

    Et voila.

    SF

  • # GlTail

    Posté par  (site web personnel) . Évalué à 2.

    Je sais pas si c'est vraiment fait pour de la prod parce que c'est un peu kikoo qui clignote partout mais je connais Gl_Tail à voir ici : http://www.fudgie.org/

    Ça ne se voit pas trop sur la vidéo, mais sur le coté du peux afficher des infos comme un top des utilisateurs, des domaines, etc. C'est tout configurable. Si je ne me trompe pas, ça correspond pas mal au besoin non ? :)

    • [^] # Re: GlTail

      Posté par  . Évalué à 1.

      Effectivement, à première vue ce soft répond au pré-requis de surveillance en temps réel. Je n'ai pas eu le temps de le tester mais il est vrai que l'affichage des ''bulles'' fait un peu kitch.

      Merci pour vos contributions.

      Je reste attentif si d'autres personnes ont des idées.

      Merci

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.