Forum Linux.général Empecher l'asspiration de site

Posté par .
Tags : aucun
1
31
mar.
2009
bonjour a tous,

Je rencontre depuis quelques temps un probleme d'aspiration de site ce qui fait monter l'uptime du serveur jusqu'a 10, les surfs "intelligent" sont bloqué et ça m'ennuie fortement :(

une idée magique pour resoudre ce probleme ?

merci d'avance.
  • # Aspiration

    Posté par (page perso) . Évalué à 3.

    Bonjour,

    A propos d'uptime ne parlerais-tu pas plutôt de load ?

    Si oui, j'imagine que ce qui t'ennuie ce sont les moteurs de recherche qui téléchargent un peu trop vite chez toi.

    Pour parer cela tu peux les ralentir en installant mod_slotlimit si tu es sur apache.
  • # useragent

    Posté par (page perso) . Évalué à 2.

    Tu peux faire des actions par rapport au useragent. Si c'est des moteurs de recherche qui te scannent, tu peux aussi jouer avec le fichier robots.txt

    La gelée de coings est une chose à ne pas avaler de travers.

    • [^] # Re: useragent

      Posté par . Évalué à 1.

      dans mes log ça ressemble a ça :


      83.137.240.216 - - [31/Mar/2009:10:41:51 +0200] "GET /themes/blueSilence/../default/js/post.js HTTP/1.1" 200 1133
      83.137.240.216 - - [31/Mar/2009:10:41:51 +0200] "GET /themes/blueSilence/../default/js/jquery.cookie.js HTTP/1.1" 200 955
      83.137.240.216 - - [31/Mar/2009:10:41:51 +0200] "GET /slinux/slinux.png HTTP/1.1" 200 16847
      83.137.240.216 - - [31/Mar/2009:10:41:51 +0200] "GET /themes/blueSilence/../default/js/jquery.js HTTP/1.1" 200 55870
      83.137.240.216 - - [31/Mar/2009:10:41:51 +0200] "GET /index.php?pf=tagflash/swfobject.js HTTP/1.1" 200 6088
      83.137.240.216 - - [31/Mar/2009:10:41:50 +0200] "GET /index.php?post/2009/03/24/Envoyer-un-mail-sans-serveur-smtp HTTP/1.1" 200 18853
      83.137.240.216 - - [31/Mar/2009:10:41:51 +0200] "GET /themes/blueSilence/style.css HTTP/1.1" 200 14502
      83.137.240.216 - - [31/Mar/2009:10:41:51 +0200] "GET /index.php?archive HTTP/1.1" 200 14401
      83.137.240.216 - - [31/Mar/2009:10:41:51 +0200] "GET /index.php?post/2008/05/18/Firefox-3 HTTP/1.1" 200 15848
      83.137.240.216 - - [31/Mar/2009:10:41:53 +0200] "GET /index.php?archive/2008/05 HTTP/1.1" 200 13517
      83.137.240.216 - - [31/Mar/2009:10:41:54 +0200] "GET /themes/default/print.css HTTP/1.1" 200 993
      83.137.240.216 - - [31/Mar/2009:10:41:53 +0200] "GET /index.php?archive/2008/09 HTTP/1.1" 200 15497
      83.137.240.216 - - [31/Mar/2009:10:41:54 +0200] "GET /themes/default/js/jquery.js HTTP/1.1" 200 55870
      83.137.240.216 - - [31/Mar/2009:10:41:51 +0200] "GET /index.php?feed/atom HTTP/1.1" 200 28826
      83.137.240.216 - - [31/Mar/2009:10:41:55 +0200] "GET /themes/default/js/jquery.cookie.js HTTP/1.1" 200 955
      83.137.240.216 - - [31/Mar/2009:10:41:55 +0200] "GET /themes/default/smilies/laugh.png HTTP/1.1" 200 590
      83.137.240.216 - - [31/Mar/2009:10:41:54 +0200] "GET /index.php?post/2008/07/15/Envoi-de-mail-en-ligne-de-commande HTTP/1.1" 200 17143
      83.137.240.216 - - [31/Mar/2009:10:41:55 +0200] "GET /themes/default/js/post.js HTTP/1.1" 200 1133
      83.137.240.216 - - [31/Mar/2009:10:41:55 +0200] "GET /themes/blueSilence/img/background.png HTTP/1.1" 200 588
      83.137.240.216 - - [31/Mar/2009:10:41:55 +0200] "GET /themes/blueSilence/img/top.jpg HTTP/1.1" 200 11038
      83.137.240.216 - - [31/Mar/2009:10:41:55 +0200] "GET /public/images/usvn.png HTTP/1.1" 200 13722
      83.137.240.216 - - [31/Mar/2009:10:41:51 +0200] "GET /index.php? HTTP/1.1" 200 58157
      83.137.240.216 - - [31/Mar/2009:10:41:56 +0200] "GET /index.php?pf=tagflash/swfobject.js HTTP/1.1" 304 -
      83.137.240.216 - - [31/Mar/2009:10:41:54 +0200] "GET /index.php?post/2008/09/19/http%3A//rat-moslabrutecom HTTP/1.1" 200 15954
      83.137.240.216 - - [31/Mar/2009:10:41:54 +0200] "GET /index.php?post/2008/09/11/Google-Chrome-interdit HTTP/1.1" 200 15727
      83.137.240.216 - - [31/Mar/2009:10:41:57 +0200] "GET /index.php?pf=tagflash/tagcloud.swf HTTP/1.1" 200 20708
      83.137.240.216 - - [31/Mar/2009:10:41:54 +0200] "GET /index.php?post/2008/09/15/Le-fichier-robotstxt HTTP/1.1" 200 17184
      83.137.240.216 - - [31/Mar/2009:10:41:53 +0200] "GET /index.php?archive/2009/02 HTTP/1.1" 200 29837
      83.137.240.216 - - [31/Mar/2009:10:41:55 +0200] "GET /index.php?post/2008/07/16/Quel-port-est-utilise-par-quel-service HTTP/1.1" 200 16514
      83.137.240.216 - - [31/Mar/2009:10:42:00 +0200] "GET /themes/blueSilence/img/sidebar_li.png HTTP/1.1" 200 115
      83.137.240.216 - - [31/Mar/2009:10:41:57 +0200] "GET /index.php?post/2009/02/19/gg HTTP/1.1" 200 20071
      83.137.240.216 - - [31/Mar/2009:10:42:00 +0200] "GET /public/images/flyspray.png HTTP/1.1" 200 31321
      83.137.240.216 - - [31/Mar/2009:10:41:57 +0200] "GET /index.php?post/2009/02/02/Comment-repeter-une-commande-X-fois HTTP/1.1" 200 19281
      83.137.240.216 - - [31/Mar/2009:10:41:57 +0200] "GET /index.php?post/2009/01/15/Serveur-de-Backup-MX-sous-Postfix HTTP/1.1" 200 20378
      83.137.240.216 - - [31/Mar/2009:10:42:00 +0200] "GET /themes/blueSilence/img/footer.png HTTP/1.1" 200 827
      83.137.240.216 - - [31/Mar/2009:10:42:00 +0200] "GET /public/images/dd.png HTTP/1.1" 200 27043
      83.137.240.216 - - [31/Mar/2009:10:41:57 +0200] "GET /index.php?post/2009/02/25/Sauvegarde-avec-la-commande-dd HTTP/1.1" 200 21993
      83.137.240.216 - - [31/Mar/2009:10:41:53 +0200] "GET /index.php?archive/2009/03 HTTP/1.1" 200 32030
      83.137.240.216 - - [31/Mar/2009:10:42:00 +0200] "GET /index.php?category/Espace-d HTTP/1.1" 404 11857
      83.137.240.216 - - [31/Mar/2009:10:41:53 +0200] "GET /index.php?archive/2008/08 HTTP/1.1" 200 16165
      83.137.240.216 - - [31/Mar/2009:10:42:00 +0200] "GET /index.php?post/2008/09/11/Cacher-un-fichier HTTP/1.1" 200 23545
      83.137.240.216 - - [31/Mar/2009:10:41:53 +0200] "GET /index.php?archive/2008/11 HTTP/1.1" 200 14544
      83.137.240.216 - - [31/Mar/2009:10:42:02 +0200] "GET /index.php?post/2008/08/08/La-commande-wall HTTP/1.1" 200 16369
      83.137.240.216 - - [31/Mar/2009:10:41:53 +0200] "GET /index.php?archive/2009/01 HTTP/1.1" 200 47307
      83.137.240.216 - - [31/Mar/2009:10:41:53 +0200] "GET /index.php?archive/2008/12 HTTP/1.1" 200 30579
      83.137.240.216 - - [31/Mar/2009:10:41:53 +0200] "GET /index.php?archive/2008/10 HTTP/1.1" 200 13197
      83.137.240.216 - - [31/Mar/2009:10:41:53 +0200] "GET /index.php?archive/2008/07 HTTP/1.1" 200 16060
      83.137.240.216 - - [31/Mar/2009:10:42:03 +0200] "GET /index.php?post/2008/11/18/Interface-php-pour-Bind9 HTTP/1.1" 200 16682
      83.137.240.216 - - [31/Mar/2009:10:42:03 +0200] "GET /index.php?post/2008/11/27/Un-shell-sur-ESX-vmware-35 HTTP/1.1" 200 16815
      83.137.240.216 - - [31/Mar/2009:10:42:06 +0200] "GET /index.php?post/2008/07/24/Copier-un-site-internet-avec-wget HTTP/1.1" 200 16259
      83.137.240.216 - - [31/Mar/2009:10:42:06 +0200] "GET /index.php?post/2008/07/18/La-commande-date HTTP/1.1" 200 16590
      83.137.240.216 - - [31/Mar/2009:10:42:06 +0200] "GET /index.php?post/2009/01/06/Interuption-de-service-%3A-mes-excuses HTTP/1.1" 200 22089
      83.137.240.216 - - [31/Mar/2009:10:42:00 +0200] "GET /index.php?post/2008/09/10/DOS-avec-hping HTTP/1.1" 200 18488
      83.137.240.216 - - [31/Mar/2009:10:42:09 +0200] "GET /public/images/apachetop.png HTTP/1.1" 200 18044
      83.137.240.216 - - [31/Mar/2009:10:42:01 +0200] "GET /index.php?post/2009/03/05/Surveiller-son-serveur-Web-avec-apachetop HTTP/1.1" 200 18080
      83.137.240.216 - - [31/Mar/2009:10:42:09 +0200] "GET /public/images/toile-libre.png HTTP/1.1" 200 25361
      83.137.240.216 - - [31/Mar/2009:10:42:01 +0200] "GET /index.php?post/2009/03/02/L-association-toile-libre.org HTTP/1.1" 200 19568
      83.137.240.216 - - [31/Mar/2009:10:42:01 +0200] "GET /index.php?post/2009/03/06/Sondange-de-la-semaine%3A-Quel-UNIX-pour-vos-serveurs HTTP/1.1" 200 19345
      83.137.240.216 - - [31/Mar/2009:10:42:10 +0200] "GET /public/images/eskuel.png HTTP/1.1" 200 21052
      83.137.240.216 - - [31/Mar/2009:10:42:10 +0200] "GET /public/images/.eskuel_screenshot_m.jpg HTTP/1.1" 200 25230
      83.137.240.216 - - [31/Mar/2009:10:42:01 +0200] "GET /index.php?post/2009/03/01/Installation-et-configuration-de-Eskuel HTTP/1.1" 200 17440
      83.137.240.216 - - [31/Mar/2009:10:42:10 +0200] "GET /index.php?post/2009/04/15/Certificats-ssl-pour-du-https-vite-fait-mal-fait-%3Ap HTTP/1.1" 200 20640
      83.137.240.216 - - [31/Mar/2009:10:42:12 +0200] "GET /public/images/.stats-bind9_s.jpg HTTP/1.1" 200 7770
      83.137.240.216 - - [31/Mar/2009:10:42:12 +0200] "GET /public/images/bind-stats.png HTTP/1.1" 200 24161
      83.137.240.216 - - [31/Mar/2009:10:42:01 +0200] "GET /index.php?post/2009/03/12/Nouvelle-option-dans-bind9-%21 HTTP/1.1" 200 19378
      83.137.240.216 - - [31/Mar/2009:10:42:02 +0200] "GET /index.php?category/Espace-d HTTP/1.1" 404 11857
      83.137.240.216 - - [31/Mar/2009:10:42:06 +0200] "GET /index.php?post/2008/06/17/Administration-Ldap HTTP/1.1" 200 20989
      83.137.240.216 - - [31/Mar/2009:10:42:12 +0200] "GET /index.php?post/2009/02/14/Creer-ajouter-du-Swap HTTP/1.1" 200 17289
      83.137.240.216 - - [31/Mar/2009:10:42:14 +0200] "GET /themes/default/smilies/wink.png HTTP/1.1" 304 -
      83.137.240.216 - - [31/Mar/2009:10:42:12 +0200] "GET /index.php?post/2009/04/18/Configuration-R%C3%A9seau-Debian-et-Ubuntu HTTP/1.1" 200 19709
      83.137.240.216 - - [31/Mar/2009:10:42:12 +0200] "GET /index.php?post/2009/02/09/Installation-et-Configuration-de-Cacti HTTP/1.1" 200 21444
      83.137.240.216 - - [31/Mar/2009:10:42:15 +0200] "GET /themes/default/smilies/sad.png HTTP/1.1" 304 -
      83.137.240.216 - - [31/Mar/2009:10:42:10 +0200] "GET /index.php?post/2009/03/30/Nous-recherchons-des-blogeurs-pour-ce-site-%21-%21-%21 HTTP/1.1" 200 18449
      83.137.240.216 - - [31/Mar/2009:10:42:06 +0200] "GET /index.php?post/2009/01/26/Faille-DNS-ISPRIME-serveur-bind-recursif HTTP/1.1" 200 20806
      83.137.240.216 - - [31/Mar/2009:10:42:14 +0200] "GET /index.php?post/2009/02/21/SQLiteManager-interface-php-web-pour-sqlite HTTP/1.1" 200 21368
      83.137.240.216 - - [31/Mar/2009:10:42:14 +0200] "GET /index.php?post/2009/01/25/Installation-et-Configuration-de-snmp HTTP/1.1" 200 22566
      83.137.240.216 - - [31/Mar/2009:10:42:15 +0200] "GET /index.php?post/2009/03/13/Sondange-de-la-semaine%3A-Qui-est-le-meilleur-HTTPd HTTP/1.1" 200 19184
      83.137.240.216 - - [31/Mar/2009:10:42:16 +0200] "GET /index.php?post/2009/03/17/Connaitre-et-am%C3%A9liorer-son-PageRank HTTP/1.1" 200 19893
      83.137.240.216 - - [31/Mar/2009:10:42:19 +0200] "GET /themes/blueSilence/img/tag.png HTTP/1.1" 200 308
      83.137.240.216 - - [31/Mar/2009:10:42:12 +0200] "GET /index.php?post/2009/03/01/Script-de-backup-par-ftp-pour-mysql HTTP/1.1" 200 22789
      83.137.240.216 - - [31/Mar/2009:10:42:15 +0200] "GET /index.php?post/2009/04/25/Installation-et-configuration-d-hddtemp HTTP/1.1" 200 17847
      83.137.240.216 - - [31/Mar/2009:10:42:18 +0200] "GET /index.php?rsd HTTP/1.1" 200 290
      83.137.240.216 - - [31/Mar/2009:10:42:18 +0200] "GET /index.php?post/2009/03/10/Gentoo-Linux%3A-Avoir-un-shell-de-secours-depuis-l-initramfs. HTTP/1.1" 200 2
      0753
      83.137.240.216 - - [31/Mar/2009:10:42:18 +0200] "GET /index.php?xbel HTTP/1.1" 200 3507
      • [^] # Re: useragent

        Posté par . Évalué à 4.

        J:~$ dig -x 83.137.240.216

        ; <<>> DiG 9.5.1-P2 <<>> -x 83.137.240.216
        ;; global options: printcmd
        ;; Got answer:
        ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 14263
        ;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 2, ADDITIONAL: 1

        ;; QUESTION SECTION:
        ;216.240.137.83.in-addr.arpa. IN PTR

        ;; ANSWER SECTION:
        216.240.137.83.in-addr.arpa. 7200 IN PTR dmzprox4nc.dr.gdf.fr.



        ca ressemble à un proxy, qui appartiendrait à GDF...
      • [^] # Re: useragent

        Posté par (page perso) . Évalué à 2.

        SI l'IP est vraiment toujours la même, tu peux commencer par faire de l'URL rewriting. Si c'est cette IP, tu rediriges ailleurs, mettons sur http://www.google.fr/

        Ça te permettra d'avoir moins de pression pour penser à une solution définitive.

        La gelée de coings est une chose à ne pas avaler de travers.

        • [^] # Re: useragent

          Posté par . Évalué à 1.

          c'est jamais les meme ip

          j'ai un mod evasive , fail2ban , quelques regles iptables specifique au port 80
          j'ai affiné les options apache avec les directives keepalive et autres
          mais rien n'y fait, les aspirations de site sont pas toutes bloqué et le load du serveur monte en folie quand meme 2 ou 3 fois par jour
  • # :(

    Posté par . Évalué à 2.

    oui ca doit etre ca et hier cetait une adresse xerox.com
    pourquoi il pompe les sites en entier ? ca leur sert a quoi ?
    comment les bloquer ?
    • [^] # Re: :(

      Posté par . Évalué à 5.

      • [^] # Re: :(

        Posté par . Évalué à 3.

        un petit retour d'experience ?

        il peut fonctionner avec mod_evasive ou pas ?
        • [^] # Re: :(

          Posté par . Évalué à 2.

          Je l'ai jamais essaye, donc peux pas trop t'en dire la dessus, je sais qu'il existe et qu'il est utilise pour des problemes similaires au tiens, c'est tout.
  • # :)

    Posté par . Évalué à 1.

    j'en suis meme arrivé a faire ceci :

    un script avec :

    crontab /1 * * * *

    #!/bin/sh

    #LOAD=`uptime | awk '{print $8}' | awk -F. '{print $1}'`
    LOAD=`uptime | awk '{print $10}' | cut -d"," -f1`

    if [ ${LOAD/.*} -ge 3 ]; then
    echo "system en charge !"
    mail -s "Serveur en surcharge" admin@mondolmaine.com < /data/scripts/mail-uptime.txt
    sleep 2
    service httpd restart
    else
    echo "system ok"
    fi

    mais c'est **** !
    et comme le load descend pas d'un coup il le redemarre plusieurs fois :(
    • [^] # Re: :)

      Posté par . Évalué à 2.

      Déjà, va plutôt lire directement le fichier /proc/loadavg, ça t'économisera les commandes uptime et awk.
      Exemple:
      cut -d ' ' -f 1 /proc/loadavg

      Ensuite, vu le $10 dans ton awk tu prend le troisième chiffre du load average, c'est à dire celui qui est moyenné sur 15 minutes, normal qu'il baisse lentement. Le premier est moyenné sur une minute et baissera beaucoup plus vite.

      Mais de toute façon, comme tu dis à demi-mots, c'est très crade à la base.
  • # iptables hashlimit

    Posté par . Évalué à 1.

    # iptables -A INPUT --protocol tcp --destination-port 80 -m hashlimit --hashlimit-above 100 --hashlimit-mode srcip --hashlimit-name toto --jump DROP

    Limiter par IP source la connexion à 100 paquets/s sur le port 80.
    • [^] # Re: iptables hashlimit

      Posté par . Évalué à 1.

      question farfelu et peut etre con :)

      un get http fait combien de paquets ? 1 ?
      • [^] # Re: iptables hashlimit

        Posté par . Évalué à 1.

        A priori je dirais oui :-)
        Maintenant, j'ai donné cette valeur au hasard, à toi de faire des tests pour trouver la valeur optimale.

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.