Faire un don ! | | style | statistiques | contactez-nous | plan | lettre d'information

Journal : Satanées bots

Posté par Poulain Benjamin (page perso, ) le 27 novembre 2007
J'ai trois trois site ([http://www.linuxcertif.com],[http://iverb.ikipou.com],[http://www.magellan.fpms.ac.be]) hébergé sur le même serveur. Des trois, Linux Certif est le plus populaire, et mon problème est que sa charge venant de bots vient handicaper les deux autres sites.

Cela est vraiment devenu un problème ce week-end car quelqu'un a commencé à télécharger agressivement toute les pages de Linux Certif à l'aide de HTTrack.

Pour résoudre le problème, j'ai envisagé d'utiliser des limites sur le nombre de paquets par IP par seconde. Néanmoins, cela ralentirait tout le monde alors que le problème ne vient clairement pas de la bande passante.

Je suis à la recherche d'une solution qui me permettrait de limiter les visites abusive (comprendre, ralentir les bots un peu trop agressifs), sans pour autant ralentir le trafic normal.

Je pourrais évidemment bloquer les clients en fonction de l'en tête User-Agent, mais il existe peut être une solution plus intelligente basé sur le comportement du client? De plus je ne cherche pas à bloquer complètement les bots mais à les ralentir.

Bref, tout vos conseils et retour d'expérience pour ralentir les bots trop agressif sont les bienvenus.

> Lire le journal (17 commentaires, moyenne: 2,8).  

Vous avez demandé le commentaire #885762.

Alternative : partager

Posté par Julien Damon (page perso, ) le 28/11/2007 à 10:51. (lien). Évalué à 2.

Une solution alternative est de partager le contenu de linux certif (avec licence, etc).

Par exemple faire un export dans une archive, ou mieux générer un fichier pdf ou autre de documentation, que l'on met en ftp et que les visiteurs peuvent télécharger.

  • [^]Re: Alternative : partager

    Posté par Poulain Benjamin (page perso, ) le 28/11/2007 à 11:29. (lien). Évalué à 2.

    Je ne demande pas mieux mais c'est gênant pour tenir l'archive à jour avec les mises à jour du site.

    En fait ce genre de fonctionnalité est sur la TODO list mais la priorité actuelle est de faire de nouveaux articles.

    --
    Visitez Linux Certif, le site qu'il est bien pour les Linuxiens. (Passez voir aussi OpenYourCode pour les développeurs)