Journal Moteur de recherche MSN :en boucle?

Posté par  .
Étiquettes : aucune
0
14
juin
2004
Bonjour,
Je regarde les stats de mon site pour ce début de mois et je trouve la ligne :
1 13278 14.94% 12648 21.42% 367286 34.98% 337 23.11% msnbot64109.search.msn.com

Soit 367.28Mb de trafic créé par msnbot sur mon site !
Il est parti en boucle ou quoi ?
faudrait qu'il pense à l'arrêter parce que ça continue et que je n'ai pas de la BP illimitée...

Je peux l'empêcher comment ? Y a pas un truc à faire avec robots.txt ?

  • # c'est pas un bug...

    Posté par  . Évalué à 1.

    http://www.murphys-laws.com/murphy/murphy-computer.html(...)

    ---> []

  • # robots.txt ...

    Posté par  . Évalué à 4.

    ouaip, tu peux faire ca avec robots.txt

    une url qui te permettra d'en savoir plus :
    http://www.toulouse-renaissance.net/c_outils/c_robots_txt.htm(...)

    vala vala ... j'espère que ça te sera utile, personnellement, j'ai avec robots.txt interdit le passage aux bots utilisant ce protocole, tout simplement. Je ne souhaite pas de référencement, ou plutot rester bas dans les référencements, donc bon ...

  • # Idem

    Posté par  . Évalué à 1.

    Bah oui j'ai la même chose ce mois-ci, et un peu le mois dernier aussi, msn va lancer un concurrent de Google ?

    5170 hits de msnbot64058.search.msn.com
    3165 hits de msnbot64059.search.msn.com
    117 hits de msnbot64057.search.msn.com
    etc

    le 14 juin

  • # User-agent

    Posté par  (site web personnel) . Évalué à 2.

    Tu peux aussi ignorer le User-agent avec Apache:

    --
    <Directory /var/www/>
    ...
    Order Allow,Deny
    Allow from all
    Deny from env=bad_agents
    </Directory>
    --

    et plus loin
    --
    BrowserMatch ^ia_archiver bad_agents
    BrowserMatch Google bad_agents
    BrowserMatch ^NPBot bad_agents
    BrowserMatch fast bad_agents
    --
    etc.

  • # ...

    Posté par  . Évalué à 2.

    Tu peux utiliser des rewrite rule pour bloquer les moteurs et aspirateurs, et ya aussi des scripts anti aspirateur/moteur très simple (pour ceux qui ne respectent pas le robots.txt).

    Moi perso je bloque tout ce qui contient "bot" et tous les aspirateurs connus, ainsi qu'Internet Explorer, ça règle pas mal de problèmes :)

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.