Je blocke les robots peu engageants (comme le "Microsoft url control" qui cherche des fichiers audio sur mon serveur apache 2)
avec mod_Rewrite.
RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^MSFrontPage [OR]
RewriteCond %{HTTP_USER_AGENT} ^[Ww]eb[Bb]andit [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus.*Webster [OR]
RewriteCond %{HTTP_USER_AGENT} ^microsoft.url [OR]
RewriteCond %{HTTP_USER_AGENT} ^sitecheck.internetseer.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^InternetSeer.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^Ping [OR]
RewriteCond %{HTTP_USER_AGENT} ^Link [OR]
RewriteCond %{HTTP_USER_AGENT} ^DIIbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^psbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailCollector
RewriteRule ^.* - [F]
N'existe-t-il pas de moyen plus simple ?
Et vous vous faites comment ?
Journal Microsoft url control
5
nov.
2003
# Re: Microsoft url control
Posté par tuan kuranes (site web personnel) . Évalué à 1.
(cf: http://www.fleiner.com/bots/(...) par exemple)
# Re: Microsoft url control
Posté par GCN (site web personnel) . Évalué à 3.
[^] # Re: Microsoft url control
Posté par Hardy Damien . Évalué à 3.
Dam
[^] # Re: Microsoft url control
Posté par Antonio Da Silva (site web personnel) . Évalué à 2.
Parce que tu le controles le user-agent de leur bot ?
[^] # Re: Microsoft url control
Posté par tuan kuranes (site web personnel) . Évalué à 1.
Mais beaucoup d'autres petits ou mechants, essaye tout ce qu'ils peuvent...
D'ou le probleme.
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.