Bonjour,
Je me suis amusé à mettre le fichier robot.txt :
User-agent: msnbot
Disallow: /
Effectivement le robot identifié sous le nom de "msnbot" ne vient plus lire mes pages.
Par contre le site existe toujours dans le moteur MSN, malgrè une balise méta robots "noarchive".
Mais le plus fort, c'est que MSN Search repère et enregistre les changements apportés au site aussi vite que Google.
Première solution :
MSN Search utililse un autre robot identifié sous un autre nom.
(…)
Journal MSN Search se moque du fichier robot.txt ?
9
août
2004





