En février 2018, j’avais fait un petit point sur une tâche régulière, répétitive et rébarbative liée à LinuxFr.org, qui n’est probablement pas significativement perçue par la plupart des lecteurs (tant mieux) : la gestion du spam, des pénibles publicitaires sans scrupules, de la plaie des SEO, des escroqueries et autres arnaques type scam ou loterie, etc. Bref, des pénibles du quotidien qui ne sont pas des vrais visiteurs du site, mais qui veulent juste fourguer leur camelote par n’importe quel moyen. Il s’agit d’évoquer les différentes formes que cela prend, les méthodes mises en place pour réduire ou bloquer la nuisance et d’illustrer le propos par divers exemples.

Contexte

Je me balade sur le site, je vois un commentaire vantant un comparatif de VPN, je me dis que c’est louche (pour plein de raisons, la huitième va vous étonner, mais principalement par expérience, voir plus loin la discussion sur PreSpam), c’est un nouveau compte. OK, il s’agit donc d’un spam de type SEO sournois. Pris d’une frénésie vindicative contre le spam, je lance une recherche en base de données sur ce domaine en particulier. Une seule occurrence. Petite déception, j’étais persuadé d’en voir plus régulièrement des vendeurs de spams, euh, de VPN.

Là, paf, mauvais réflexe, je me dis qu’il suffirait de lister tous les domaines présents dans les commentaires supprimés sur les trois dernières années, de nettoyer un peu tout ça, et de relancer une recherche pour détecter du spam résiduel. Après tout, y en a juste pour cinq minutes.

Crowl est un projet de développement d’un crawler SEO collaboratif sous licence GPL v3. Développé en Python et basé sur le cadriciel Scrapy, Crowl a pour but de fournir aux professionnels du référencement un outil simple, robuste et innovant pour répondre à des besoins non couverts par les outils actuels.