À l'époque où je travaillais à hébergement d'une modeste forge pour un chaton (à usage essentiellement interne), j'avais fait face à ce genre de robot indélicat. Je suppose aussi que le gittea de l'époque était assez sensible au crawling ; certains liens remontant pas mal d'info longues à consolider, comme les blames par exemple.
J'avais été amené à durcir les limites de navigation, notamment sur les blames (1 max par secondes), vérifier la bonne mise en relation du serveur web et du fail2ban (pour bannir les indélicats). Mais ça n'avait pas suffit. J'ai opté pour une solution radicale : un honeypot (pour bot) suivi d'un ban pur et simple. C'était efficace de mémoire.
Dans le même ordre d’idée, j’avais hésité à poster ce lien fin janvier (j’ai finalement estimé que peu de gens étaient concernés par l’objet du site/forum en question mais la problématique demeure finalement) : outre les bots qui cherchent des failles, ce sont maintenant les entrainements d’intelligence artificielle qui pourrissent le web en aspirant sauvagement les sites…
“It is seldom that liberty of any kind is lost all at once.” ― David Hume
# .
Posté par Pol' uX (site web personnel) . Évalué à 9 (+7/-0).
À l'époque où je travaillais à hébergement d'une modeste forge pour un chaton (à usage essentiellement interne), j'avais fait face à ce genre de robot indélicat. Je suppose aussi que le gittea de l'époque était assez sensible au crawling ; certains liens remontant pas mal d'info longues à consolider, comme les blames par exemple.
J'avais été amené à durcir les limites de navigation, notamment sur les blames (1 max par secondes), vérifier la bonne mise en relation du serveur web et du fail2ban (pour bannir les indélicats). Mais ça n'avait pas suffit. J'ai opté pour une solution radicale : un honeypot (pour bot) suivi d'un ban pur et simple. C'était efficace de mémoire.
Adhérer à l'April, ça vous tente ?
[^] # ia crawl
Posté par Gil Cot ✔ (site web personnel, Mastodon) . Évalué à 3 (+1/-0).
Dans le même ordre d’idée, j’avais hésité à poster ce lien fin janvier (j’ai finalement estimé que peu de gens étaient concernés par l’objet du site/forum en question mais la problématique demeure finalement) : outre les bots qui cherchent des failles, ce sont maintenant les entrainements d’intelligence artificielle qui pourrissent le web en aspirant sauvagement les sites…
“It is seldom that liberty of any kind is lost all at once.” ― David Hume
Envoyer un commentaire
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.