Wiki [Tuto/HowTo] HaProxy - bannir les requêtes quand l'User-Agent est vide

0
20
juil.
2018

Introduction

Il n'est pas rare que des robots crawlent les sites internet sans utiliser d'User-Agent.
Si vous souhaitez les bannir de vos frontends HaProxy, voici comment faire.

Éditez votre fichier de configuration /etc/haproxy/haproxy.cfg

Ensuite selon vos envies: ajoutez une des deux règles suivantes.

  • Si vous souhaitez renvoyer une erreur HTTP 403 Forbidden (accès interdis) quand l'user-agent est vide, ajoutez la règle HaProxy pour frontend suivante.
http-request deny if { hdr_cnt(user-agent) eq 0 }
  • Si vous voulez bannir toute (...)

Wiki Tuto Piwik - Ajouter un robot

1
15
fév.
2017

Introduction

Il existe actuellement des centaines voir des milliers de robots (crawler, dataminer, etc) et Piwik ne les détecte pas tous.
Piwik a la capacité de détecter les robots qui utilisent une chaîne de caractères spécifique dans leur User-Agent.
La liste contenant les informations pour chaque bot détecté par Piwik se situe à l'adresse suivante.
Il est conseillé de savoir se qu'est une regex pour ajouter un robot.
Voici un exemple d'ajout d'un bot (...)