Suivi — Images Indiquer un User-Agent correct pour les bots de LinuxFR

#1826 Posté par  . État de l’entrée : corrigée. Assigné à Bruno Michel. Licence CC By‑SA.
Étiquettes : aucune
1
28
juin
2018

Actuellement quand le(s) bot(s) de LinuxFR viennent faire leurs petites affaires, ils utilisent un User-Agent par défaut ("Go 1.1 package http"). Cet User-Agent non content de faire passer le bot pour un vilain, a aussi tendance à s'incruster dans les logs des trackers.
Il serait intéressant, pour les admins systèmes qui vont recevoir les requêtes de LinuxFR, de pouvoir bénéficier d'un User-Agent indiquant l'origine du Bot et permettant de l'exclure des statistiques de nos trackers.

Voici un exemple de ligne de log actuelle lorsque le bot passe :

88.xx.xx.176 - - [28/Jun/2018:13:59:15 +0200] "GET /forum4/download/file.php?id=187 HTTP/1.1" 403 6147 "-" "Go 1.1 package http"

Hors se serait pas mal d'avoir un truc du style :

88.xx.xx.176 - - [28/Jun/2018:13:59:15 +0200] "GET /forum4/download/file.php?id=187 HTTP/1.1" 403 6147 "-" "LinuxFR statics ressources checker with free love (https://linuxfr.org)"
  • # bots ?

    Posté par  (site Web personnel) . Évalué à 1 (+0/-0).

    Je n'étais pas au courant que LinuxFR possédait des bots ! ? !

    Que font-ils ? Qu'explorent-ils ? Pour autant que je sache LinuxFR n'est pas un moteur de recherche !
    Je suis très perplexe : j'aimerais en savoir plus.

    • [^] # Re: bots ?

      Posté par  (site Web personnel) . Évalué à 5 (+0/-0). Dernière modification le 29/06/18 à 19:15.

      Le service img récupère les images sur des sites distants en HTTP(S).
      Le service share partage sur les réseaux sociaux via HTTP(S) (mais ça ne doit pas être le sujet de cette entrée).
      Les services epub, board et svgtex ne doivent pas être concernés.

    • [^] # Re: bots ?

      Posté par  . Évalué à 3 (+0/-0). Dernière modification le 30/06/18 à 03:33.

      Que font-ils ? Qu'explorent-ils ?

      Ils parcourent l'univers depuis des millénaires,
      à la recherche d'une seule et unique chose, …
      la réponse à LA Grande Question du Comment du Pourquoi et du Tout !

      ||
      || ======> []

  • # Fait

    Posté par  (site Web personnel) . Évalué à 4 (+0/-0).

    Le daemon img a maintenant un User-Agent configurable. La valeur par défaut est img_LinuxFr.org/1.0.

    Cf https://github.com/linuxfrorg/img-LinuxFr.org/commit/4f96d1f2da52cbd3d42000386bf9b2b9f2979259

    • [^] # Re: Fait

      Posté par  . Évalué à 2 (+0/-0). Dernière modification le 02/07/18 à 20:34.

      Thanks.
      Pour faire propre on peut éventuellement créer une page wiki (ou autre) et indiquer dans l'User-agent l'adresse vers cette page. Ainsi les webmasters n'ont qu'a copier coller l'adresse dans leur navigateur (comme pour les autres bots) :)
      Qu'en pensez-vous?

      (j'aurai du temps de dispo dans la semaine pour participer a la rédaction de l'éventuelle page si besoin)

Envoyer un commentaire

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.