Journal Les conséquences réseaux d'un partage sur LinuxFR

Posté par  . Licence CC By‑SA.
Étiquettes :
20
9
juil.
2018

Sommaire

Introduction

Le précédent article de votre humble serviteur, intitulé "utiliser android de façon plus sécurisée" (lien), fut riche en requêtes réseau jusqu'à plus soif.
Comme l'ouvrage originale fut linké autant dans la partie forum, que journal et dépêche de LinuxFR: on peut en profiter pour tenter de visualiser un échantillon éphémère des mouvements réseaux engendré par ces links.
Nous n'allons certes pas découvrir la réponse à la grande question, mais découvrir que de simple liens peuvent provoquer la mise en mouvement de pas mal d’électrons.

Anecdote : le trafique réseau engendré par l'article a provoqué la rédaction de trois nouveaux tutos 🤣

Historique :

24/05/2018 à 16:18 => sortie du thread sur le forum. (lien)

Après l'ouverture du topic sur le forum de LinuxFR avec un lien pointant vers le brouillon, une armée de bot ayant comme user-agent "Python-urllib" se met à contacter la racine du site gérant le forum d'0rion. Pas mal d'humains sont passé aussi se qui est étonnant compte tenu du thread, cela reste néanmoins peu significatif (peut-être le premier pic).
Le nombre de visites fut multiplié par 10 le temps de mettre en place une contre-mesure anti-bot. (voir graphique pour les journées du 26 et 27 mai, la contre mesure étant mise en place le 27)

03/06/2018 à 14:13 => sortie du journal (lien)

Explosion du nombre de lectures venant de LinuxFR et des quelques repartages sur le net (entre autre toolinux qui s'est casé en seconde place des http-referer globaux, et en première place des http-referer d'origine des lecteurs de l'article et ce en deux jours seulement).

09/06/2018 à 19:27 => sortie de la dépêche. (lien)

Après une légère baisse des lectures depuis la sortie du journal (environs 100/jours), la sortie de la dépêche re-provoque un afflux d'entre 150 et 350 visiteurs par jours.
Par contre le nombre de bots qui passent par Tor a complètement explosé.
Des annuaires Tor ont aussi ajouté la nouvelle adresse de l'Hidden Service qui mène au forum d'0rion. Entre autre : AHMIA, CB3ROB, Daniels Online-Test, Fresh Onions, OnionLand. (voir chapitre Les Annuaire Tor)
Plus d'informations à leur propos dans la suite de l'article.

Voici un graphique indiquant en rouge le nombre de visite à travers le temps :
screenshot-2018_07_03-piwik-stats_visites

Voici un graphique indiquant en bleu les vues/actions à travers le temps :
Note : les pics d'actions sont majoritairement provoqué par des evils bots qui cherchent après des failles de CMS, des infos serveurs et crawlent tout le site.
screenshot-2018_07_03-piwik-stats_vues

Voici un graphique indiquant en rouge le nombre de visite avec comme référant LinuxFR à travers le temps :
screenshot-2018_07_03-piwik-stats_linuxfr

Map monde avec la géolocalisation des visiteurs sur la période 04 mai au 03 juillet. La France domine allègrement le classement vs Belgique et Canada.
screenshot-2018_07_03-piwik-map_world

Comparatif géolocalisation avant et après partage de l'article.
screenshot-2018_06_18-piwik-stat_geolocalisation

Quelques infos intéressantes :

  • La proportion des navigateurs web des LinuxFRiens qui n'envoient pas le Referant est très importante. (ou alors c'est l'ouverture dans un nouvel onglet qui n'envoie pas le référant)
  • Il y a beaucoup, beaucoup, beaucoup de bots qui scannent les Tor Hidden Service "populaire". En effet, à l'heure de la rédaction de cet article il y a en quasi permanence dans les visiteurs du forum au moins un bot avec comme ip 127.0.0.1.
  • Le vieux Raspberry Pi 2B lag quand on dépasse les 3 visiteurs en même temps, mais semble quand même tenir la charge sauf quand des evils bots rappliquent. (on décompte quand même 3 crash)
  • Le record du nombre de visiteurs en ligne sur le forum, est toujours inégalé. Il avait établi par un partage sur Twitter le 3 septembre 2016 qui avait provoqué l'arrivée de 13 bots.
  • L'article a permit de découvrir que les designers qui ont conçu les CSS de phpBB et LinuxFR n'avaient pas prévu les images provenant d'appareil mobile haute résolution en mode portrait. Une correction simple consiste à ajouter un max-height pour toutes les images.
  • Étonnamment, coups de pot, les gens ne semblent pas avoir téléchargé la page en même temps. Mais le goulet d'étranglement du réseau doit quand même probablement se faire sentir vu le nombre d'images dans l'article.
  • Partages (vérifié manuellement, ça vaut se que ça vaut) :
    • 57 partages sur Facebook (d'après sharedcount, moi j'en vois 6)
    • 4 partages sur Mastodont
    • 2 partages sur Twitter (celui qui a ramené le plus de vues d'après le référant)
    • 1 partage sur Movim
    • 1 partage sur Framasphère
    • 2 partages sur Journal Du Hacker (dont un modéré)
    • 1 partage sur Framapiaf
    • 1 partage sur Reddit
    • 1 partage sur Google+ Sans compter tous ceux qui l'ont partagé dans leur liste de liens ou sur leur(s) site(s).
  • Ressources machines (estimations)
    • - La page fait actuellement 5,6Mo et a été vue plus de 1750 fois soit 9,8Go.
    • - Quand les evils bots se pointent et pompent page après page, 100% du CPU est utilisé.

Les evils bots :

Quelques bad crawlers

Prise de vue avec 3 bots qui passent par Tor dont un qui crawl le site :
screenshot-2018_06_15-piwik-visiteurs_bots_tor

Un bot qui cherche après des fichiers sensible via le Tor Hidden Service.
NB : faites pas attention au nom d'host qui n'est pas bon, c'est un bug de matamo/piwik.
screenshot-2018_06_20-piwik-bot_attack_a_tor_hidden_service

Un bot qui lit le robot.txt puis va checker les dossiers mis en Disallow dans le fichier robot.txt. (L'image est volontairement tronquée pour ne pas prendre trop de place, tout les DIsallow ont été checké par le bot. Pas de chance pour lui 99% sont des fakes/troll.)
screenshot_2018-07-04_Piwik-Profil_utilisateur-Bot_follow_disallow_in_robottxt

Un evil crawler transitant à travers Tor, écrit en Python et utilisé par un noob.

127.0.0.1 - - [03/Jul/2018:10:30:22 +0200] "GET http://4242Neb0rion4242.onion/wp-content/ HTTP/1.1" 404 445 "-" "Python/3.6 aiohttp/3.2.1"
127.0.0.1 - - [03/Jul/2018:10:30:22 +0200] "GET http://4242Neb0rion4242.onion/wp-includes/ HTTP/1.1" 404 446 "-" "Python/3.6 aiohttp/3.2.1"
127.0.0.1 - - [03/Jul/2018:10:31:13 +0200] "GET http://4242Neb0rion4242.onion/wp-content/uploads/ HTTP/1.1" 404 453 "-" "Python/3.6 aiohttp/3.2.1"
127.0.0.1 - - [03/Jul/2018:10:31:19 +0200] "GET http://4242Neb0rion4242.onion/server-status/ HTTP/1.1" 404 448 "-" "Python/3.6 aiohttp/3.2.1"
127.0.0.1 - - [03/Jul/2018:10:31:30 +0200] "GET http://4242Neb0rion4242.onion/server-info/ HTTP/1.1" 404 446 "-" "Python/3.6 aiohttp/3.2.1"
127.0.0.1 - - [03/Jul/2018:10:31:37 +0200] "GET http://4242Neb0rion4242.onion/cpanel/ HTTP/1.1" 404 441 "-" "Python/3.6 aiohttp/3.2.1"
127.0.0.1 - - [03/Jul/2018:10:32:44 +0200] "GET http://4242Neb0rion4242.onion/phpmyadmin/ HTTP/1.1" 404 445 "-" "Python/3.6 aiohttp/3.2.1"
127.0.0.1 - - [03/Jul/2018:10:32:48 +0200] "GET http://4242Neb0rion4242.onion/admin/ HTTP/1.1" 404 440 "-" "Python/3.6 aiohttp/3.2.1"
127.0.0.1 - - [03/Jul/2018:10:32:48 +0200] "GET http://4242Neb0rion4242.onion/dump/ HTTP/1.1" 404 439 "-" "Python/3.6 aiohttp/3.2.1"
127.0.0.1 - - [03/Jul/2018:10:32:49 +0200] "GET http://4242Neb0rion4242.onion/backup/ HTTP/1.1" 404 441 "-" "Python/3.6 aiohttp/3.2.1"
127.0.0.1 - - [03/Jul/2018:10:33:25 +0200] "GET http://4242Neb0rion4242.onion/basic_status/ HTTP/1.1" 404 447 "-" "Python/3.6 aiohttp/3.2.1"
127.0.0.1 - - [03/Jul/2018:10:33:32 +0200] "GET http://4242Neb0rion4242.onion/~root/ HTTP/1.1" 404 440 "-" "Python/3.6 aiohttp/3.2.1"
127.0.0.1 - - [03/Jul/2018:10:34:00 +0200] "GET http://4242Neb0rion4242.onion/phpinfo.php HTTP/1.1" 404 445 "-" "Python/3.6 aiohttp/3.2.1"
127.0.0.1 - - [03/Jul/2018:10:34:17 +0200] "GET http://4242Neb0rion4242.onion/server-status HTTP/1.1" 404 447 "-" "Python/3.6 aiohttp/3.2.1"
127.0.0.1 - - [03/Jul/2018:10:34:53 +0200] "GET http://4242Neb0rion4242.onion/basic_status HTTP/1.1" 404 446 "-" "Python/3.6 aiohttp/3.2.1"
127.0.0.1 - - [03/Jul/2018:10:34:53 +0200] "GET http://4242Neb0rion4242.onion/server-info HTTP/1.1" 404 445 "-" "Python/3.6 aiohttp/3.2.1"

Evil crawler & ip spoofing d'une passerelle Tor2Web

Note : il est possible que cet evil bot & evil bridge proviennent de https://zlal32teyptf4tvi.onion.tor2web.org

screenshot_2018-06-24_piwik_evil_crawler_use_IpSpoofing_vs_Hidden_Web_Service_Tor

D'après la présence de l'en-tête X-Tor2Web (placé à 1) se serait une passerelle Tor2Web utilisée par des bots. Peut-être aussi quelques humains bien que cela soit improbable (beaucoup beaucoup beaucoup de logs à checker et ça pue la passerelle Tor2Web dédié au crawling). Le côté étrange est que cette passerelle, via l'header X-Real-IP semble spoofer une IP coréenne. Il n'y a pas de passerelle Tor2Web publique à cette adresse, juste un Synology.

  • Le(s) bot(s) qui transitent par cette passerelle : Ne respectent pas le robot.txt, (c'est le seul fichier qui ne semble intéresser personne venant de cette passerelle) Fakent les referer et fakent les user-agent. Dans iftop on voit bien le tor node par où transitent les datas. Texte du lien

Échantillon de logs :

112.xx.xx.26 - - [24/Jun/2018:20:04:30 +0200] "GET /forum4/viewtopic.php?p=534&sid=decc68a53cb8e28250890067ef475fa5 HTTP/1.1" 200 8429 "http://4242Neb0rion4242.onion/forum4/viewtopic.php?f=99&t=224&p=534&sid=decc68a53cb8e28250890067ef475fa5" "Mozilla / 5.0(Windows NT 6.1; rv:52.0) Gecko / 20170101 Firefox / 52.0"
112.xx.xx.26 - - [24/Jun/2018:20:04:32 +0200] "GET /forum4/viewtopic.php?f=99&t=224&sid=decc68a53cb8e28250890067ef475fa5&view=print HTTP/1.1" 200 3878 "http://4242Neb0rion4242.onion/forum4/viewtopic.php?f=99&t=224&p=534&sid=decc68a53cb8e28250890067ef475fa5" "Mozilla / 5.0(Windows NT 6.1; rv:52.0) Gecko / 20170101 Firefox / 52.0"
112.xx.xx.26 - - [24/Jun/2018:20:04:33 +0200] "GET /forum4/viewtopic.php?p=788&sid=decc68a53cb8e28250890067ef475fa5 HTTP/1.1" 200 6306 "http://4242Neb0rion4242.onion/forum4/viewtopic.php?f=99&t=311&sid=decc68a53cb8e28250890067ef475fa5" "Mozilla / 5.0(Windows NT 6.1; rv:52.0) Gecko / 20170101 Firefox / 52.0"
112.xx.xx.26 - - [24/Jun/2018:20:04:36 +0200] "GET /forum4/posting.php?mode=quote&f=99&p=826&sid=decc68a53cb8e28250890067ef475fa5 HTTP/1.1" 200 3427 "http://4242Neb0rion4242.onion/forum4/viewtopic.php?f=99&t=329&p=826&sid=decc68a53cb8e28250890067ef475fa5" "Mozilla / 5.0(Windows NT 6.1; rv:52.0) Gecko / 20170101 Firefox / 52.0"
112.xx.xx.26 - - [24/Jun/2018:20:04:35 +0200] "GET /forum4/viewtopic.php?p=826&sid=decc68a53cb8e28250890067ef475fa5 HTTP/1.1" 200 6059 "http://4242Neb0rion4242.onion/forum4/viewtopic.php?f=99&t=329&p=826&sid=decc68a53cb8e28250890067ef475fa5" "Mozilla / 5.0(Windows NT 6.1; rv:52.0) Gecko / 20170101 Firefox / 52.0"
112.xx.xx.26 - - [24/Jun/2018:20:04:38 +0200] "GET /forum4/posting.php?mode=reply&f=99&t=329&sid=decc68a53cb8e28250890067ef475fa5 HTTP/1.1" 200 3429 "http://4242Neb0rion4242.onion/forum4/viewtopic.php?f=99&t=329&p=826&sid=decc68a53cb8e28250890067ef475fa5" "Mozilla / 5.0(Windows NT 6.1; rv:52.0) Gecko / 20170101 Firefox / 52.0"
112.xx.xx.26 - - [24/Jun/2018:20:04:37 +0200] "GET /forum4/viewtopic.php?f=99&t=329&sid=decc68a53cb8e28250890067ef475fa5&view=print HTTP/1.1" 200 1527 "http://4242Neb0rion4242.onion/forum4/viewtopic.php?f=99&t=329&p=826&sid=decc68a53cb8e28250890067ef475fa5" "Mozilla / 5.0(Windows NT 6.1; rv:52.0) Gecko / 20170101 Firefox / 52.0"
112.xx.xx.26 - - [24/Jun/2018:20:04:41 +0200] "GET /forum4/posting.php?mode=quote&f=99&p=1129&sid=decc68a53cb8e28250890067ef475fa5 HTTP/1.1" 200 3429 "http://4242Neb0rion4242.onion/forum4/viewtopic.php?f=99&t=523&sid=decc68a53cb8e28250890067ef475fa5" "Mozilla / 5.0(Windows NT 6.1; rv:52.0) Gecko / 20170101 Firefox / 52.0"
112.xx.xx.26 - - [24/Jun/2018:20:04:44 +0200] "GET /forum4/posting.php?mode=quote&f=99&p=1516&sid=decc68a53cb8e28250890067ef475fa5 HTTP/1.1" 200 3428 "http://4242Neb0rion4242.onion/forum4/viewtopic.php?f=99&t=317&p=1516&sid=decc68a53cb8e28250890067ef475fa5" "Mozilla / 5.0(Windows NT 6.1; rv:52.0) Gecko / 20170101 Firefox / 52.0"
112.xx.xx.26 - - [24/Jun/2018:20:04:46 +0200] "GET /forum4/posting.php?mode=quote&f=99&p=1515&sid=decc68a53cb8e28250890067ef475fa5 HTTP/1.1" 200 3429 "http://4242Neb0rion4242.onion/forum4/viewtopic.php?f=99&t=317&p=1516&sid=decc68a53cb8e28250890067ef475fa5" "Mozilla / 5.0(Windows NT 6.1; rv:52.0) Gecko / 20170101 Firefox / 52.0"
112.xx.xx.26 - - [24/Jun/2018:20:04:49 +0200] "GET /forum4/posting.php?mode=quote&f=99&p=809&sid=decc68a53cb8e28250890067ef475fa5 HTTP/1.1" 200 3428 "http://4242Neb0rion4242.onion/forum4/viewtopic.php?f=99&t=317&p=1516&sid=decc68a53cb8e28250890067ef475fa5" "Mozilla / 5.0(Windows NT 6.1; rv:52.0) Gecko / 20170101 Firefox / 52.0"
112.xx.xx.26 - - [24/Jun/2018:20:04:41 +0200] "GET /forum4/viewtopic.php?p=1129&sid=decc68a53cb8e28250890067ef475fa5 HTTP/1.1" 200 8038 "http://4242Neb0rion4242.onion/forum4/viewtopic.php?f=99&t=523&sid=decc68a53cb8e28250890067ef475fa5" "Mozilla / 5.0(Windows NT 6.1; rv:52.0) Gecko / 20170101 Firefox / 52.0"
112.xx.xx.26 - - [24/Jun/2018:20:04:42 +0200] "GET /forum4/viewtopic.php?p=1516&sid=decc68a53cb8e28250890067ef475fa5 HTTP/1.1" 200 9492 "http://4242Neb0rion4242.onion/forum4/viewtopic.php?f=99&t=317&p=1516&sid=decc68a53cb8e28250890067ef475fa5" "Mozilla / 5.0(Windows NT 6.1; rv:52.0) Gecko / 20170101 Firefox / 52.0"
112.xx.xx.26 - - [24/Jun/2018:20:04:47 +0200] "GET /forum4/viewtopic.php?p=809&sid=decc68a53cb8e28250890067ef475fa5 HTTP/1.1" 200 9491 "http://4242Neb0rion4242.onion/forum4/viewtopic.php?f=99&t=317&p=1516&sid=decc68a53cb8e28250890067ef475fa5" "Mozilla / 5.0(Windows NT 6.1; rv:52.0) Gecko / 20170101 Firefox / 52.0"
112.xx.xx.26 - - [24/Jun/2018:20:04:45 +0200] "GET /forum4/viewtopic.php?p=1515&sid=decc68a53cb8e28250890067ef475fa5 HTTP/1.1" 200 9492 "http://4242Neb0rion4242.onion/forum4/viewtopic.php?f=99&t=317&p=1516&sid=decc68a53cb8e28250890067ef475fa5" "Mozilla / 5.0(Windows NT 6.1; rv:52.0) Gecko / 20170101 Firefox / 52.0"
112.xx.xx.26 - - [24/Jun/2018:23:26:38 +0200] "GET /forum4/viewtopic.php?p=828&sid=2a3011eab82001d47958c30cae0e0ffa HTTP/1.1" 200 6631 "http://4242Neb0rion4242.onion/forum4/viewtopic.php?f=74&t=331&p=829&sid=2a3011eab82001d47958c30cae0e0ffa" "Mozilla / 5.0(Windows NT 6.1; rv:52.0) Gecko / 20170101 Firefox / 52.0"
112.xx.xx.26 - - [24/Jun/2018:23:26:40 +0200] "GET /forum4/posting.php?mode=quote&f=74&p=828&sid=2a3011eab82001d47958c30cae0e0ffa HTTP/1.1" 200 3741 "http://4242Neb0rion4242.onion/forum4/viewtopic.php?f=74&t=331&p=829&sid=2a3011eab82001d47958c30cae0e0ffa" "Mozilla / 5.0(Windows NT 6.1; rv:52.0) Gecko / 20170101 Firefox / 52.0"
112.xx.xx.26 - - [24/Jun/2018:23:26:41 +0200] "GET /forum4/posting.php?mode=reply&f=74&t=331&sid=2a3011eab82001d47958c30cae0e0ffa HTTP/1.1" 200 3747 "http://4242Neb0rion4242.onion/forum4/viewtopic.php?f=74&t=331&p=829&sid=2a3011eab82001d47958c30cae0e0ffa" "Mozilla / 5.0(Windows NT 6.1; rv:52.0) Gecko / 20170101 Firefox / 52.0"
112.xx.xx.26 - - [24/Jun/2018:23:26:40 +0200] "GET /forum4/viewtopic.php?f=74&t=331&sid=2a3011eab82001d47958c30cae0e0ffa&view=print HTTP/1.1" 200 1700 "http://4242Neb0rion4242.onion/forum4/viewtopic.php?f=74&t=331&p=829&sid=2a3011eab82001d47958c30cae0e0ffa" "Mozilla / 5.0(Windows NT 6.1; rv:52.0) Gecko / 20170101 Firefox / 52.0"
112.xx.xx.26 - - [24/Jun/2018:23:26:42 +0200] "GET /forum4/posting.php?mode=quote&f=36&p=303&sid=9d7973b4190760d1cbdc67b071b5bab1 HTTP/1.1" 200 3744 "http://4242Neb0rion4242.onion/forum4/viewtopic.php?f=36&t=166&p=303&sid=9d7973b4190760d1cbdc67b071b5bab1" "Mozilla / 5.0(Windows NT 6.1; rv:52.0) Gecko / 20170101 Firefox / 52.0"

Les annuaires Tor

Note : ces annuaires ont été repéré soit grâce aux logs apache2 (via le referer ou l'User-Agent) soit en cherchant l'adresse de l'hidden web service de la Nebuleuse0rion sur les moteurs de recherches.
Rappel : il y a un "Disallow: /" dans le robot.txt, demandant aux crawlers de ne pas indexer Nebuleuse0rion.

AHMIA

screenshot_2018-06-25_Annuaire-Tor_AHMIA

Adresse Web : https://ahmia.fi
Adresse Web Tor : http://msydqstlz2kzerdg.onion
Crawler : oui (code source)
Statu : nocif (non respect du robot.txt (même s'ils prétendent l'inverse, leur bot basé sur scrappy siphonne tout), fake referer)
Github : https://github.com/ahmia
Quand l'annuaire fait son check voici le type de log visible dans apache2. (non exhaustif) 

127.0.0.1 - - [27/Jun/2018:15:44:20 +0200] "GET / HTTP/1.1" 200 1887 "http://msydqstlz2kzerdg.onion/address/" "Mozilla/5.0 (Windows NT 6.1; rv:24.0) Gecko/20100101 Firefox/25.0"
127.0.0.1 - - [04/Jul/2018:04:47:39 +0200] "GET / HTTP/1.1" 200 1887 "https://ahmia.fi/address/" "Mozilla/5.0 (Windows NT 6.1; rv:24.0) Gecko/20100101 Firefox/42.2"
127.0.0.1 - - [04/Jul/2018:18:40:08 +0200] "GET / HTTP/1.1" 200 1887 "https://ahmia.fi/address/" "Mozilla/5.0 (Windows NT 6.1; rv:24.0) Gecko/20100101 Firefox/42.2"
127.0.0.1 - - [05/Jul/2018:10:29:09 +0200] "GET / HTTP/1.1" 200 1887 "https://ahmia.fi/address/" "Mozilla/5.0 (Windows NT 6.1; rv:24.0) Gecko/20100101 Firefox/42.2"

CB3ROB

screenshot_2018-06-25_Annuaire-Tor_CB3ROB

Adresse Web : http://www.cb3rob.org/darknet
Crawler : pas d'infos/non-détecté

Daniels Online-Test

screenshot_2018-06-25_Annuaire-Tor_DanielsOnlineTest

Adresse Web : https://onions.danwin1210.me
Adresse Tor Web : http://tt3j2x4k5ycaa5zt.onion et http://onionsnjajzkhm5g.onion
Crawler : health check
Statu : boaf (ne crawl pas mais index quand même la page d'accueil sans checker le robot.txt)
Quand l'annuaire fait son check voici le type de log visible dans apache2. (non exhaustif)

127.0.0.1 - - [25/Jun/2018:13:58:00 +0200] "GET / HTTP/1.1" 200 2023 "-" "Daniels Online-Test http://tt3j2x4k5ycaa5zt.onion/test.php"

Fresh Onions (EVIL)

screenshot_2018-06-25_Annuaire-Tor_FreshOnions

Adresse Web : https://zlal32teyptf4tvi.onion.to
Adresse Web Tor : http://zlal32teyptf4tvi.onion
Crawler : multiple (code source)
Statu : nocif / evil (soit pas de user-agent soit fake user-agent (opera, safari), non-respect du robot.txt, spam le referer des trackers, non respectueux de la bande passante)
Quand l'annuaire fait son check voici le type de log visible dans apache2. (non exhaustif)

127.0.0.1 - - [28/Jun/2018:04:06:23 +0200] "GET / HTTP/1.1" 200 1887 "http://zlal32teyptf4tvi.onion/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:57.0) Gecko/20100101 Firefox/57.0"
127.0.0.1 - - [03/Jul/2018:14:17:42 +0200] "GET / HTTP/1.1" 200 7042 "-" "Mozilla/5.0 (Windows; U; MSIE 7.0; Windows NT 6.0; en-US)"
127.0.0.1 - - [04/Jul/2018:13:19:45 +0200] "GET / HTTP/1.1" 200 1887 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.1"

Infos additionnelles : il faut ajouter +6 heures à l'horodatage de fresh onion pour avoir l'heure de Bruxelles. Fresh Onion indique le site d'0rion comme Alive le 2018-07-03 13:17:23 (heure de BXL) alors que le dernier crawler était passé à 03/Jul/2018:12:20:01 (heure de BXL). Une demande de retrait a été effectuée et l'auteur de cet evil annuaire refuse de l'effectuer.

OnionLand Search Engine

screenshot_2018-07-01_Annuaire-Tor_OnionLandSearchEngine

Adresse Web : http://3bbaaaccczcbdddz.onion.to
Adresse Web Tor : http://3bbaaaccczcbdddz.onion
Crawler : health check
Statu : boaf (ne crawl pas mais index quand même la page d'accueil sans checker le robot.txt)
Quand l'annuaire fait son check voici le type de log visible dans apache2. (non exhaustif)

127.0.0.1 - - [01/Jul/2018:12:40:00 +0200] "GET / HTTP/1.1" 200 7042 "-" "onionlandsearchengine/1.0 (+http://3bbaaaccczcbdddz.onion/contact)"
127.0.0.1 - - [01/Jul/2018:12:50:11 +0200] "GET / HTTP/1.1" 200 7042 "-" "onionlandsearchengine/1.0 (+http://3bbaaaccczcbdddz.onion/contact)"

  • # Filtre Tor2Web

    Posté par  . Évalué à 3.

    Quel est ce filtre Tor2Web dont tu parles, et comment l'as-tu mis en place ?

    • [^] # Re: Filtre Tor2Web

      Posté par  . Évalué à 2.

      En bannissant les headers http X-Tor2Web via la règle Frontend pour HaProxy suivante :

              tcp-request inspect-delay 5s
        acl bad_gateway hdr_sub(X-Tor2Web) -i 1
        tcp-request content reject if bad_gateway

      • [^] # Re: Filtre Tor2Web

        Posté par  . Évalué à 4.

        Par contre les humains qui passent par un tor bridge Tor2Web ne peuvent plus accéder au site non plus.

        • [^] # Re: Filtre Tor2Web

          Posté par  . Évalué à 3. Dernière modification le 10 juillet 2018 à 09:36.

          Ouais …
          Je trouve d'ailleurs assez étonnant ce genre de pratique de la part d'un utilisateur de LinuxFR… en effet, il me semblait qu'on était plutôt à cheval sur le concept de neutralité du web ici …

          • [^] # Re: Filtre Tor2Web

            Posté par  . Évalué à 3.

            C'est quoi le rapport entre quelqu’un qui décide de ne pas fournir un service sur son serveur, et la neutralité du net?

            Depending on the time of day, the French go either way.

            • [^] # Re: Filtre Tor2Web

              Posté par  . Évalué à 3. Dernière modification le 10 juillet 2018 à 11:45.

              il me semble que le rapport c'est que selon la route qu'a suivi l'utilisateur il a accès au service ou bien il n'y a pas accès

              cela dit, je ne critique pas son choix, il a besoin de protéger les ressources de son petit serveur contre les bots afin que la majorité (?) des "vrais" humains aient accès au service

              les autres humains passant par tor sont des victimes collatérales de son filtre

              les grands principes se heurtent parfois au pragmatisme (ou à l'absence ou la non connaissance de solutions idéales)

              Envoyé depuis mon Archlinux

              • [^] # Re: Filtre Tor2Web

                Posté par  . Évalué à 2. Dernière modification le 10 juillet 2018 à 12:21.

                les autres humains passant par tor sont des victimes collatérales de son filtre

                Ce filtre ne bloque pas les utilisateurs de Tor, il permet uniquement de bloquer les passerelles Tor2Web (servant pour accéder a des Tor Hidden Service sans avoir sois même Tor).
                Ce choix me pertube autant que toi (surtout que le filtre n'est pas invulnérable), pour plusieurs raisons. Mais c'est se qui m'a permis de réactiver le Tor Hidden Service que j'avais du couper (le serveur étant saturé).
                Note quand meme un truc : les passerelles Tor2Web ne sont pas toutes honnête => Don't Use Web2Tor/Tor2Web (especially Onion.cab)

                • [^] # Re: Filtre Tor2Web

                  Posté par  . Évalué à 2.

                  désolé, ma seule expérience de tor se limite à l'utilisation d'un tor-browser et je n'ai même pas pris la peine de vérifier que je pouvais accéder à ton service…

                  Envoyé depuis mon Archlinux

                  • [^] # Re: Filtre Tor2Web

                    Posté par  . Évalué à 1. Dernière modification le 10 juillet 2018 à 15:30.

                    Et bien si tu veux tester :
                    Via Web : https://www.0rion.netlib.re/outils/torInfos.php
                    Via Tor (*1) : http://fr47f6ecynx4dgq6.onion/outils/torInfos.php
                    Pour tester le Tor2Web (*2) qui est bannis, ajoutes simplement .to ou .tor2web.org après le .onion et avant le /

                    Attention que Tor2Web redirige automatiquement vers le vrai Hidden Service s'il détecte que tu es sous Tor.

                    *1 les user agent d'opera et de safari sont bannis
                    *2 que je n'ai pas posté pour éviter que les bots suivent les liens

                    • [^] # Re: Filtre Tor2Web

                      Posté par  . Évalué à 1.

                      via web et via tor, ça passe

                      quand j'ajoute le .to ou le .tor2web.org et que je clique sur le lien "Forum" je suis redirigé vers l'url de départ (sans le .to ou le .tor2web.org)

                      avec un avertissement de sécurité du browser dans le cas du .tor2web.org
                      (je suppose que c'est à cause de l'extension https_everywhere)

                      Envoyé depuis mon Archlinux

                      • [^] # Re: Filtre Tor2Web

                        Posté par  . Évalué à 1. Dernière modification le 10 juillet 2018 à 16:18.

                        quand j'ajoute le .to ou le .tor2web.org et que je clique sur le lien "Forum" je suis redirigé vers l'url de départ (sans le .to ou le .tor2web.org)

                        Comme mentionné dans le message auquel tu réponds, c'est normal.
                        Si la passerelle Tor2Web détecte (via l'IP très probablement) que tu es sous Tor (Tor Browser ou app+Orbot ou Orfox), il te renvoie vers l'adresse Tor plus tôt que de continuer à jouer le proxy. Il fait ceci par soucis de sécurité.
                        Pour passer par la passerelle Tor2Web il faut utiliser un navigateur sans Tor.
                        Si tu essayes, tu remarqueras que ça tourne dans le vide jusqu'à renvoyer une erreur. (car la passerelle ce chope un 403)

                        avec un avertissement de sécurité du browser dans le cas du .tor2web.org
                        (je suppose que c'est à cause de l'extension https_everywhere)

                        C'est leur certificats HTTPS qui n'est valide que pour les .onion.to, pas pour .onion.tor2web.org. Probablement un oubli (ou la flemme) de leur part, ça ne vient pas de https everywhere (il y a une redirection auto de http=>https sur leur site).

              • [^] # Re: Filtre Tor2Web

                Posté par  . Évalué à 8.

                FFS, me suis je exclamé, réveillant le chien qui rêvassait derrière moi.
                J’vois toujours pas le rapport. La neutralité du net c’est grosso merdo demander a ce que les fournisseurs d’accès internet se limitent a faire leur boulot, qui es de fournir de l’accès a internet sans tripoter les bits qui transitent par eux. Ça n’a foutrement rien à voir avec ce que tu décides de faire tourner sur ton serveur. À vous lire on a l’impression qu’à partir du moment ou tu as un serveur, il faut accepter de supporter toute forme de trafic, y compris Gopher over XMPP by way of Carrier Pigeon, sous prétexte qu’il y a deux pelos qui utilisent ça, et qu’ils pourraient hypothétiquement vouloir accéder a ton contenu.

                Depending on the time of day, the French go either way.

                • [^] # Re: Filtre Tor2Web

                  Posté par  . Évalué à 3.

                  d'accord, "dans neutralité du net", il y a "net", donc ça ne concernerait que les tuyaux

                  dans le cas de figure en question, il faudrait plutôt parler de neutralité du WEB, mais ça n'existe peut-être pas car gogole ne me renvoie que des résultats sur la neutralité du NET (même si recherche neutralité du http…) :-)

                  Envoyé depuis mon Archlinux

                  • [^] # Re: Filtre Tor2Web

                    Posté par  (site web personnel) . Évalué à 3.

                    Chacun, sur ses serveurs, fait ce qu'il veut.
                    Un peu comme dans une boite de nuit, il y a généralement un filtrage. Et, toutes analogies ont des limites.

                    Pourquoi bloquer la publicité et les traqueurs : https://greboca.com/Pourquoi-bloquer-la-publicite-et-les-traqueurs.html

                    • [^] # Re: Filtre Tor2Web

                      Posté par  . Évalué à 5.

                      Un peu comme dans une boite de nuit, il y a généralement un filtrage. Et, toutes analogies ont des limites.

                      Oui, les boites de nuit n'ont pas le droit de discriminer suivant certains critères : ethnie, religion, sexe, etc.

                      Chacun, sur ses serveurs, fait ce qu'il veut.

                      Dans l'absolu, pour chaque chose, chacun fait ce qu'il veut. Après, il y a différent code de conduite, auxquels les gens adhèrent, ou pas.

                      Par exemple, député maire LR bien connu se préoccupe autant de la loi que mon ami chinois de l'interdiction de manger du porc, ou que moi d'aller à la messe le dimanche matin.

                      La neutralité du net est une règle importante dans la communauté libriste. Le fait de veiller à ce que les systèmes soient interopérable aussi.

                      Donc, oui, chacun fait ce qu'il veut, c'est une tautologie. Ça dit pas si c'est bien ou mal. Par exemple, les gros hébergeurs mail en ont pas grand chose à foutre des petits, et encore moins des tout petits. Typiquement, c'est vraiment la merde pour envoyer un mail à une adresse M$.

                      C'est leur serveur, ils font ce qu'ils veulent, débat clos ? C'est pas si simple ^

  • # Corrections & ajouts

    Posté par  . Évalué à 1. Dernière modification le 11 juillet 2018 à 14:29.

    L'annuaire CB3ROB possède bien un crawler qui aura mis du temps à se faire remarquer. Le bot est de type Health Check.
    Voici le type de log qu'on peut voir dans apache2

    127.0.0.1 - - [16/Jun/2018:18:57:12 +0200] "GET / HTTP/1.1" 200 1887 " http://darkweb2zz7etehx.onion" "Mozilla/5.0 (Windows NT 6.1; rv:24.0) Gecko/20100101 Firefox/42.2"
127.0.0.1 - - [16/Jun/2018:22:51:41 +0200] "GET / HTTP/1.1" 200 1887 " http://darkweb2zz7etehx.onion" "Mozilla/5.0 (Windows NT 6.1; rv:24.0) Gecko/20100101 Firefox/42.2"
127.0.0.1 - - [17/Jun/2018:04:26:39 +0200] "GET / HTTP/1.1" 200 1887 " http://darkweb2zz7etehx.onion" "Mozilla/5.0 (Windows NT 6.1; rv:24.0) Gecko/20100101 Firefox/42.2"

    On remarque que les logs sont quasi identique a ceux de AHMIA. Il fake un firefox 42 sur Win7 et spam le referer afin de faire sa pub.
    Pour le bloquer, bannissez tout referant contenant "darkweb2zz7etehx.onion".

    L'annuaire possède aussi un lien Tor : http://darkweb2zz7etehx.onion

    Petite correction si les modos sont vraiment motivé (si non osef/pas grave), j'ai cliqué sur la balise lien en lieu et place de la balise image et donc " Dans iftop on voit bien le tor node par où transitent les datas Texte du lien" devrait en réalité affricher une image.

    ![screenshot-2018-06-24-log-apache2-and-iftop](https://image.noelshack.com/fichiers/2018/28/1/1531134023-screenshot-2018-06-24-log-apache2-and-iftop.png)

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.