Crowl, un crawler SEO open-source

Posté par (page perso) . Édité par Nils Ratusznik, Davy Defaud, Benoît Sibaud et palm123. Modéré par Pierre Jarillon. Licence CC by-sa.
39
28
août
2018
Python

Crowl est un projet de développement d’un crawler SEO collaboratif sous licence GPL v3. Développé en Python et basé sur le cadriciel Scrapy, Crowl a pour but de fournir aux professionnels du référencement un outil simple, robuste et innovant pour répondre à des besoins non couverts par les outils actuels.

Wiki [Tuto/HowTo] [PHP] Troller les annuaires du "darknet|"Deepweb"

0
9
juil.
2018

Introduction

Si vous avez un Tor Hidden Web Service, vous avez sûrement déjà croisé le cuivre des crawlers des annuaires qui ont tendance à consommer les ressources machines sans prêter gare. Nous allons voir ici comment mettre en place un script PHP permettant de générer une quantité paramétrable de fichiers rempli de faux noms de domaines Tor et ainsi pourrir les bases de données des robots malveillants.
Si vous ne souhaitez pas punir les robot respectueux, vous pouvez placer vos (...)

Journal Télécharger tous les fichiers PDF d’un site web

Posté par (page perso) . Licence CC by-sa.
15
5
avr.
2018

Il y a quelque temps j'ai eu besoin de télécharger tous les PDF d'un gros site web, et puis d'un autre…

J'ai cherché un moment comment obtenir ce que je voulais avec wget mais sans grand succès, soit wget explore récursivement le site en téléchargeant toutes les pages, soit il ne récupère que les fichiers voulus, mais je n'ai pas trouvé comment associer les deux comportements (et il serait logique que wget ait besoin de télécharger les pages du site (...)

Sortie de Asqatasun v4.0: audit accessibilité web & SEO

16
3
mar.
2016
Internet

Asqatasun est un moteur d'audit de pages web (licence AGPL). Il inclus un crawler permettant de scanner des dizaines de milliers de pages.

Développé en Java/Spring et s'appuyant sur des briques Selenium (Web Driver), le bébé pèse ~500 000 lignes de code. Asqatasun est traduit en 3 langues (français, anglais, espagnol) et la traduction en russe est en cours.

Logo Asqatasun