L'outil est encore à un stade peu avancé, et nous avons quelques éléments à régler (dont l'affichage plus clair de la base de données créée).
Les données collectées pour l'instant sont celles que l'on trouve dans la base de données, comme expliqué dans votre journal :-)
Nous ajouterons bientôt de nouvelles informations, ainsi qu'un export en CSV pour que ceux qui le souhaitent puissent se passer de MySQL.
Concernant le PageRank, Crowl n'en effectue pas le calcul, mais collecte les données nécessaires pour le faire. Il "suffit" ensuite de créer un graphe du site parcouru à l'aide de la table des liens, pour ensuite calculer le PageRank. Des librairies, comme iGraph ou Networkx en Python par exemple, permettent de le faire en quelques lignes de code. Et ce calcul peut se faire de manière simple (tous les liens ayant le même poids) ou en pondérant les liens (d'où le calcul d'un poids, ici basé sur la hauteur du lien dans le code source de la page source).
[^] # Re: Quelles sont les informations utiles ?
Posté par Julien Deneuville (site web personnel) . En réponse à la dépêche Crowl, un crawler SEO open-source. Évalué à 1.
C'est exactement ça :-)
[^] # Re: bravo
Posté par Julien Deneuville (site web personnel) . En réponse à la dépêche Crowl, un crawler SEO open-source. Évalué à 7.
Bonjour,
Youpee, Crowl respecte par défaut le robots.txt !
Youpee, Crowl possède par défaut un user-agent spécifique !
Youpee, le but d'un crawler SEO c'est d'analyser un site pour le faire progresser et donc de vous faire gagner plus d'argent !
Bonne journée ;)
[^] # Re: Quelles sont les informations utiles ?
Posté par Julien Deneuville (site web personnel) . En réponse à la dépêche Crowl, un crawler SEO open-source. Évalué à 2.
Bonjour et merci pour ce retour d'expérience.
L'outil est encore à un stade peu avancé, et nous avons quelques éléments à régler (dont l'affichage plus clair de la base de données créée).
Les données collectées pour l'instant sont celles que l'on trouve dans la base de données, comme expliqué dans votre journal :-)
Nous ajouterons bientôt de nouvelles informations, ainsi qu'un export en CSV pour que ceux qui le souhaitent puissent se passer de MySQL.
Concernant le PageRank, Crowl n'en effectue pas le calcul, mais collecte les données nécessaires pour le faire. Il "suffit" ensuite de créer un graphe du site parcouru à l'aide de la table des liens, pour ensuite calculer le PageRank. Des librairies, comme iGraph ou Networkx en Python par exemple, permettent de le faire en quelques lignes de code. Et ce calcul peut se faire de manière simple (tous les liens ayant le même poids) ou en pondérant les liens (d'où le calcul d'un poids, ici basé sur la hauteur du lien dans le code source de la page source).
[^] # Re: bravo
Posté par Julien Deneuville (site web personnel) . En réponse à la dépêche Crowl, un crawler SEO open-source. Évalué à 2.
Merci :-)