Pour créer un robot de Web Scrapping, 5 composants sont nécessaires dans la pipeline à construire :
Un composant de type "cron" avec une répétition programmée qui permettra de déclencher le traitement à fréquence constante : toutes les minutes, 2 minutes, 5 minutes …
Un composant de type "curl" pour appeler la page ou la ressource sur le Web que vous voulez vérifier.
Un composant de type "switch" pour vérifier le code de réponse
Un composant de type "grep" pour récupérer le contenu de la page Web ou de la ressource sur le Web.
Un composant de notification (mail) pour vous informer du changement de statut de la page Web.
Le post ci-dessus est une grosse connerie, ne le lisez pas sérieusement.
À noter que si le site a grepperWscrapper est sur le réseau local et que le scrap se produit par plusieurs systèmes, on peu utiliser cf-execd, composant de cfengine.
Celui-ci à l'intérêt de "randomiser" les exécutions pour éviter de s'auto DDoS.
# Comment faire un robot de web scraping en 1 min avec bash
Posté par devnewton 🍺 (site web personnel) . Évalué à 6.
Pour créer un robot de Web Scrapping, 5 composants sont nécessaires dans la pipeline à construire :
Le post ci-dessus est une grosse connerie, ne le lisez pas sérieusement.
[^] # Re: Comment faire un robot de web scraping en 1 min avec bash
Posté par freem . Évalué à 2.
À noter que si le site a grepperWscrapper est sur le réseau local et que le scrap se produit par plusieurs systèmes, on peu utiliser cf-execd, composant de cfengine.
Celui-ci à l'intérêt de "randomiser" les exécutions pour éviter de s'auto DDoS.
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.