Lien Créer un Robot 🤖 de Web Scraping 🕸️ en 2 minutes avec Node-Red 🟥

• # Comment faire un robot de web scraping en 1 min avec bash

  Posté par devnewton 🍺 (site web personnel) le 14 février 2021 à 15:42. Évalué à 6.

  

  Pour créer un robot de Web Scrapping, 5 composants sont nécessaires dans la pipeline à construire :

  • Un composant de type "cron" avec une répétition programmée qui permettra de déclencher le traitement à fréquence constante : toutes les minutes, 2 minutes, 5 minutes …
  • Un composant de type "curl" pour appeler la page ou la ressource sur le Web que vous voulez vérifier.
  • Un composant de type "switch" pour vérifier le code de réponse
  • Un composant de type "grep" pour récupérer le contenu de la page Web ou de la ressource sur le Web.
  • Un composant de notification (mail) pour vous informer du changement de statut de la page Web.

  Le post ci-dessus est une grosse connerie, ne le lisez pas sérieusement.

  • [^] # Re: Comment faire un robot de web scraping en 1 min avec bash

    Posté par freem le 15 février 2021 à 16:17. Évalué à 2.

    

    Un composant de type "cron"

    À noter que si le site a grepper^Wscrapper est sur le réseau local et que le scrap se produit par plusieurs systèmes, on peu utiliser cf-execd, composant de cfengine.
    Celui-ci à l'intérêt de "randomiser" les exécutions pour éviter de s'auto DDoS.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.