Forum Programmation.perl tentatives de web scrapping sur page avec javascript

Posté par  . Licence CC By‑SA.
Étiquettes :
1
14
fév.
2021

Bonjour,
je suis sous UBUNTU18.04 donc avec un Perl 5.26
je cherche à récupérer le contenu d'un tableau rempli par JavaScript. Les données changent quotidiennement et j'ai besoin d'avoir leur somme en fin de mois.

Pour m’entraîner, j'ai construit la page suivante test_recup_javascript.html et je tente de lire la page finale (post JavaScript).
j'ai essayé :
LWP::UserAgent; (pas de gestion du JavaScript)
WWW::Mechanize (); (pas de gestion du JavaScript)
WWW::Mechanize::Firefox; (mais il manque MozRepl plugin de Firefox qui n'existe plus)
WWW::Mechanize::Chrome; (mais il manque des bibliothèque qui ne fonctionnent qu'à partir de Perl 5.30)
Web::Scraper; (qui me donne un contenu avant ajout par JavaScript)
WWW::Scripter; (qui me dit qu'il y a une erreur de syntaxe dans la page

couldn't get script https://s.gstat.orange.fr/lib/gs.js?12126: 500 Can't connect to s.gstat.orange.fr:443 (certificate verify failed) at https://x_lours.pagesperso-orange.fr...avascript.html (generated HTML) at /usr/local/share/perl/5.26.1/HTML/DOM.pm line 496.
SyntaxError: Expected semicolon, '}' or end of line but found ' bouton = ' at https://x_lours.pagesperso-orange.fr...avascript.html, line 38.
pas compris)
Scrappy; (qui me donne un contenu avant ajout par JavaScript)

j'ai besoin d'aide pour trouver une librairie qui me donne la page affichée à l'écran utilisateur et pas son code source …

toute idée sera grandement appréciée

cordialement

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.