intro tl;dr: j'ai découvert le c-drama Against the Current. J'ai découvert qu'à la base c'est une web-nouvelle publié en chinois. J'ai trouvé des fan-lations en ligne dont celle là, mais personne n'ayant eu la sympathie de condenser ça en .epub pour lire facilement sur la liseuse.

Du coup, aujourd'hui, on va voir comment automatiser tout ça en moins de 100 lignes de python.

Il vous faut :

• python3
• Selenium webdriver, une lib pour piloter un navigateur web
• (…)

Vous faites chier avec vos trucs genre Anubis qui cassent mes petits scrapers python :(

Là, je voulais gentiment scraper les missions sur le Fandom de Cyberpunk 2077 pour pouvoir faire mon arbre de mission.

Et pouf, on se fait rembarrer parce qu'on utilise pas un vrai navigateur :

$ curl -v https://cyberpunk.fandom.com/wiki/Cyberpunk_2077_Main_Jobs
> Host: cyberpunk.fandom.com
> User-Agent: curl/8.18.0
> Accept: */*
> 
< HTTP/2 403

Dans ces cas là, pas le choix, Selenium WebDriver.

WebDriver est lib multilangage (…)