steph1978 a écrit 3437 commentaires

il faut que du texte soit sélectionné ; le fameux "contexte" dans "menu contextuel" :)

Merci pour ce journal qui m'évoque de bons souvenirs ; crois moi que tu as bien fait de ne pas citer explicitement les sites que tu tentes de démerdifier.

Puppeteer est lourd car il lance un navigateur complet, qu'il pilote. Mais nécessaire quand il faut exécuter le javacript pour construire le DOM. Cependant, le DOM est bien reconstitué à partir de données et souvent, c'est par une requête à un document JSON. Et dans ce cas il suffit de parser le JSON. On démerdifie un max.

D'ailleurs Puppeteer, à la base, n'est pas conçu pour faire du scraping - l'outil de la démerdification - mais pour faire des tests d'UI.

Pour ma part, je m'en suis presque toujours sorti avec curl url/to/json | jq '.path' ou curl utl/to/html | pup 'selector' ou une combinaison des deux. Pour quelques cas, j'avoue, l'enchaînement de requêtes est tellement compliqué que les reconstituer dans un script serait ingérable et là un puppeteer peut sauver le coup.

Je ne peux pas dire si cela suffirait dans ton cas car tu cites pas les sites à démerdifier et tu as bien raison.

Il ne faut pas mettre la première ligne de commentaire. Regarde le git.

j'étais pas sur de devoir modifier mon code, mais si, il faut url -ncoder le texte. J'ai aussi ajouter le fait de supprimer le fragment existant si il y a déjà un.

ça se passe ici

oui, ça peut servir pour utiliser une version patchée d'une extension existante : DL le .xpi, dezip quelquepart, modifie le code et load dans la page debug.

supprimé

J'ai hésité, mais comme tu me le suggère …

Le lien hypertexte (<a href="...">) c'est un peu l'essence du web.
Mais ça a une limite, on ne peut faire un lien que vers le document entier, pas un contenu en particulier.

Il existe depuis longtemps le fragment (URL#text-id) mais il suppose que l'auteur du document ait mis des identifiants sur les sections ; à part sur wikipedia (mediawiki), je ne le vois pas souvent.

Avec cette nouvelle fonctionnalité "text fragment" (#:~:text=), on peut créer des liens vers un morceau de texte arbitraire. Bon je trouve la syntaxe un peu complexe et j'aurai préférer pouvoir faire un lien vers un "css-selector", beaucoup plus prédictible et dont la syntaxe est connue.

Mais ne boudons pas notre plaisir.

C'est vrai que si tu ne connaissais pas le truc avant, ça peut surprendre.

Valeurs actuelles ne parlent pas de valeurs actuelles, mais rétrograde, tout comme la Manif pour tous n'était pas en fait pour tous mais que pour les gens qui ont des "Valeurs actuelles".

TL;DR? […] This blog post is not for you.

J'adore cette introduction : tu veux un TLDR, c'est que t'as rien compris au sujet :D

Hello, Mister President, I'm afraid I have some bad news. I've just been informed that The Internet is not working.

Trop bon aussi

ah bah non en fait.

Cela reste un mystère pour moi…

Vente liée

De changer de navigateur.
Merci ggl pour ce rappel.

J'ai essayé -tune stillimage. Cela ne change pas le résultat - qualité et taille. Cependant, comme on donne à ffmpeg des images statiques en entrée, il applique peut être déjà cette optimisation par défaut dans ce cas.

it works

My bad, j'ai refait l'encodage en libx64 au lieu de mpeg4 et ça prend maintenant 3 minutes mais surtout ça produit un fichier de 16MB avec une qualité top.

Houpi !

J'ai commencé quelques expérimentations.

Une vidéo de 17 minutes. Pesant 390MB, la piste vidéo pèse 381 MB, la piste son en pèse 9MB.
Video: h264, 1920x1080, 2993 kb/s, 29.97 fps
Audio: aac, 96000 Hz, mono, 68 kb/s

Le PDF des 54 slides pèse 8.9MB, transformé en 54 fichiers Jpeg : 4MB.
On pourrait espérer un fichier de 13MB.

J'encode le tout avec ffmpeg en mpeg4, cela prend 1.3min ; le résultat pèse 105MB et la qualité est moins bonne que les jpeg.

Un peu décevant …

Obtenir les images de slides n'est pas un soucis mais merci pour l'astuce.
Par contre l'idée d'utiliser openshot est une bonne piste.

Les projets openshot sont sauvegardés en json et Openshot lui même peut être invoqué en ligne de commande ; à tester si on peut demander le rendu final de cette façon. Il serait alors possible de templatiser le json pour y placer les images, leurs durées, des transitions, et la bande son.

Et cela rejoint un peu le commentaire plus haut : un format vidéo c'est déjà à peu près ce que je recherche.

C'est peut être un chouia moins optimisé que juste images+son mais on doit sur un très bon Pareto.

J'ai eu un peu cette intuition aussi, en y réfléchissant : chaque slide serait finalement une "key frame" (je ne me rappelle plus le terme consacré…) qu'on étire le temps de la narration sur ce slide.

Adobe/Flash repose au cimetière aux côtés de Sun/JavaApplet et MS/Sylverlight ; replacées par les technologies web : HTML + CSS + JS et toutes les API qui vont avec : WebGL, WebRTC, Canvas

Ce sont des technologies pour construire des applications - un lecteur de vidéo en serait une - mais pas des formats.

dans firefox,

• charger la page du formulaire
• faire F12, aller sur l'onglet réseau
• remplir le formulaier et faire submit

La première ligne qui s'affiche dans l'onglet réseau est la requête de soumission du formulaire.
Faire click-droit, "copy as curl", chez moi ça donne:

curl 'https://www.e-chargement.com/identif_badge.Asp' \
  -X POST
  -H 'User-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:131.0) Gecko/20100101 Firefox/131.0'  \
  -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/png,image/svg+xml,*/*;q=0.8'  \
  -H 'Accept-Language: en-US,en;q=0.8,fr-FR;q=0.5,fr;q=0.3'  \
  -H 'Accept-Encoding: gzip, deflate, br, zstd'  \
  -H 'Content-Type: application/x-www-form-urlencoded'  \
  -H 'Origin: https://www.e-chargement.com'  \
  -H 'Connection: keep-alive'  \
  -H 'Referer: https://www.e-chargement.com/identif_badge.Asp'  \
  -H 'Cookie: badge%5Fdiv=6891; ASPSESSIONIDQUBACAAT=FDKMPLPCMIPOBAABEOONALHE; home_url=; parent_entrance=; origurl=; retour_url=; mobiledevice=0; mobiledevice=0'  \
  -H 'Upgrade-Insecure-Requests: 1'  \
  -H 'Sec-Fetch-Dest: document'  \
  -H 'Sec-Fetch-Mode: navigate'  \
  -H 'Sec-Fetch-Site: same-origin'  \
  -H 'Sec-Fetch-User: ?1'  \
  -H 'Priority: u=0, i' \
  --data-raw 'badge_div=6891&badge_number=compte&badge_nom=nom'

Le plus important étant la deuxième ligne - on fait un POST - et la dernière qui donne le format des informations attendue.

En jouant cette commande telle quelle dans un terminal, on retrouve le même résultat que dans le navigateur.

Après, on peut s'amuser à enlever les lignes d'entête (-H) qui paraissent inutiles jusqu'à ce que cela ne marche plus. On peut aussi combiner deux requêtes pour récupérer des cookies si nécessaire. Mais la base est là.

Happy scraping.

pour plus de visibilité.

-gérer les X accès à créer en fonction des X répertoires trouvées.

Je n'ai pas compris cette phrase, c'est quoi "X", c'est quoi un accès ?

J'ajouterai Grub ne sais pas booter sur une partition chiffré.
Ce qui ne doit pas être complétement vrai car il me semble avoir vu un tuto pour le faire.
Quoi qu'il en soit, ce n'est pas nativement prévu dans l'installer Debian ; alors que le chiffrement de "/" l'est.

Bon y a quand même de la pratique : https://www.nocode-summit.org/fr/content/impact-nocode-hackathon et https://www.nocode-summit.org/fr/content/nocoders-games, ça peut être instructif.