Journal Démerdifier le web avec Unmerdify et Offpunk

Posté par  (site web personnel, Mastodon) . Licence CC By‑SA.
Étiquettes :
23
1
déc.
2025

Vous le savez certainement, beaucoup de choses autour de nous se merdifient :

https://ploum.net/2023-06-15-merdification.html

Et le Web ne fait pas exception. C’est même plutôt devenu la norme : chaque site web semble vouloir enfouir son contenu dans des centaines de liens, de kilooctets de javascript, de pubs, d’espionnage.

On peut évidemment se concentrer sur le "small web/smolnet" :
https://tcrouzet.com/2025/11/16/smolweb-smolnet/

Voire, pour les plus aventureux, sur le protocole Gemini:
https://ploum.net/gemini-le-protocole-du-slow-web/index.html

Mais c’est dommage de se passer de plein de contenus vraiment pertinents et pourtant enfouis dans leur merdier.

C’est ici qu’intervient l’utilitaire "unmerdify", créé par Vincent Jousse.
https://codeberg.org/vjousse/unmerdify/

Unmerdify se base sur une série de règles maintenues par la communauté et, au départ, créées pour instapaper. Chaque domaine possède des transformations XSLT pour extraire le contenu correct en supprimant la "merde", ou, pour le moins, ce qui n’est pas très utile/central.

https://github.com/fivefilters/ftr-site-config

Vous pouvez y contribuer, il n’y a pas encore de règles pour linuxfr par exemple.

Tout seul, unmerdify n’est pas très utile.

C’est pourquoi, en coopération avec Vincent, j’ai intégré Unmerdify dans Offpunk.

Offpunk est un navigateur en ligne de commande:
https://offpunk.net/

Pour se lancer avec offpunk, il suffit de l’installer, de lancer la commande "offpunk" puis "tutorial". (les retours et contributions sont bienvenues)

Jusqu’à présent, pour tenter d’extraire du contenu d’une page web, offpunk utilisait la librairie "readability". Readability utilise un algorithme statistique. Cela veut dire qu’il considère que, par défaut, le contenu intéressant d’un page est une fraction de la page. Et que s’il y a beaucoup de liens, ce sont sans doute des pubs.

Paradoxalement, un site bien fait avec le contenu au centre va donc être agressivment réduit par Readability. C’est le cas de mes billets de blog où, par exemple, des billets "en vrac" de Tristan Nitot sur le Standblog. De plus, readability n’est pas vraiment maintenu.

Le but est donc de remplacer Readability par Unmerdify dans Offpunk. La fonctionnalité est dans TRUNK depuis aujourd’hui.

https://lists.sr.ht/~lioploum/offpunk-devel/%3C176459371683.7.10565078656826518034.1039550217@ploum.eu%3E

Pour l’activer, il faut d’abord avoir une copie locale du ftr-site-config:

$ git clone https://github.com/fivefilters/ftr-site-config

puis le dire dans offpunk:

$ offpunk
ON> set ftr_site_config /path/to/my/ftr-site-config

Et voilà.

Pour ne pas avoir à retaper cette commande à chaque démarage, on peut bien entendu la mettre dans son offpunkrc

Cerise sur le gateau, il est également possible d’utiliser unmerdify tout seul en ligne de commande, tout comme les autres composants de Offpunk:
- netcache (un curl/wget qui garde les données en cache de manière permanente)
- ansicat (une commande cat qui fait un joli rendu dans le terminal des fichiers HTML/RSS/Atom/Gemtext/Gophermap et même les images)
- opnk (un "open" universel qui fait le rendu automatiquement ou trouve le meilleur logiciel pour afficher un contenu particulier)

Bref, si vous avez envie de tester offpunk/unmerdify, je suis preneur de vos feedbacks.

Et n’hésitez pas à poster sur la mailing-liste utilisateurs, que ce soit des questions, des retours ou des idées.

https://lists.sr.ht/~lioploum/offpunk-users

  • # Interface graphique

    Posté par  (site web personnel, Mastodon) . Évalué à 10 (+11/-0).

    J’oubliais de préciser qu’il est tout à fait possible d’imaginer une interface graphique basée sur offpunk pour permettre aux gens n’aimant pas la ligne de commande de naviguer sur un web démerdifié. Une de mes étudiantes à réalisé un prototype.

    Mes livres CC By-SA : https://ploum.net/livres.html

  • # Pour chaque site ?

    Posté par  . Évalué à 5 (+3/-0).

    Hello,
    Lu vite, si j’ai bien compris créer un fichier de config, site après site.
    Au final on fait le boulot d'indexation des crawlers des moteurs de recherche d'antan.

    Quitte à me faire taper dessus: combattre le mal par le mal ; des agents LLM qui iraient faire ce boulot à notre place (crawl liste> grep structure; echo fichier)

    Cela dit j'aime bien l'idée de la couche d'abstraction sur le contenu pur, ça a peut être une dénomination ? Après tout des pâquerettes peuvent naître du fumier.
    Mes 2 cents.

    • [^] # Re: Pour chaque site ?

      Posté par  (site web personnel, Mastodon) . Évalué à 9 (+7/-0).

      Oui, c’est pour chaque site. Mais s’il n’y a pas de règle, offpunk retombe par défaut sur Readability.

      Il y a déjà plus de 2000 sites sur ftr-site-config et c’est surtour pour les plus merdifiés que c’est intéressant.

      Mes livres CC By-SA : https://ploum.net/livres.html

  • # démerdifier linuxfr??

    Posté par  . Évalué à 10 (+10/-0).

    Vous pouvez y contribuer, il n’y a pas encore de règles pour linuxfr par exemple.

    Il y a quoi à démerdifier sur linuxfr?

  • # XSLT, ça alors

    Posté par  . Évalué à 7 (+5/-0).

    c'est dingue, ça marche encore

    ===>[]

    "Si tous les cons volaient, il ferait nuit" F. Dard

    • [^] # Re: XSLT, ça alors

      Posté par  . Évalué à 9 (+7/-0). Dernière modification le 02 décembre 2025 à 12:19.

      HTML n'ayant pas fondamentalement changé ces dernières années, il y a peu de raison que XSLT ne fonctionne plus.

      Ce qui a probablement beaucoup changé, c'est que le DOM est produit par du JavaScript côté client.

      Mais si tu es dans un navigateur, il suffit d'attendre qu'il ait exécuté le JS pour travailler sur le DOM résultant.

      En fait, le gros intérêt d'utiliser XSLT dans le moteur, c'est de pouvoir utiliser des XPath dans les fichiers de configuration.

  • # unmerdify vs mode lecture

    Posté par  . Évalué à 3 (+1/-0).

    Quel est l'avantage de unmerdify par rapport au mode lecture de Firefox ?

    aussi sur le salon xmpp:linuxfr@chat.jabberfr.org?join

    • [^] # Re: unmerdify vs mode lecture

      Posté par  (site web personnel, Mastodon) . Évalué à 2 (+0/-0).

      Le mode lecture de Firefox utilise probablement Readability (ou similaire). Voir le contenu du journal qui explique exactement ça.

      Mes livres CC By-SA : https://ploum.net/livres.html

      • [^] # Re: unmerdify vs mode lecture

        Posté par  (site web personnel, Mastodon) . Évalué à 2 (+0/-0).

        Il faudrait regarder (et décoder/comprendre) le code du navigateur pour savoir :)
        Mais de mon expérience, ça fait une analyse de DOM (après tout, c’est un butineur et il y a déjà tout le nécessaire pour cela) ; raison pour laquelle ça ne le propose pas pour tous les sites… (j’ai l’impression qu’il faut être HTML5 full compliant avec html>body>main/section/article/… …mais peut-être qu’effectivement ça bascule sur Readability pour pour du HTML plus crade ?) Ensuite, ça applique une feuille de style propre (et non celle de la page).

        “It is seldom that liberty of any kind is lost all at once.” ― David Hume

      • [^] # Re: unmerdify vs mode lecture

        Posté par  (Mastodon) . Évalué à 3 (+0/-0).

        Par contre le contenu du journal annonce que Readability n'est plus maintenu ce qui n'est pas le cas:
        https://github.com/mozilla/readability/commits/main/

      • [^] # Re: unmerdify vs mode lecture

        Posté par  . Évalué à 2 (+0/-0).

        Comme par ailleurs tu dis :

        Paradoxalement, un site bien fait avec le contenu au centre va donc être agressivment réduit par Readability. C’est le cas de mes billets de blog

        le mode de lecture de firefox devrait mal fonctionner sur ton blog, or il me semble que ce n'est pas le cas (mais je regarde peut-être mal)

Envoyer un commentaire

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.