Journal POC : Derche, un moteur de recherche pour l'arrière web

Ah Nal,

Je me désolais de l'enshittification du web en général et en particulier des moteurs de recherche, quand on m'a demandé de travailler sur les moteurs d'indexation libre.

OpenSearch, Apache Solr, Bleve, Postgresql… Il en existe beaucoup et pour les tester je me suis lancé dans un petit POC : créer un moteur de recherche pour les "bons" sites, en commençant bien sûr par linuxfr.

Comme j'avais du mal à qualifier ces "bons" sites dont une des caractéristiques est d'être de plus en plus reléguer dans les dernières pages de résultats de Google, Bing et leurs reverses proxys (qwant, duckduckgo…), j'ai fini par trouver le terme arrière web et en déduire un nom qui amuse beaucoup mes douze ans d’age mental : Derche, contraction de Dave et Ch erche.

Architecture

L'architecture est simple:

• des connecteurs dit dercheplugs (un simple batch en Go pour l'instant) qui vont régulièrement récupérer les articles (dépêches, journaux et liens) via les flux atoms de linuxfr et les envoie au moteur d'indexation ;
• pour ce POC, le moteur d'indexation est OpenSearch, le fork amical d'ElasticSearch par Amazon ;
• dercheweb, une webapp en Go avec un frontend en pur html (pas de javascript) et CSS (avec pico, une petite bibliothèque).

Démo

Le code est libre (une petite MIT) bien sûr et j'ai déployé une démo chez OVH en mode devoups avec l'aide d'OpenTofu (le fork amical de Terraform) pour le provisionning d'une machine virtuelle et Ansible pour sa configuration. Ces scripts sont inclus avec le code pour permettre à chacun de monter son propre Derche.

La suite?

Je vais continuer mes expériences, car il reste des fondements à explorer:

• comment reprendre toute la profondeur de l'historique ?
• comment tenir compte des mises à jour (notamment la modération) ?
• quelles sécurisations pour ne pas se faire trouer le slip ?