WebOOB: voir les sites web différemment

Web Out Of Browsers

Weboob (Web Out Of Browsers) est un projet fournissant des applications qui interagissent avec un certain nombre de sites web.

Paru dans sa première version 0.1 après six mois de développement, il supporte treize sites web et propose pas moins de quinze applications (consoles, démons, interfaces graphiques Qt et même pour Nokia N900), permettant de consulter ses comptes bancaires, draguer sur des sites de rencontre, consulter les horaires de train, chercher et visionner des vidéos de sites comme youtube, d'utiliser son client mail pour troller sur DLFP, de chercher des torrents sur les trackers BitTorrent, etc.

Weboob et ses applications sont écrits en Python, à l'aide de la bibliothèque mechanize, et sont publiés sous licence GPLv3.

La seconde partie de la dépêche présente plus en détail les applications, explique l'architecture de Weboob et évoque son futur.
Architecture

Weboob fournit une bibliothèque sur laquelle reposent des backends et des applications.

La bibliothèque définit des capacités : des fonctionnalités communes à une classe de sites web. Par exemple, youtube.com et dailymotion.com sont deux sites d'hébergement vidéo, Weboob définit donc une capacité ICapVideo.

Chaque backend s'interface avec un site web et implémente une ou plusieurs de ces capacités. Les backends peuvent être configurés, ce qui signifie que l'utilisateur final peut fournir des informations personnelles pour accéder au site web (par exemple un nom d'utilisateur et un mot de passe).

Les applications offrent la possibilité à l'utilisateur final de travailler avec plusieurs backends en parallèle, dans un environnement multi-thread. Par exemple, une application pourrait chercher des vidéos sur plusieurs sites d'hébergement.

Les applications sont indépendantes de Weboob et peuvent reposer sur des outils tels que Gtk ou Qt. Elles peuvent également être en console, ce qui est plus adapté pour réutiliser les données extraites du web, dans des fichiers ou à travers des pipes.

Toute la puissance de Weboob réside dans son architecture. Ainsi, dès lors qu'un nouveau backend pour un site web est écrit, chaque application utilisant déjà les capacités qu'il implémente en bénéficiera.

Inversement, une nouvelle application n'a qu'à se concentrer sur le code de son UI, les backends déjà existants faisant déjà tout le boulot.

Sites web

Actuellement, il existe treize backends supportant autant de sites web :

AuM — Site de rencontre “Adopte un Mec” ;

BNPorc — Site de la banque BNP Paribas ;

CanalTP — Site de récupération d'horaires de trains ;

CrAgr — Site de la banque du Crédit Agricole ;

DLFP — Site national du troll ;

FourChan — Site d'échanges d'images ;

Gazelle — Supporte les sites de tracker BitTorrent utilisant le logiciel Gazelle ;

INA — Site d'archives vidéos français ;

Transilien — Site des trains de banlieue parisienne ;

Youjizz — Site de vidéos pour adultes ;

Youporn — Site de vidéos pour adolescents ;

Youtube — Site de vidéos pour attardés ;

YWeather — Site de Yahoo pour récupérer la météo.

Chaque backend implémente une ou plusieurs capacités.

Applications

Sur ces backends reposent les applications suivantes :

 Console :

   boobank — Affichage de ses comptes bancaires ;

havesex — Optimisation de la drague sur des sites de rencontre ;

  traveloob — Recherche d'horaires de transports en commun ;

  videoob — Recherche de vidéos et récupération des méta-données ;

  weboorrents — Un client pour les trackers BitTorrent ;

 wetboobs — Affichage de la météo actuelle et des prévisions.

 Démon :

   monboob — Récupération des messages par courriel, et possibilité d'y répondre. Par exemple, avec le backend DLFP, les dépêches, les journaux et les commentaires sont envoyés régulièrement à une adresse donnée, ordonnés par thread. Il est également possible de poster un commentaire en répondant au mail, ceci afin d'augmenter votre improductivité.

 Téléphone Nokia N900 :

    masstransit — Permet la recherche des gares, puis l'affichage des horaires au départ de celles-ci

 Applications Qt :

    QBoobMsg — Application succincte affichant les messages des sites le supportant sous forme de thread et permettant d'y répondre ;

  QHaveSex — Killer application ayant pour but de gérer la drague sur les sites de rencontre, de l'automatisation de la prise de contact à la gestion du calendrier des rendez-vous, en passant par l'assistance aux échanges de messages, la gestion des lieux de rencontre, les statistiques des performances, etc.

  QVideoob — Recherche et lecture de vidéos

Dépréciation accélérée

De par la nature volatile des sites web, un backend Weboob peut devenir du jour au lendemain non-fonctionnel. La plupart du temps, cela sera dû à un changement de l'architecture du HTML. Il est donc d'une part important de détecter cette dépréciation des backends afin de la fixer rapidement, mais aussi d'autre part de permettre à l'utilisateur de mettre à jour au plus tôt.

La détection se fait grâce à des tests automatisés lancés régulièrement, et il faut compter sur la réactivité du mainteneur du backend pour fixer au plus vite.

Pour ce qui est de rendre disponible ce correctif à l'utilisateur, il a été décidé de sortir une version stable tous les mois.

En revanche, des distributions aux tendances amorphes risquent de ne pas offrir la même réactivité.

Ainsi ont été mis à disposition des dépôts Debian contenant les paquets à jour :

Un dépôt unstable contenant la version stable ;

Un dépôt experimental contenant un nightly build.

Futur

Le développement de Weboob va maintenant se concentrer d'une part sur l'enrichissement du nombre de sites web supportés (Slashdot, allocine, particulier à particulier, covoiturage, etc., ainsi qu'un qui nous tient particulièrement à cœur, Voyages-SNCF, pour automatiser l'achat de billets de trains), la création d'outils facilitant la « boobisation » d'un site web, le support i18n, système de gestion des captchas, et bien d'autres encore.

Plus d'informations

Le site web regorge d'informations, néanmoins il est également possible de passer sur IRC (salon #weboob sur FreeNode) ou de s'inscrire à la mailing list.
Aller plus loin

Site web
(186 clics)

Téléchargement
(25 clics)

Plan de route
(23 clics)

Documentation
(53 clics)

Exemple avec copies d'écran
(259 clics)