Weboob 0.e

Posté par  . Édité par baud123, Xavier Teyssier et tuiu pol. Modéré par tuiu pol. Licence CC By‑SA.
Étiquettes :
40
28
jan.
2013
Internet

Weboob (Web Outside Of Browsers) est un ensemble d'applications interagissant avec des sites Web.

Trois mois après la dernière dépêche et peu de temps avant le troisième anniversaire du projet, Weboob 0.e est parue vendredi dernier.

Elle reste sur la lancée de la version précédente avec beaucoup de corrections de bugs et une amélioration des modules existants. On n'oublie pas les nouveautés qui seront détaillées en seconde partie de la dépêche. Avec sept nouveaux sites boobisés, Weboob atteint désormais le nombre de 90 modules !

Sommaire

Nouvelles options pour les applications

Avec l'introduction d'une vérification des certificats SSL dans la dernière version, cette nouvelle option était logique : on peut maintenant désactiver la vérification avec l'option -I. Autre flexibilité, il est possible pour un module de déclarer une liste de certificats, contre un unique choix auparavant (certains sites présentant différents certificats selon des critères difficiles à déterminer).

L'option -e améliore quant à elle le chargement des backends en permettant d'en exclure une liste. Cela évite de trouver par hasard une vidéo du parlement européen en recherchant un programme pour votre soirée.

Modules bancaires

Ils sont une fois de plus à l'honneur, avec l'ajout des modules pour le Crédit Coopératif, Axa Banque, la banque Barclays, la banque Carrefour, Gan Assurances et le Crédit Mutuel du Sud Ouest. C'est maintenant pas moins de 21 sites de banque qui peuvent être accédés grâce à l'application boobank. Autre nouveauté, les modules bancaires peuvent désormais gérer plusieurs monnaies et non plus seulement l'euro.

Pour utiliser toutes ces données, nous avons eu la bonne surprise de découvrir une intégration de Weboob dans le logiciel skrooge. L'équipe Weboob continue elle de proposer un module expérimental pour kmymoney.

Réécriture de l'API pour les sondes

Depuis environ un an, Weboob intégrait une capability de mesure de la hauteur et du débit de fleuves, permettant ce genre de suivis :

http://fourcot.fr/weboob/elbe_dresden-year.png

Cette capability était très spécialisée et a donc été récrite pour être plus générique et gérer tout type de sonde. La gestion des niveaux d'alerte a également été ajouté, ce qui permet d'envisager de gérer des sites comme les alertes au pollen ou le niveau de diverses pollutions.

Petites nouvelles

Une limitation historique sur les lecteurs vidéos a été supprimée, permettant de configurer simplement en indiquant un chemin vers un exécutable. Autre amélioration, on peut désormais passer des options à ce lecteur directement.

Du côté des modules permettant de gérer les factures et abonnements, la date de fin de période pour les abonnements périodiques est maintenant récupérable, permettant de savoir quand la consommation sera remise à zéro. Pour les contrats non-périodiques, la date de validité du crédit est récupérée. Les trois modules d'abonnements téléphoniques ont été mis à jour.

Avenir technique

Le plus grand projet technique de Weboob est probablement la réécriture de la classe Browser. Comme son nom l'indique, cette classe permet de simuler un navigateur et doit simplifier l'écriture de modules, en proposant de nombreux fonctions prêtes à l'emploi. Cet outil reste cependant optionnel, le module CMB, par exemple, ne l'utilise pas.

Actuellement, cette classe est basée sur la bibliothèque Mechanize. À l'usage, cette bibliothèque se relève cependant parfois contraignante, notamment sur la gestion des formulaires ou l'impossibilité de faire proprement du SSL. Nous souhaiterions donc nous en affranchir pour développer de nouvelles fonctionnalités.

C'est pourquoi le projet Browser2 est lancé depuis de nombreux mois. Cette fois-ci, le projet se base sur la bibliothèque Requests qui nous semble prometteuse et plus flexible que Mechanize. Malheureusement, cette bibliothèque ne semble pas toujours pensée pour avoir des utilisateurs sur le long terme. La sortie de la version 1.0 aurait ainsi pu se nommer « Oups, j'ai tout cassé, bon courage ». Sachant la variété de versions de la bibliothèque dans les distributions, il est assez démotivant de tenter de tout réécrire et d'envisager de maintenir toutes les versions pour que Weboob fonctionne partout.

Tout cela explique en partie le retard sur Browser2… Nous envisageons donc pour les prochaines versions de faire une fourchette de Requests, afin de maintenir une version stable correspondant à nos besoins.

Avenir administratif

Weboob grandit et a maintenant des débouchés professionnels. Cela nous impose de réfléchir à un cadre qui n'était pas forcément prévu au départ. C'est pourquoi nous sommes en cours de création d'une association, qui sera chargée de piloter le projet et de protéger la « marque » Weboob, notamment de gérer les sites Internet.

Le site web weboob.org ne changera pas et continuera de présenter le projet, ainsi que la documentation permettant de l'utiliser. En parallèle, le site Web weboob.com va être officiellement lancé et regroupera toutes les entreprises proposant des services autour de Weboob (notamment Budget Insight qui contribue fortement aux modules bancaires de Weboob et propose des services autour de Weboob en plus de l'utiliser en interne).

Avec cette association, le but est de maintenir l'indépendance du projet Weboob sur le long terme et d'éviter tout risque de conflits d'intérêts.

Évènements

Weboob étant un projet communautaire, on peut retrouver ses contributeurs à de nombreux évènements. Nous étions ainsi au 29C3 à Hambourg en fin d'année dernière. On a même pu nous voir à une présentation largement improvisée. Plusieurs d'entre nous serons également en fin de semaine à la FOSDEM, mais nous ne pourrons pas présenter le projet cette fois-ci.

Des soirées entre membres de la communauté sont régulièrement organisées, toujours sur Paris où vivent la plupart des principaux contributeurs. La prochaine sera le 13 février, journée anniversaire du projet. Pour plus d'informations, n'hésitez pas à passer sur le chan IRC #weboob sur le réseau freenode.

Contributeurs

Merci aux contributeurs qui ont participé à cette version :

  • Adrien Kunysz
  • Florent Fourcot
  • Gabriel Kerneis
  • Gilles-Alexandre Quenot
  • Grmbl Frechneu
  • Julien Hebert
  • Kevin Pouget
  • Laurent Bachelier
  • Noé Rubinstein
  • Roger Philibert
  • Romain Bignon
  • Theo
  • Xavier Guerrin

Nous remercions également le contributeur gérant le paquet Weboob pour la distribution Gentoo.

Weboob est un projet qui grossit et qui vit grâce à ses contributeurs. Si vous souhaitez l’améliorer et que vous connaissez le Python, n’hésitez pas à contribuer.

Aller plus loin

  • # Boobs!

    Posté par  (site web personnel) . Évalué à -2.

    C'est pas plutôt pour chercher le web à la recherche de femmes pauvrement vétues (du genre ça) ?

    • [^] # Re: Boobs!

      Posté par  . Évalué à 10.

      Si c'est effectivement une tâche que tu fais de manière répétitive sur des sites mal foutus, Weboob peut t'aider. Mais cela n'engage que toi, à chacun son automatisation des actions répétitives.

    • [^] # Re: Boobs!

      Posté par  (site web personnel) . Évalué à 0.

      Pas mal du tout la madame d'aujourd'hui. :)

    • [^] # Re: Boobs!

      Posté par  (site web personnel) . Évalué à 8.

      Si tu peu aussi t'en servir pour cela, mais
      ce que j'apprécis le plus c'est boobank (depuis le modules axabanque)

      tu tapes boobank puis list et tu sais combien il te restes en banque … magique
      history et tu peu obtenir le détail de ton compte

      et delires d'unixien tu peu faire des trucs dans le style :

      boobank history 0125XXXXXXXXXXX@bnporc -f qif > dump.qif (pour importer dans un autre logiciel
      ou
      boobank history 0125XXXXXXXXXXX@axabanque | grep Free (le virement free est il deja passé ?

      essayes de faire plus simple et conçis.

      tu peu même suivre ton compte grace à munin :)

      Gé-nial

      • [^] # Re: Boobs!

        Posté par  . Évalué à 4.

        À noter sur ce sujet le format de sortie pretty_qif qui peut donner de meilleurs résultats sur certains logiciels (ou selon les goûts et les couleurs, le qif étant un format un peu pourri).

  • # Module Vimeo

    Posté par  . Évalué à 3.

    Juste par curiosité, je me demandais quelle était la difficulté qui fait que la recherche n'est pas possible avec le module pour vimeo ?

  • # ça marche dans Mageia 3 Beta 2

    Posté par  . Évalué à 2.

    Je viens de l'essayer avec le module arte, et ça marche mais:
    - ça propose d'installer le module RTMP de Gstreamer automatiquement, et ça échoue. Il faut contribuer quelques chose pour chaque distri?
    - on ne peut pas enregistrer les vidéos, juste les voir en direct. C'est frustrant!

    ⚓ À g'Auch TOUTE! http://afdgauch.online.fr

    • [^] # Re: ça marche dans Mageia 3 Beta 2

      Posté par  . Évalué à 10.

      • on ne peut pas enregistrer les vidéos, juste les voir en direct. C'est frustrant!

      $ videoob -b arte

      Welcome to videoob v0.e

      Copyright(C) 2010-2011 Christophe Benz, Romain Bignon, John Obbele
      This program is free software: you can redistribute it and/or modify
      it under the terms of the GNU Affero General Public License as published by
      the Free Software Foundation, either version 3 of the License, or
      (at your option) any later version.

      Type "help" to display available commands.

      Loaded backends: arte

      videoob> ls
      ~ (latest) Latest Arte videos (arte)
      videoob> cd latest
      videoob:/latest> ls
      * (1) La malédiction du gaz de schiste - Bande-annonce (arte)
      0:00:31 (0/5)
      * (2) Liban : les réfugiés syriens chrétiens (arte)
      0:02:42 (0/5)
      * (3) Théâtre : "Das Himbeerreich", les banquiers accusés (arte)
      0:01:33 (0/5)
      * (4) Bulgarie : une centrale nucléaire en zone sismique ? (arte)
      0:02:45 (5/5)
      * (5) A Paris, mobilisation des pro-mariage pour tous (arte)
      0:01:47 (0/5)
      * (6) Egypte : l'humour politique en Egypte (arte)
      0:02:33 (5/5)
      * (7) "Personne ne bouge !" - Le Mash Up : "Supoman" (arte)
      0:00:47 (5/5)
      * (8) Personne ne bouge ! - Emission du 27 janvier 2013 … (arte)
      0:02:07 (5/5)
      * (9) Personne ne bouge ! - C’est un scandale! – Tintin au … (arte)
      0:02:41 (5/5)
      * (10) Personne ne bouge ! - Perle Rare – Robert Crumb (arte)
      0:03:20 (5/5)
      videoob:/latest> download 1

      et hop c'est parti !

      • [^] # Re: ça marche dans Mageia 3 Beta 2

        Posté par  (Mastodon) . Évalué à 1.

        Je me suis toujours demandé si la limitation à 10 vidéos était une limitation fixé par weboob ou si c'était le retour de la recherche sur le site d'arte.

        • [^] # Re: ça marche dans Mageia 3 Beta 2

          Posté par  (site web personnel) . Évalué à 2.

          C’est weboob, tu peux modifier ça sur la ligne de commande.

        • [^] # Re: ça marche dans Mageia 3 Beta 2

          Posté par  . Évalué à 3. Dernière modification le 29 janvier 2013 à 18:51.

          Par défaut, les applications Weboob limitent les résultats. Pour changer ça, il faut utiliser la commande count en mode interactif ou l'option -n pour une unique commande.

          Ça donnerait :

          videoob> count 30
          videoob> ls

          ~ (latest) Latest Arte videos (arte)

          videoob> cd latest`

          videoob:/latest> ls
          Admiration devant 30 résultats

          On peut aussi complètement le couper et récupérer l'ensemble des résultats. Un ticket est en cours pour rendre tout ça plus intuitif avec une explication du comportement à l'utilisateur.

  • # question de candide

    Posté par  (site web personnel) . Évalué à 2.

    Le plus grand projet technique de Weboob est probablement la réécriture de la classe Browser.

    Je pensais que le problème de mechanize était la non-gestion du javascript.
    J'avais noté pour contourner ce problème
    * Watir
    * python-spidermonkey
    * selenium
    * spynner

    ウィズコロナ

    • [^] # Re: question de candide

      Posté par  (site web personnel) . Évalué à 3.

      Watir et Selenium requièrent un vrai navigateur, spynner un serveur X. Le 3ème est plus léger mais ne va pas interpréter une page tout seul et j'aurai tendance à penser que quand on sait quel bout de code on veut exécuter, on peut de toute façon le simuler directement en Python.

      En fait, c'est un paradigme très différent : avec weboob on fait des requêtes HTTP, le moins possible, et on sait ce qu'on fait. Dans l'autre cas on a un navigateur qui charge et exécute tout.

      Ceci dit, il y a des modules où ça pourrait être utile d'être moins "bas niveau".

  • # debian.weboob.org

    Posté par  . Évalué à 2.

    le dépôt debian.weboob.org unstable n'est pas mis à jour, il n'est plus utilisé ?
    C'était bien pratique…

    • [^] # Re: debian.weboob.org

      Posté par  . Évalué à 3.

      Le pauvre dépôt s'est retrouvé obsolète pendant un temps, quand Weboob a été intégré à Debian. Il est devenu à ce moment inutile de gérer le même paquet à deux endroits différents.

      Maintenant, c'est effectivement plus utile. On peut imaginer des paquets pour une version "stable" de Debian wheezy (quand elle sera sortie) et des paquets de la version de développement pour testing et unstable. Mais le problème, c'est le temps de s'en occuper, plus qu'une mauvaise volonté. Un truc très bête par exemple, la clef du dépôt est expirée, il va falloir en refaire une.

  • # Numéro de version

    Posté par  (site web personnel) . Évalué à 10.

    Je propose que weboob utilise une numérotation en (. Y .) plutôt qu'un simple n.n

    Ça pourrait donner par exemple : Weboob (₀ Y ₑ)

    Adhérer à l'April, ça vous tente ?

  • # et comme souvent

    Posté par  (site web personnel) . Évalué à 6.

    Weboob grandit et a maintenant des débouchés professionnels.

    un projet démarré pour développer un truc qui n'existe pas (comme on le veut), débouche sur de l'activité professionnelle. Comme Zenitram qui avait repris mediainfo, et plein d'autres.

    ウィズコロナ

  • # Interopérabilité

    Posté par  . Évalué à 0. Dernière modification le 30 janvier 2013 à 08:08.

    Vu la "professionalisation" de Weboob, y a-t-il des avancées sur le support d'autres OS ? (Je pense notamment à MacOSX)

    • [^] # Re: Interopérabilité

      Posté par  . Évalué à 0.

      Je me permet d'ajouter : au vu de ladite professionnalisation, les visuels de boobank seront-ils revus ? 'fin sans connotation sexuelle ça va sans dire…

    • [^] # Re: Interopérabilité

      Posté par  (site web personnel) . Évalué à 3.

      Etant donné que l'utilisation professionnelle est pour l'instant exclusivement côté serveur, pas exposée au client, je pense que ça ne change rien (au moins à court terme).

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.