Journal Weboob - Web out of Browsers - l'outil qui a changé ma vie

Posté par  . Licence CC By‑SA.
47
22
nov.
2011

Sommaire

Monjour, nal !

Aujourd'hui, si je prends ma plume numérique, c'est pour te parler d'un soft. Ce soft, nous ne le connaissons pas. Ni vous ni nous (oh le petit chat).

Il s'agit de weboob.

Weboob, koitesse ?

Weboob, comme son petit nom l'indique, permet d'accéder au web en dehors des navigateurs Web. Ça c'est pour la description. Concrètement, comment ça se passe ?

Pour les décideurs pressés

Weboob - Web Out Of Browsers - permet d'interagir avec plein de sites Web facilement, en ligne de commande ou bien via une GUI, au choix.

On peut par exemple récupérer ou regarder les vidéos sur les sites supportés (arte, canal+, dailymotion, France Télévisions, INA, Youjizz, Youporn et Youtube pour le moment).

On peut faire la même chose avec des fichiers audio (franceinter, LeMouv, Nova et OuiFM pour le moment).

On peut également gérer des comptes sur des sites Web, gérer des comptes bancaires, utiliser des wikis (lecture, édition, getsion des révisions), poster des messages, rechercher des torrents, recevoir le la météo etc.

Bref, des choses que l'on peut faire dans un navigateur, mais sans la nécessité de démarrer un navigateur (la RAM vous dit merci), automatisable simplement (cf le plugin munin plus bas), pluggable facilement (cf mutt plus bas), accessible (un handicapé moteur pourra se connecter au site de sa banque sans passer trois heures à viser ces putains de chiffres avec une souris qu'il lui est difficile de maitriser), sûr (si j'ai envie de consulter mes comptes depuis un endroit bondé de monde disposant de wifi, je n'ai pas spécialement envie que quelqu'un me voie taper mon code, dans boobank, la zone de saisie est masquée). Bref en un mot "mieux".

Pour les gens qui ont un cerveau

Weboob permet d'interagir avec plein de sites. Mais comme chaque site est différent, il faut un backend pour chaque site. Mais globalement, plein de sites sont proches. Regarder un compte en banque sur le site la bnp se fait globalement de la même manière que sur celui du crédit agricole, de la banque postale ou de n'importe quel autre. Et regarder une vidéo sur les sites de canalplus, youtube ou arte nécessite globalement de faire les mêmes actions.

Pour simplifier tout ça, weboob est composé d'applications qui implémentent de capabilities qui sont gérés par des backends.

Bon ok dit comme ça, ça ne parait pas très clair. Prenons des exemples.

Exemples

La théorie

Comme dit plus haut, gérer un compte en banque, ça se fait globalement pareil sur tous les sites des banques. Il existe donc une capability CapBank. Cette capability définit des ensemble d'actions communes à des backends (les sites des banques disposant d'un backend). C'est à dire que le backend bnp, tout comme le backend SG (mon préféré) devraient se comporter pareil. En pratique, ce n'est pas toujours le cas malheureusement. Certains backends n'implémentent pas certaines fonctionnalités. La faute aux sites plus abscons les uns que les autres, sans API, qu'il faut se parser à la main.

Et pour utiliser ces backends disposant de la capability CapBank, il faut utiliser une application implémentant cette capability. C'est le boulot de boobank. boobank list va lister tous mes comptes. Après on peut aussi faire des choses bien plus compliquées : grapher ses comptes dans munin, prévoir des virement automatiques quand un compte qui ne rapporte pas se remplit (vers un compte qui rapporte donc), prévoir des alertes par sms quand ça s'approche trop de zéro (et pourquoi pas un transfert automatique).

Bon j'avoue, je tease un peu. Tout n'est pas encore possible.

Un autre exemple, plus simple.

Si je cherche une vidéo, je peux utiliser l'application videoob (cli) ou QVideoob (gui). Ces deux applications permettent d'utiliser les backends disposant de la capability CapVideo (arte, canal+, dailymotion, France Télévisions, INA, Youjizz, Youporn et Youtube pour le moment). Si je veux récupérer le dernier bref¹, je peux lancer videoob, puis taper "search bref" et "download #id" (en fonction de la dernière liste retournée). Si j'utilise gnome, qui est un outil de nazis de l'interface, j'aurais probablement envie de récupérer le dernier documentaire sur Hitler super bien fait. Mais je ne sais plus si c'est sur canal+, arte ou FranceTV. Pas grave. Comme j'ai loadé tous les backends des chaines de télévision, videoob me proposera automatiquement ce qu'il trouve sans que je me pose des questions.

¹ D'ailleurs ce merveilleux outil pourrait même simplifier la vie de certaines personnes (qui en plus ont des compétences en python, exactement ce qu'il faut pour contribuer à weboob).

Dernier exemple :

Supposons que j'utilise un site communautaire francophone (mais de classe américaine) dédié aux news sur les produits Apple pour troller^W débatre de sujets divers et variés tels que l'évolution des moulins, le comique de répétition, l'espérance de vie de l'évêque de Rome ou encore le déblocage des claviers.

On pourrait imaginer qu'il existe des capabilites pour interagir avec ce site. Par exemple CapContent qui permettrait de gérer des contenus avec révisions (pour les wikis donc), CapMessages permettrait de recevoir des contenus et http://weboob.org/CapMessagesPost permettrait d'y répondre.

On pourrait faire implémenter ces capabilities message à une application BoobMsg qui se présenterait comme le vénérable mail(1).

On pourrait aussi se dire que des outils plus récents de mail existent. Genre mutt (qui pue moins que les autres clients mail). Dans ce cas on utiliserait un démon qu'on pourrait appeler Monboob. Ce qui permettrait de lire les threads dans le puissant et ultra scriptable mutt. Ce qui est cool aussi, c'est que seuls les messages effectivement lus seraient marqués en tant que tels. Alors que le site en question marquerait comme lus tous les messages de la page (re)chargée. Et puis pour les grosses pages de débat enflammé, ça économiserait probablement beaucoup de ram.

Bon tout ça, c'est bien gentil, mais en pratique, comment qu'on fait pour l'utiliser ?

La pratique

Installer weboob

Tout est expliqué dans la documentation. On rajoute les repos de sa distrib, on lance les commandes de mise à jour et ça tourne.

Il est également possible de récupérer des tarballs ou de cloner un repo git (branche stable ou développement).

Configuration

Pareil, tout est décrit dans la documentation. Cependant, je n'utilise pas les méthodes décrites. Je n'utilise pas weboob-config pour configurer tous mes backends. Je le fais au cas par cas. Par exemple, j'utilise videoob, que je lance en mode interactif. Ensuite j’utilise les commandes "backend add/enable $backend". Avec l'autocomplétion sur les commandes, c'est le bonheur intégral.

Pour ce qui est de munin, je vous laisse vous référer à la page dédiée citée plus haut. De même pour utiliser votre site préféré dans mutt.

Teasing

Ok, Nal, c'est le moment de se projeter dans l'avenir (pas trop fort hein). Prend une grande respiration et ferme les yeux.

Imagine que demain, les principaux sites que tu utilises soient weboobisés :

  • Tous les sites sur lesquels tu as des comptes permettant de poster des messages sont dans mutt (dont applefr.org et slashdot).
  • Tes bugs reports (de trac à bugzilla en passant par mantis, ainsi que l'incontournable Debian BTS) sont rédigés sous vim et envoyés directement à l'appli via weboob.
  • Toutes tes vidéos (avec plein d'autres sites supportés, genre koreus, vimeo, metacafe, l'Assemblé nationale, LCPan, le parlement européen, les autres chaines de télévision (et de radio) etc.), sont dans un dossier "à voir", peut être un jour. Tu as l'esprit tranquille. Il n'est plus nécessaire d'avoir 20 onglets avec des vidéos (dont tu suspectes la moitié des vidéos d'être un truc à base de lolcat). Plus besoin de se taper ces messages stupides de sites à la con style « Ah ah bouffon, tu n'as pas le dernier flush de la daube, t'es trop con » (fonctionne aussi avec Civet de Blattes de petimou). Plus de "Ah ah, sale pauvre avec ton FireFox moisi, j'implémente peut être la balise vidéo, mais sans H.264, tu peux aller te faire enculer » ou la version « Ah ah, pauvre con de bourgeois avec ton Safari de riche, tu as peut etre payé une mine d'or ta bouse, mais moi c'est du WebM ma vidéo alors tu l'as dans le cul ». Nan, on s'en branle de tout ça. On downloade la vidéo, et on la regarde si on a le codec dans le système, comme ça aurait toujours du être. Pourquoi pas également payer ses impôts en ligne (de commandes !), chercher des lois, amendements, décrets, sur legifrance, sur le site du sénat et de l'AN et au Parlement Européen, etc.
  • Plus jamais besoin d'utiliser la souris pour consulter ses comptes. Tous les comptes sont automatiquement graphés dans munin, nagios, zabbix, icinga etc. Ils sont également importés dans grisbi, gnucash ou autre.

Alors franchement, Nal, ça ne fait pas envie ?

Avoue !

Contribuez

Bon tout ça, on en est encore loin, même si on peut déjà faire des choses magnifiques avec weboob.

Alors, mon cher Nal, si tu as des compétences en python et que tu utilises un site qui n'a pas encore de backend, n'hésite plus, tu as trouvé ta vocation. Tout est marqué ici : [http://weboob.org/How_to_contribute].

Sinon il y a parfois des Boobathons, c'est à dire des rencontres de geeks dont le but est de faire le plus de backends possible le plus rapidement possible. Il n'y en a pas encore de prévu, mais j'espère que ça ne va pas tarder.

Sinon, à défaut, tu peux toujours en parler autour de toi, rapporter des bugs, créer des paquet pour ta distrib préférée, ou pousser pour qu'elle le soit¹.

¹ Si ta distribution en question est Debian, et surtout si tu es impliqué dans le projet, peut etre pourras-tu aider à faire rentrer le paquet dans la distribution. Un ITP a été fait. Un message a été envoyé sur la liste debian-mentors (ce qui me semble être la liste adéquate). Le message n'a eu que deux réponses, l'une pour dire qu'il y aurait peut être des modifications à apporter pour que le paquet soit accepté, l'autre pour dire que pas sûr en fait. L'auteur original a demandé plus de détails et la discussion s'est arrêté là (depuis plus de 6 mois). Bref, quiconque a une idée de la manière de faire avancer les choses est le bienvenu.

Jounal honteusement rédigé sous vim et posté sous Firefox. Mais promis, demain j'arrête^W je me mets à Monboob

  • # On dit « daycideur pressé »

    Posté par  . Évalué à 3.

    Sinon, je pense que c'est un beau projet mais ne sommes nous pas en train de créer un Internet over Web. Parce que a priori il existe des protocoles très bien pour le banking et autre.
    Bon, je sais, on est pas vendredi.

    • [^] # Re: On dit « daycideur pressé »

      Posté par  (site web personnel) . Évalué à 8.

      Sinon, je pense que c'est un beau projet

      Une petite faute d’inattention sans doute, ça arrive. Tu as écrit « beau », mais tu voulais probablement dire « merveilleux ». Et je ne peux qu'être d'accord avec toi.

      mais ne sommes nous pas en train de créer un Internet over Web

      Je n'ai pas l'impression.

      Les boite qui créent ces sites font du Web over Web. Là, c'est juste du Web classique, mais sorti des navigateurs Web.

      Les sites des banques, à ma connaissance, ça a toujours été du Web, de même pour les sites de rencontre, les sites de rattrapage vidéo, les sites d'intinéraire etc.

      Par contre, si demain il y a des backends pour roundcube, squirrelMail, IMP et zimbra avec les capabilities CapMessages et CapMessagesPost, alors là, oui, ça serait très con. On aurait du mutt over Weboob/MonBoob over webmail over serveur mail au lieu d'utilier le serveur imap directement.

      Parce que a priori il existe des protocoles très bien pour le banking et autre.

      Je ne doute pas qu'il existe des protocoles pour que les banques se parlent entre elle (et heureusement, sinon on serait un peu emmerdés), mais tu es en train de me dire qu'il existe des protocoles dédiés à la gestion des comptes en banque pour les particuliers ? Genre dans une RFC toute propre et tout ? Et que ça serait simple à faire implémenter par ta banque ?

      J'en doute fort.

      • [^] # Re: On dit « daycideur pressé »

        Posté par  (site web personnel) . Évalué à 3.

        Par contre, si demain il y a des backends pour roundcube, squirrelMail, IMP et zimbra avec les capabilities CapMessages et CapMessagesPost, alors là, oui, ça serait très con.

        Ben pas forcément : si ton fournisseur ne file pas IMAP, ça serait très utile au contraire.

        mais tu es en train de me dire qu'il existe des protocoles dédiés à la gestion des comptes en banque pour les particuliers ?

        Pour les particuliers, non, mais pour les pros oui. Mais c'est pas sur les comptes de particuliers.

        Je crois que dans ton message il y a un mélanges des genres, entre ce qu'on est capable de faire (comme dit dans la présentation Weboob, Weboob ne devrait pas exister) et ce qui est disponible (le palliatif au manquement du truc en face)

        Même si une RFC existait, ce ne serait pas le problème, le problème serait que la banque n'utilise pas la RFC.

        Bref, Weboob est un palliatif, et à ce titre il créé rien over rien, il fait comme il peut ce qui devrait être facilement faisable.

        • [^] # Re: On dit « daycideur pressé »

          Posté par  (site web personnel) . Évalué à 5. Dernière modification le 23 novembre 2011 à 01:29.

          Par contre, si demain il y a des backends pour roundcube, squirrelMail, IMP et zimbra avec les capabilities CapMessages et CapMessagesPost, alors là, oui, ça serait très con.

          Ben pas forcément : si ton fournisseur ne file pas IMAP, ça serait très utile au contraire.

          Ce n'est pas antinomique.

          Ça peut être très con et utile.

          Par exemple dans le cas de voilà mail. Ces abrutis ne fournissent pas d'IMAP. Dans ce cas, effectivement un backend voila serait utile. Mais ça serait très con (de ne pas avoir d'IMAP).

          Je crois que dans ton message il y a un mélanges des genres, entre ce qu'on est capable de faire (comme dit dans la présentation Weboob, Weboob ne devrait pas exister) et ce qui est disponible (le palliatif au manquement du truc en face)

          Je ne penses pas. Reprenons la phrase à laquelle je répond :

          ne sommes nous pas en train de créer un Internet over Web.

          Je ne suis pas tout à fait convaincu. La phrase laisse penser qu'on enferme tout le Net dans le Web. Mais ce n'est pas le cas.

          Dans le cas de la banque toujours, il n'a jamais existé, à ma connaissance, d'API, de RFC, de protocole ou n'importe quoi en direction des particuliers. Les banques ont développées des interfaces web, c'est leur droit.

          Dans le cas des vidéos de canalplus, on récupère, certes, les information sur le site Web, mais les vidéos sont récupérées en RTMP.

          À côté de ça, il est toujours possible de poster sur des newsgroups sans passer par news.google.fr ou de recevoir du mail via de l'IMAP, sans passer par un webmail etc.

          Donc je ne suis vraiment pas convaincu par cette idée qu'on est en train de créer un Internet over Web.

          • [^] # Re: On dit « daycideur pressé »

            Posté par  (site web personnel) . Évalué à -1.

            On ne s'est pas compris : je dis juste que tu mélanges (toujours) normes et disponibilité.

            Le fait que ce soit pas normé n'est qu'un détails (si ils veulent, ils pourraient). Ce n'est pas la question de normes. C'est la question "est-ce que les données sont disponibles en version lisible par une machine" (normée ou pas)? Si la réponse est non, on passe par l'interface humaine (on "triche") pour récupérer les données.

            Mais bon, c'est du détail.

      • [^] # Re: On dit « daycideur pressé »

        Posté par  . Évalué à 10.

        Y'a quand même une remarque générale qu'on peut faire, c'est qu'il est dommage de passer par des capabilities alors quand il existe des protocoles et formats déjà tout prêts.

        Actuellement le schéma c'est:

        • Site qui pue => backend => capabilitie => Boobapplication qui gère la capabilitie.

        J'aurais plutôt vu un truc du genre:

        • Site qui pue => backend => format/protocole standard => ce que je veux.

        Exemple, l'ensemble des sites vidéos pourrait être regroupés sous la forme d'un "UPnP MediaServer", lequel serait immédiatement exploitable avec l'ensemble des lecteurs vidéos gérant ce protocole. Pas juste Qvideoob.

        Idem pour les banques, y'a déjà des protocoles standards qui existent (si si), ça permettrait à une appli de gestion bien foutue d'attaquer directement le backend.

        Pour les sites avec topic+commentaire (TrollFR, journaux en ligne), hé bien NNTP est totalement parfait dans ce rôle. Du coup le backend pour ces sites se résumerait à un serveur NNTP local.

        Bref, je pense que tu saisis l'idée. Ceci dit: Weboob c'est vraiment, vraiment génial comme idée, faut que je teste et que je contribue. Plussun et tout ça.

        THIS IS JUST A PLACEHOLDER. YOU SHOULD NEVER SEE THIS STRING.

        • [^] # Re: On dit « daycideur pressé »

          Posté par  (site web personnel) . Évalué à 6.

          Actuellement le schéma c'est:

          • Site qui pue => backend => capabilitie => Boobapplication qui gère la capabilitie.

          J'aurais plutôt vu un truc du genre:

          • Site qui pue => backend => format/protocole standard => ce que je veux.

          Non, il y a les deux.

          Par exemple, pour les sites supportés par CapMessages(Post), on a :
          - linuxfr (qui sent bon) -> backend linuxfr -> CapMessages(Post) -> boomsg

          Mais on peut aussi avoir
          - linuxfr (qui sent bon) -> backend linuxfr -> CapMessages(Post) -> Monboob -> MTA -> MUA.

          Dans ton exemple, Monboob remplit exactement ton étape « format/protocole standard ». Derrière tu peux mettre le MTA et le MUA que tu veux.

          La différence, c'est que Monboob lance un démon et que boomsg n'est qu'une simple application interactive.

          On pourrait même dire que cette étape peut être réalisée par un format texte/csv. C'est ce qui est fait pour le plugin munin. Mais c'est tout aussi simple de faire la même chose avec Nagios, zabbix ou n'importe quoi d'autre.

          Exemple, l'ensemble des sites vidéos pourrait être regroupés sous la forme d'un "UPnP MediaServer", lequel serait immédiatement exploitable avec l'ensemble des lecteurs vidéos gérant ce protocole. Pas juste Qvideoob.

          Ok je vois ce qui t'ennuie. Je ne connais pas Qvideoob. Je ne me suis intéressé qu'aux outils console. Moi j'utilise videoob. Avec ça, je peux soit downloader la vidéo en question, puis la regarder dans le lecteur que je veux, soit la lire (par défaut dans mplayer, mais c'est configurable il me semble). Je me risquerait à penser que Qvideoob permet la même chose (je n'irais pas jusqu'à tester par contre).

          Bref, tu n'es pas enfermé dans l'application. Tu peux utiliser le player que tu souhaites derrière. Par contre, pour le passage « UPnP MediaServer », je n'ai aucune idée de ce dont il s'agit (la flemme de me documenter à deux heures du mat'), mais si tu penses que ça apportes quelque chose, il n'est pas interdit de proposer une application semblable à Monboob qui se lancerait en tâche de fond et qui serait complémentaire des applications interactives existantes.

          Pour les sites avec topic+commentaire (TrollFR, journaux en ligne), hé bien NNTP est totalement parfait dans ce rôle. Du coup le backend pour ces sites se résumerait à un serveur NNTP local.

          De même que SMTP ;)

          Mais encore une fois, rien n'interdit de patcher monboob pour y ajouter également le NNTP (si ce n'est que je trouve ça limite redondant).

          Ceci dit: Weboob c'est vraiment, vraiment génial comme idée, faut que je teste et que je contribue. Plussun et tout ça.

          Grand bien te fasse. :)

        • [^] # Re: On dit « daycideur pressé »

          Posté par  . Évalué à 4.

          Idem pour les banques, y'a déjà des protocoles standards qui existent (si si), ça permettrait à une appli de gestion bien foutue d'attaquer directement le backend.

          Boobank sait exporter en format QIF les données qu'il récupère, tu peux donc ensuite l'utiliser avec l'appli que tu souhaites.

      • [^] # Re: On dit « daycideur pressé »

        Posté par  (site web personnel) . Évalué à 1.

        Heu les allemands peuvent se connecter directement à leur banque via des protocoles dédiés pour récupérer leurs relevés de compte.

  • # Cay bien mais y a un hic

    Posté par  . Évalué à -9.

    On est pas Trolldi, mais ça va dénoncer grave, Weboob a un gros problème. Que dis-je ? Un catastrophique et monumental problème !

    C'est pas écrit en Ruby ! Et comme tout le monde le sait, Ruby cay bien.

    • [^] # Re: Cay bien mais y a un hic

      Posté par  . Évalué à 8.

      Mais non, son principal défaut est de ne pas être écrit en:
      -Ocaml
      -Perl
      -C#
      -Assembleur, du code d'Homme
      -Fortran
      -HTM5+Javascript, et on le fera tourner dans un navigateur, question de cohérence...
      -Java ('tain, j'ai failli l'oublier)

      Mais heureusement, vu que t'es là, on va avoir une version de Weboob pour chacun des langages dans lesquels il n'est pas codé. Tu feras ça pour la beauté du code et pour que les générations futures aient un excellent support d'apprentissage des nouveaux langages.

      Merci à toi!

      • [^] # Re: Cay bien mais y a un hic

        Posté par  (site web personnel) . Évalué à 7.

        Le mercredi 23 novembre 2011 à 01:57 +0100, maclag a écrit :
        > son principal défaut est de ne pas être écrit en

        il est prevu pour la version 2 de reecrire le core en C afin d'offrir
        des bindings dans differents languages

        http://symlink.me/issues/384

        • [^] # Re: Cay bien mais y a un hic

          Posté par  . Évalué à 0.

          Je faisais mon fanfaron, j'osai même un trait d'humour Nul (notez le N, on ne parle pas d'humour nul, mais d'humour Nul). Mais finalement c'est le -9 que j'ai reçu (argh) et une bonne nouvelle (youpi).

          Cette réécriture du core en C est prévu pour quand ? Ou plutôt, la v2 est prévu pour quand ?

  • # Sujet : bididididodar je tape sur mon clavier des trucs au pif pour rédiger un titre de commentaire.

    Posté par  . Évalué à 4.

    Sinon, y a le bon coin ? Parce que si oui, tu risques d'avoir des problèmes.

    Sinon, faudrait faire un webooboulette, un truc avec une page prise au hasard. Tu voulais voir les cours de la bourse à Tokyo ? Bah, tu vas voir les bourses, mais pas celle que tu imaginais. Tu voulais régler tes agios ? Hop, une vidéo sur les pratiques drosophiles dans les hauts plateaux du Vercors Oriental. Y devrait y avoir une application pour ça.

    • [^] # Re: Sujet : bididididodar je tape sur mon clavier des trucs au pif pour rédiger un titre de [...].

      Posté par  (site web personnel) . Évalué à 10.

      Sinon, y a le bon coin ?

      Pas encore, mais c'est prévu : http://weboob.org/#Future

      Parce que si oui, tu risques d'avoir des problèmes.

      Effectivement, l'auteur du backend risque de recevoir un mail aigri. L'angoisse !

      Mais t'inquiète Zenitram arrivera à la rescousse pour héberger le backend contre les foudres judiciaires qui vont s'abattre sur les lignes de codes produites en totale violation de la propriété intellectuelle des détenteurs©® des droits.

      Plus sérieusement, contrairement à l'affaire à laquelle tu fais référence, ce n'est pas une application pour mobile. Ce n'est pas hébergé par un « market » centralisé. Tout est dans des repos git. Mme Streissand et Monsieur flamby veillent.

      Si jamais le bon coin souhaite jouer au con, je lui souhaite bien du courage. Et je pense que je serais particulièrement amusé par cette tentative.

  • # backend fragiles ...

    Posté par  . Évalué à 6.

    Les backends sont plutôt fragile ( xpath en dur ...)

    avez vous pensé à une solution plus "universelle" ?
    du type : http://www.timonv.nl/2010/12/17/reverse-dynamic-data-extraction-using-nokogiri/

    a+

    • [^] # Re: backend fragiles ...

      Posté par  . Évalué à 5.

      Les backends sont plutôt fragile

      [mode captain_obvious]
      Oui puisque à la base, les site web sont conçus pour un rendu visuel et non pour de la communication inter applications.
      Si le site décide de changer un peu la présentation, ou même des bouts de code html, le backend casse et doit être corrigé en conséquence.
      [fin mode]

      Maintenant je n'ai pas vu ce que nokogiri apportait de plus que xquery/xpath.

      En fait quand tu cherches des données par xpath tu dois faire un compromis entre qqch de trop large (ce que tu nommes "universel") qui peut ramener des données non attendues et qqch de trop précis qui va péter si le document varie.

      Mais pour moi ce problème se pose qqsoit l'outil.

      • [^] # Re: backend fragiles ...

        Posté par  . Évalué à 2.

        Maintenant je n'ai pas vu ce que nokogiri apportait de plus que xquery/xpath.

        Rien vu que c'est un parser XML/HTML basé sur libxml2 tout comme ElementTree qui est utilisé par Weboob.

        Enfin il apporte tout de même la possibilité de requêter à l'aide de selecteurs CSS comme pyquery. Pour beaucoup de gens dont moi c'est plus sympa que xquery/xpath, mais d'un point de vue fonctionnel ça change pas grand chose.

  • # Recherche dans un backend

    Posté par  . Évalué à 3.

    Quand on a plusieurs backends pour les vidéos, peut-on lancer une recherche en n'utilisant qu'un seul backend ou faut-il décharger tout les autres backends puis effectuer la requête ?

    • [^] # Re: Recherche dans un backend

      Posté par  (site web personnel) . Évalué à 4.

      Il est possible d'utiliser la commande
      > backends only [video]

      Par exemple, pour faire une recherche juste sur canalplus

      backends only canalplus
      search [motif]

      Ensuite, quitter et relancer videoob permet de disposer à nouveau de tous les backends.

  • # nianiania

    Posté par  (site web personnel) . Évalué à -1.

    Ce soft, nous ne le connaissons pas. Ni vous ni nous (oh le petit chat).
    - Eric, Eric... C'est le rideau qui te parle. Est-ce que tu sais faire le tourbillon ?
    - hummmmmmm nianianiania...
    - Tu est malade Eric !

    Mise en situation
    Allez-y monsieur cafetière je sais tout
    (...)

    Je contourne les travlousse et si je trouve un trou j'y reste promis :)

    Born to Kill EndUser !

  • # Service Web REST Json

    Posté par  (site web personnel) . Évalué à 1.

    Ce qui serait vraiment sympa c'est de creer un service web REST pour Weboob. On pourrait de cette maniere le balancer en black box sur n'importe quel serveur et lui envoyer des requetes via une API simple en JSON. Ca permettrait de pouvoir l'utiliser facilement quelque soit la techno en plus.

    • [^] # Re: Service Web REST Json

      Posté par  . Évalué à 9.

      On pourrait ensuite regarder ça dans des navigateurs.
      Et grace à des css custom, on pourrait rendre les pages plaisantes, puis utiles en les remplissant de liens vers d'autre fonctionnalités/pages de ces sites.
      On pourrait même imaginer qu'à terme les sites dont ces contenus sont issus pourraient se financer grace à des publicités incorporées par weboob.
      On appelerait ça l'interboob.

      • [^] # Re: Service Web REST Json

        Posté par  . Évalué à 3.

        On appelerait ça l'interboob.

        Ça fait pas forcément penser à un réseau ça …

        Tous les contenus que j'écris ici sont sous licence CC0 (j'abandonne autant que possible mes droits d'auteur sur mes écrits)

        • [^] # Re: Service Web REST Json

          Posté par  . Évalué à 6.

          Tu as raison, je confonds l'interboob et le woob, je suis vraiment un gros noob. Je vais encore me faire engueuler par tanguy ortoloob.

      • [^] # Re: Service Web REST Json

        Posté par  . Évalué à 5.

        On appelerait ça l'interboob.

        Sans doute un projet espagnol...

      • [^] # Re: Service Web REST Json

        Posté par  . Évalué à 7.

        On pourrait ensuite regarder ça dans des navigateurs.

        Et grace à des css custom, on pourrait rendre les pages plaisantes, puis utiles en les remplissant de liens vers d'autre fonctionnalités/pages de ces sites.

        Du coup on pourrait créer des backends Weboob pour ces pages.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.