Internet Weboob 0.9

Posté par . Modéré par baud123. Licence CC by-sa
Tags :
43
10
oct.
2011
Internet

Weboob (Web Out Of Browsers) est un ensemble d’applications interagissant avec des sites Web.

La version 0.9 sortie ce lundi apporte son lot de fonctionnalités depuis la dernière dépêche au sujet de la 0.6, parue il y a près de six mois maintenant.

Vous trouverez en seconde partie la liste des 19 nouveaux back‐ends qui ont été ajoutés à Weboob, ainsi que la description des nouvelles fonctionnalités majeures concernant le support des systèmes de suivi de bogues (bug trackers), presse‐papiers partagés (pastebins), des calculateurs d’itinéraires en transports en commun, des extracteurs de galeries d’images, etc..

Les plus courageux iront même jusqu’à y découvrir un troll de licence, et apprendront ce qu’est un boobathon.

Sommaire

Bug Trackers

Le rajout de la capacité BugTracker permet maintenant d’interagir avec les sites Web de suivi de bogues et de gestion de projets, à partir d’une application telle que boobtracker en console.

Pour le moment, seul Redmine est supporté, mais il sera possible de « boobiser » des systèmes comme BugZilla.

L’application boobtracker permet par de simples commandes de chercher des tickets relatifs à un projet, de les afficher, de les éditer, de les commenter ou de les fermer. Il est également possible d’en créer de nouveaux.

Voici un exemple :

$ echo "Hello world my issue" | boobtracker post weboob@symlink.me \
                                      --title "Yo" \
                                      --assignee "Romain Bignon" \
                                      --target-version "weboob - 0.9" \
                                      --status "In progress"
$ boobtracker edit 803@symlink.me title Yo zyva
$ boobtracker comment 803@symlink.me Yeah thats really interesting.
$ boobtracker edit 803@symlink.me status Resolved

Il est à noter que lancer `« boobtracker post » sans tube et sans paramètre bascule en mode interactif, ce qui est davantage « user friendly ».

Calcul d’itinéraire

Pour tenter de se déplacer d’un point A à un point B, il est commun de passer par des sites tels que ratp.info. Néanmoins, plutôt que de slalomer entre les pages lentes et les formulaires incohérents (à la souris évidemment), il sera plus confortable d’utiliser traveloob pour obtenir votre trajet en une commande :

$ traveloob roadmap Puteaux Aulnay-sous-bois --arrival-time 20:00
+-------+------------+----------+-----------------------------+-----------------------------------+----------+
|  Line | Start time | End time |          Departure          |             Arrival               | Duration |
+-------+------------+----------+-----------------------------+-----------------------------------+----------+
| T2    | 19:07:00   | 19:10:00 | PUTEAUX (Puteaux)           | LA DEFENSE-GRANDE ARCHE (Puteaux) | 0:03:00  |
| RER A | 19:23:00   | 19:32:00 | LA DEFENSE [RER] (Puteaux)  | CHATELET LES HALLES (Paris)       | 0:09:00  |
| RER B | 19:38:00   | 19:52:00 | CHATELET LES HALLES (Paris) | GARE D'AULNAY SOUS BOIS (Aulnay)  | 0:14:00  |
+-------+------------+----------+-----------------------------+-----------------------------------+----------+

Format bancaire QIF

L’application boobank, qui permet d’afficher ses comptes bancaires pour les six banques supportées, ainsi que d’effectuer des transferts, est maintenant dotée d’un formateur QIF.

Cela signifie qu’il est maintenant possible d’importer en une commande les opérations de son compte dans un logiciel de gestion bancaire tel que Grisbi, GnuCash ou KMyMoney :

$ boobank history 0239029020039448@cragr -f qif > operations.qif

Il est alors judicieux d’associer cette commande à une tâche cron, par exemple.

Pastebin

Sur IRC (ou non), il est commun d’utiliser des systèmes permettant d’héberger un contenu textuel pour une durée déterminée (tels pastebin), afin de les partager avec d’autres quidams.

Afin de coller facilement un fichier texte, la commande suivante facilite grandement les choses :

$ pastoob post < blah.c
Successfuly posted paste: http://pastebin.com/uPpRrHND

Il est à noter qu’il supporte plusieurs pastebins et qu’il est capable de sélectionner automatiquement, si ce n’est pas spécifié, celui le plus adapté au contenu collé.

Galeries d’images

Les amateurs de bandes dessinées ou de photos de corps dénudés doivent souvent utiliser les interfaces peu ergonomiques des sites Web de galeries d’images.
Afin d’y remédier, galleroob permet de télécharger aisément toutes les images d’une galerie, pour pouvoir les admirer dans sa visionneuse d’images préférée.

$ weboob-config add mangafox
Backend "mangafox" successfully added.
$ galleroob download 'http://www.mangafox.com/manga/kaiji/v29/c160/'
Downloading to kaiji v29 c160
Writing file 001.jpg
Writing file 002.jpg
Writing file 003.jpg
Writing file 004.jpg
...

GNU AFFERO GENERAL PUBLIC LICENSE

Weboob a changé de licence, passant de la GPL v3 à la AGPL v3+, avec l’accord de tous les contributeurs, afin de protéger la liberté du projet.

Boobathon

Un évènement gravitant autour de Weboob a été créé : le Boobathon. Il s’agit d’une sorte de coding party, où l’objectif est, outre picoler, de « boobiser » un maximum de sites Web dans le laps de temps imparti.

Le premier boobathon a eu lieu en avril dernier, dans un bar parisien, réunissant des développeurs de Weboob, mais aussi des contributeurs ponctuels. Malgré quelques soucis d’organisation (comme le choix du bar, trop bruyant, et le degré d’alcool, trop élevé pour rester productif sur la durée), cela a permis d’apporter plusieurs back‐ends au projet et de passer un bon moment entre boobs.

À l’occasion de la sortie de la 0.9, un nouveau boobathon devrait être organisé bientôt, n’hésitez pas à vous tenir au courant sur la liste de diffusion ou sur le canal IRC #weboob de Freenode.

Planet Weboob

Le Planet Weboob a été créé pour permettre aux développeurs d’écrire des articles techniques autour de leur travail sur Weboob, des difficultés rencontrées, des astuces, des évolutions de l’API interne, et de l’avenir du projet.

Nouveaux back‐ends

Voici la liste exhaustive des back‐ends qui ont été ajoutés à Weboob depuis la version 0.6 :

  • Batoto (CapGallery) ;
  • Dailymotion (CapVideo) ;
  • Eatmanga (CapGallery) ;
  • Ecrans (CapMessages) ;
  • E-Hentai (CapGallery) ;
  • FranceInter (CapRadio) ;
  • FranceTelevisions (CapVideo).
  • HDS (CapMessages) ;
  • Izneo (CapGallery) ;
  • LeMouv (CapRadio) ;
  • Mangafox (CapGallery) ;
  • Mangahere (CapGallery) ;
  • Mangareader (CapGallery) ;
  • Mangatoshokan (CapGallery) ;
  • Nova (CapRadio) ;
  • PasteALaCon (CapPaste) ;
  • PasteBin (CapPaste) ;
  • PhpBB (CapMessages, CapMessagesPost) ;
  • Simplyread.it (CapGallery).

Contributeurs

Merci aux contributeurs de Weboob 0.7 à 0.9 :

  • Christophe Benz
  • Clément Schreiner
  • Erwan Jahier
  • Florent Fourcot
  • Johann Broudin
  • Julien Hébert
  • Julien Veyssier
  • Laurent Bachelier
  • Laurent Dufréchou
  • Laurent George
  • Michael Scherer
  • Nicolas Duhamel
  • Noé Rubinstein
  • Olivier Localhost
  • Philippe Fremy
  • Pierre Mazière
  • Roger Philibert
  • Romain Garbage
  • Xavier Guerrin

Weboob est un projet qui grossit et qui vit grâce à ses contributeurs. Si vous souhaitez l’améliorer et que vous connaissez le Python, n’hésitez pas à contribuer.

  • # Essais de trad

    Posté par . Évalué à  9 .

    Dans la foulée de la dépêche prônant l'adoption de l'espéranto l'inventivité du français pour lui assurer sa renommée de langue de gens cultivés (hahaha…) et montrer que, non, ce n'est pas un patois de l'anglais, voilà quelques essais malheureux de traduction :

    bug trackeur--> chasseur/listeur/suiveur/traqueur de bug, insecticide, détecteur de grain de sable, empêcheur de coder en rond, catalogue des horreurs, petit rapporteur.

    back-end ---> tâcheron, arrière-cuisine, cuistot (par opposition au serveur), cheville ouvrière, prolo

    pastebin --> Dépose-minute, dépotoir/dépositoir/dépôt partagé, pique-note, pique-code, colle-code, presse-code, et bien sûr presse-papier.

    boobathon ---> nichathlon

    boobiser --> nichonniser, sanctifier, tétonniser.

    boobtrackeur ---> levnichon, traqusein, entomocatégorisateur, catentomo,

    traveloob --> trajichon

    Voilà pour mes intéressants deux cents…

    • [^] # Re: Essais de trad

      Posté par . Évalué à  8 .

      En fait, je comprend que c'était du second degrès, mais tant pis, je répond quand même.

      Je trouve que c'est quand même cool quand il y a des mots commun entre les langues, autant en profiter plutôt que de luter contre ça, c'est pratique quand on voyage.

      Surtout que question honneur de la langue française il y a pas de quoi se prendre la tête.
      En effet, il y 3% de mots anglais qui se sont intégré au français. Mais il y a environ 50% de mots français qui se sont glissé dans l'anglais. Donc si l'une devais être un dialecte de l'autre, c'est sans aucun doute l'anglais qui serai un dialecte du français. Il est à notté que c'est plutôt des mots pas trop commun, alors que les mots très commun en anglais, sont plutôt d'origine allemande.
      En plus dans ces 3% de mots qui sont anglais comme 50% des mots anglais sont de bases français, ça ne fait plus que 1,5% de racine non françaises pour ces mots.
      et 1.5% de mots anglais d'origine française.
      * Un exemple ?
      compter fleurettes --> to flirt --> flirter
      * Un deuxiemme ?
      Tennez (quand on lançais la balle) --> Tennis --> Tennis ( et hop un mot qui reviens, comme ... une balle de tennis )

      Dans les mots que tu as traduit, on peut identifier plusieures racines française :
      ** pastebin : "paste" viens de pate qui veux dire colle, c'est de l'ancien français http://www.etymonline.com/index.php?allowed_in_frame=0&search=paste&searchmode=none
      ** traveloob : "travel" viens du mot français "travail" car visiblement en 1300 on voyageait pas pour déconner et c'était considéré comme un travail : http://www.etymonline.com/index.php?allowed_in_frame=0&search=travel&searchmode=none

      bref, moi je vois pas en quoi utiliser quelques mots d'anglais serai un danger pour la culture française, je suis bien content quand je voyage dans un pays anglophone que tant de mots soit similaires. Pourquoi lutter contre ça ? Et pour l'anglais qui as piocher tant de mots à l'anglais (peut être même la majoritée) c'est un juste retour de baton qu'on vienne piocher quelques mots dans leur langue. Ce serai pas un peu comme un échange gratuit ? Chaqu'un viens piocher un peut ce qu'il l'arrange, ce qu'il a pas dans sa langue. En plus c'est gratuit, intaxable, pas possible de mettre de brevet. Ce serai pas un peut comme le logiciel libre tout ça?

      • [^] # Re: Essais de trad

        Posté par . Évalué à  -1 .

        L'important ce n'est pas notre glorieux passé et tout le tralala. Par définition c'est passé. Ce qui est important est ce qu'on en fera demain. C'est cool que beaucoup de mots anglais soient utilisés en français et que le français soit plus facile à apprendre pour ça. Autant que ça serait cool si le monde entier parlait seulement anglais, ça serait tellement plus simple. D'ailleurs on y va doucement, pas-à-pas.

        Mais c'est encore mieux si chaque langue continue à être inventive au niveau des termes. Alors que ça soit réutiliser des termes passés par l'anglais, des termes germaniques, du latin vulgaire, ou n'importe quoi en fait, c'est toujours bon, mais quand ça reste modéré. Ce qui est grave est quand il n'y a plus aucun filtrage, quand une langue intègre passivement et massivement les termes d'une autre pour s'y fondre. On n'y est pas tout à fait, mais on y tend souvent, et c'est normal/ça se comprend vite, vue la place des américains dans le monde.

        D'où la dérision face à l'«inventivité» qui dans l'état actuel des choses est un peu inutile en fait…

  • # \o/

    Posté par (page perso) . Évalué à  6 .

    Même si je suivais de loin, je n'avais pas encore pris le temps d'essayer. C'est vraiment super, ça marche très bien :).
    Rien que le videoob va m'éviter pas mal de contorsions (youtube-dl ayant cessé de fonctionner à une époque, je l'ai un peu laissé de côté, je ne sais pas si c'est bon maintenant).

    Est-ce que vous comptez avoir une API stable qui permettrait de scripter directement en python sans passer par les applis console ?
    Quid des mises à jour avec le dépôt Debian ? Il va être réactif si un site change du jour au lendemain ?
    Est-ce que vous avez l'intention de faire packager ça dans les dépôts officiels ? Et là encore, quid des MàJ ?

    Merci pour ce super boulot en tout cas

    • [^] # Re: \o/

      Posté par (page perso) . Évalué à  2 .

      youtube-dl ayant cessé de fonctionner à une époque, je l'ai un peu laissé de côté, je ne sais pas si c'est bon maintenant

      un petit sudo youtube-dl --update ?

      * Ils vendront Usenet quand on aura fini de le remplir.

      • [^] # Re: \o/

        Posté par . Évalué à  1 .

        Sinon il y a clive (en Perl) et cclive (réécriture en C).

        Article Quarante-Deux : Toute personne dépassant un kilomètre de haut doit quitter le Tribunal. -- Le Roi de Cœur

    • [^] # Re: \o/

      Posté par . Évalué à  10 .

      Est-ce que vous comptez avoir une API stable qui permettrait de scripter directement en python sans passer par les applis console ?

      L'API est plutôt stable et se base d'une part sur la classe simple Weboob, d'autre part sur les capabilities que tel ou tel backend va implémenter (cf weboob/capabilities/).

      Tu pourras facilement écrire quelque chose comme :

      from weboob import Weboob
      from weboob.capabilities.video import ICapVideo
      
      weboob = Weboob()
      weboob.load_backends(ICapVideo)
      for backend, video in weboob.do('iter_search_results', 'linuxfr'):
          print video
      
      

      La méthode do permet d'effectuer les appels aux backends chargés simultanément en arrière-plan et de sortir les résultats dès qu'ils arrivent. Tu as d'autres manières de taper sur les backends.

      L'API sera réellement stabilisée lors de la sortie de la 1.0, et éventuellement versionnée pour celle des capabilities.

      Si tu ne veux pas utiliser le mécanisme d'abstraction des appels de Weboob, tu peux directement importer le browser d'un backend (chacun a sa propre API qui elle risque de varier), comme le fait columbo :

      from weboob.backends.dlfp.browser import DLFP
      browser = DLFP('moules', 'password')
      browser.moinse('https://linuxfr.org/nodes/87730/comments/1278651')
      
      

      Je t'invite à regarder la description de l'architecture de Weboob, ou la vidéo de la conférence Weboob aux RMLL 2010.

      Quid des mises à jour avec le dépôt Debian ? Il va être réactif si un site change du jour au lendemain ?

      Des versions mineurs (x.y.z) sortent fréquemment lorsque des changements ont eu lieu sur des sites web et que le correctif est (rapidement en général) disponible. Elles sont évidement packagées immédiatement.

      Est-ce que vous avez l'intention de faire packager ça dans les dépôts officiels ? Et là encore, quid des MàJ ?

      Une RFS a été effectuée en avril dernier par un développeur de Weboob, mais certains ne semblent pas goûter aux conventions de nommage des applications Weboob.

      Merci pour ce super boulot en tout cas

      N'hésite pas à rejoindre les dizaines de personnes qui contribuent au projet, à maintenant plus d'une cinquantaine de backends à maintenir, et sans doute encore davantage dans le futur, le projet a toujours besoin de davantage de main-d'œuvre pour assurer réactivité et qualité.

      • [^] # Re: \o/

        Posté par (page perso) . Évalué à  2 .

        Merci pour ces infos

        N'hésite pas à rejoindre les dizaines de personnes qui contribuent au projet, à maintenant plus d'une cinquantaine de backends à maintenir, et sans doute encore davantage dans le futur, le projet a toujours besoin de davantage de main-d'œuvre pour assurer réactivité et qualité.

        Ce serait avec plaisir, mais je suis déjà suffisamment pris avec mon projet. Par contre je te posais ces questions parce que je pense que ça pourrait me servir dans des plugins, par exemple j'ai fait un plugin couchsurfing qui permet d'envoyer/recevoir ses messages (bonne excuse pour tester BeautifulSoup), ça pourrait être pas mal d'utiliser weboob pour ça (et pourquoi pas faire des passerelles XMPP/backends gérés par weboob). Ce serait top si vous aviez une API non bloquante (mon code est asynchrone, basé sur twisted), mais au pire on peut mettre ça dans un thread.

        Bon je suis vraiment trop pris, mais ça me plairait bien d'ajouter (un jour) des backends notamment pour les sites d'hébergement (en particulier bewelcome), seulement je n'aurais clairement pas le temps de les maintenir (encore une fois, beaucoup trop pris avec mon propre projet).

        • [^] # Re: \o/

          Posté par . Évalué à  2 .

          Tu peux utiliser Weboob.do().callback_thread() pour que ce ne soit pas bloquant et que des callbacks soient appelés dans des threads.

          Il existe sinon des helpers pour les applications Qt afin d'avoir des callbacks dans le thread de la mainloop, sinon il faudrait peut-être en faire pour twisted. De ce que je me souviens de l'API, tu as les deferToThread qui peuvent t'aider.

          Et sinon, moi je gère plusieurs projets en parallèle, tout en contribuant à d'autres, petit joueur :).

      • [^] # Re: \o/

        Posté par (page perso) . Évalué à  3 .

        Je trouve les suggestions du gars plutôt bien pour les noms des commandes.
        Et je pense que ça m'aiderait que toutes les commandes weboob commencent par weboob- au lieu d'avoir boob dans le nom, je retiendrais les noms plus facilement, et je pourrais taper weboob- et appuyer deux fois sur tab pour avoir la liste exhaustive des commandes.

  • # Weboob m'a fait perdre ma soirée !

    Posté par (page perso) . Évalué à  6 .

    Bah ouais, j'ai voulu essayé, tout content de voir que ma banque était dans les backends… et patatras ! Le backend LCL ne fonctionnait pas ! Un peu de tripatouillage de code, quelques tests, un clonage git et un envoi de patch plus tard, il est l'heure d'aller dormir ! Tout ça c'est la faute à la LCL d'abord. Leur code html n'est déjà pas très beau, mais si en plus ils le changent !

    Nan, franchement, c'est nickel comme appli. Je crois que je m'intéresser au backend lcl, histoire de l'étoffer un peu.

    It's a fez. I wear a fez now. Fezes are cool !

    • [^] # Re: Weboob m'a fait perdre ma soirée !

      Posté par . Évalué à  2 .

      Au Crédit Coopératif, on doit se connecter avec une calculette qui génère un MdP à chaque fois en introduisant une carte à puce dedans (qui peut être la CB) et en tapant son code. A la banque pop je crois que c'est pareil. Et ça risque de se généraliser.

      Je vois pas trop comment rendre compatible weboob avec ça.

      • [^] # Re: Weboob m'a faitperdre ma soirée!

        Posté par . Évalué à  3 .

        Ce genre de mécanisme d'authentification risque effectivement d'être un frein à son automatisation par Weboob, alors qu'ils ne servent à rien puisqu'il est toujours possible d'usurper l'identité de n'importe qui dont on connait la date de naissance via un simple appel téléphonique à sa banque.

        • [^] # Re: Weboob m'a faitperdre ma soirée!

          Posté par . Évalué à  -3 .

          Si tu vas par là, rien ne sert avec sa banque.

        • [^] # Re: Weboob m'a faitperdre ma soirée!

          Posté par . Évalué à  2 .

          Tiens, à ce sujet un truc qui m'a bien fait rigoler sur une banque.

          On peut mettre en place un super truc pour faire de la double valid avec un SMS lors d'un virement bancaire. Donc même si on te vole ton login/pass, impossible pour le pirate d'avoir aussi ton téléphone, donc HAHA, le pirate il est bien eu!

          Sauf que ....

          Dans l'interface web, tu peux demander à changer le numéro de tél de ton portable. Donc le gentil pirate met un gentil numéro de téléphone et bim le virement qui siphonne le compte en une seule fois :-)

          • [^] # Re: Weboob m'a faitperdrema soirée!

            Posté par . Évalué à  2 .

            La BNP a un système de ce genre, il envoie un code par SMS pour valider l'ajout d'un bénéficiaire à la liste.

            Mais pour changer le numéro de téléphone, il envoie un code par lettre pour la validation. Tu es certain que ce n'est pas le cas aussi pour la banque que tu cites en exemple ?

          • [^] # Authentification à deux facteurs

            Posté par . Évalué à  1 .

            Ça me rappelle cet article très intéressant sur Schneier on Security à propos d'une fraude bancaire en Malaisie, où les attaquants sont parvenus, par diverses méthodes, à se procurer non seulement les noms d'utilisateurs et les mots de passe de plusieurs utilisateurs, mais aussi les cartes SIM de leur téléphone sur lequel était envoyé un code de confirmation. Comme quoi même ces systèmes d'authentification à deux facteurs ne sont pas infaillibles...

  • # ouai

    Posté par . Évalué à  -3 .

    Il ne faut de plus pas oublier que Weboob permet d'entretenir ta femme.

    • [^] # Re: ouai

      Posté par (page perso) . Évalué à  -5 .

      C'est sûr qu'avec ce genre de programme et commentaires, ça va pas faire avancer la cause des femmes dans le Logiciel Libre.

      Même si ce programme est à priori utile, rien que le fait de se foutre de la gueule des femmes et des boites s'interfaçant avec le logiciel (cf le site), je ne l'utiliserai pas. Y a des limites quand même...

      (Je pense que ton post était du 2nd degré, enfin j'espère)

      • [^] # Re: ouai

        Posté par . Évalué à  7 .

        J'aimerais que tu m'expliques où est-ce que tu as pêché l'idée que Weboob se moque des femmes. Ceci est d'autant plus surprenant que le projet met en avant les valeurs chrétiennes auxquelles il est très attaché*.

        • Weboob réfute les mauvaises langues mal placées qui insinuent qu'on aurait cédé à la pression des représentants du mouvement Ortolol.
      • [^] # Re: ouai

        Posté par . Évalué à  10 .

        Se foutre des boîtes pas capables de proposer autre chose qu'une interface Web toute merdique pour accéder à leur service, ça me paraît bien.

        Weboob, c'est de l'open-data contraint et forcé: Vous voulez pas proposer une API qui marche? Vous préférez faire chier le monde avec du javascript et du HTML? Ben on va quand même transformer votre bêtise en truc fonctionnel. Na.

        THIS IS JUST A PLACEHOLDER. YOU SHOULD NEVER SEE THIS STRING.

        • [^] # Re: ouai

          Posté par (page perso) . Évalué à  5 .

          Se foutre des boîtes pas capables de proposer autre chose qu'une interface Web toute merdique pour accéder à leur service, ça me paraît bien.

          Anéfé. J'ai consulté mes comptes avec weboob. Bah j'ai que l'information que je veux (je veux bien prendre mon navigateur pour regarder les crédits proposés tellement j'ai peu de chance de le faire un jour).

          Donc exit les pubs, les super offres de la mort qui tue que t'y comprends que dalle tellement c'est mal expliqué. J'aime beaucoup.

          It's a fez. I wear a fez now. Fezes are cool !

  • # Librairies Python

    Posté par (page perso) . Évalué à  6 .

    Ce commentaire s'adresse aux développeurs de Weboob, je voudrais savoir ce qu'ils pensent d'argparse: http://docs.python.org/library/argparse.html
    Je l'utilise très souvent, c'est la meilleure librairie que j'ai utilisé pour l'instant, tous langages confondus.

    Y'a t'il une raison technique qui vous a fait préférer de parser vous même la ligne de commande plutôt qu'utiliser cette librairie ?

    De plus, j'entends assez souvent parler de Scrapy: http://scrapy.org/
    Même question, avez-vous déjà jeté un coup d'oeil sur cette librairie ?

    Je ne remets pas en question le logiciel qui est très pratique, c'est pour avoir un retour d'expếriences éventuel sur ces deux librairies.

    • [^] # Re: Librairies Python

      Posté par . Évalué à  4 .

      Argparse est effectivement une très bonne bibliothèque, on l'a utilisée pour un projet qu'on a démarré plus récemment nommé ass2m, et on compte le réutiliser dans Weboob.
      Le temps manque juste et ce n'est pas prioritaire donc on a tendance à laisser un peu de côté.

      Concernant Scrappy, ce n'est juste qu'un framework, comparable à weboob.tools.browser (encore qu'on gère l'authentification, le Browser est stateful, etc.), et Weboob va beaucoup plus loin.
      Par exemple, le système de capabilities permet de taper sur les backends suivant qu'ils implémentent celles demandées. Ceci permet d'avoir d'une part de fournir des applications fonctionnelles qui ignorent tout des sites web avec lesquels elles vont interagir, et d'autre part dès qu'un backend est rajouté il va être fonctionnel avec les applications qui le supportent sans avoir à modifier celles-ci. Du coup le code des applications se concentre sur les spécificités de l'UI, et le code des backends se contente de crowler et d'implémenter l'API des capabilities implémentées.

      En outre, Weboob a pour objectif non seulement d'exporter les données de sites web, mais également d'interagir avec. Par exemple boobank permet d'effectuer des transferts, et je réponds à ton commentaire avec mutt grâce à monboob.

      • [^] # Re: Librairies Python

        Posté par (page perso) . Évalué à  2 .

        Ok, normal que ça ne soit pas prioritaire.

        Oui, j'ai bien compris que Weboob avait plus de fonctionnalités que Scrapy, mais c'était justement pour savoir si ça ne vous simplierait pas la vie de faire un wrapper de scrapy dans weboob pour remplacer certains morceaux de base comme weboob.tools.browser
        Après, n'ayant aucune expérience avec scrapy, peut-être que pour vous, c'est mieux de faire vos propres libs.

  • # Bravo pour le bugtracker

    Posté par (page perso) . Évalué à  4 .

    Super cette idée de gérer les bug tracker. A une époque, KDE avait fait un truc dans le genre pour gérer les bugs bugzilla mais je sais plus si ça a survecu à KDE 4.

    En tout cas, trop bien pour le concept ! Pour le prochain bugtracker, je suggère Roundup :
    - d'une part il a il me semble déjà une API pour y accéder à distance
    - d'autre part, c'est le bugtracker de Python, vous pouvez atteindre la célébrité à l'international...

    Et non, je vais pas avoir le temps de vous aider... dommage.

  • # Ça a l'air super mais il manque quelque chose...

    Posté par . Évalué à  5 .

    Bien voila ça a l'air bien et je vais essayer le truc mais... la ligne de commande c'est pas terrible en fait, serait-il possible d'avoir une interface web plutôt ?

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.