Weboob atteint la maturité

Posté par . Édité par ZeroHeure, Benoît Sibaud et palm123. Modéré par patrick_g. Licence CC by-sa
Tags :
39
14
nov.
2014
Internet

Weboob (Web Outside Of Browsers) est une bibliothèque et un ensemble d'applications interagissant avec des sites web. Plus de quatre ans après le premier commit, nous avons le plaisir d'annoncer la sortie de la première version stable de Weboob !

En plus de présenter les nouveautés, cette dépêche profite de cette version pour faire un rapide retour sur l'historique et l'évolution du projet.

Sommaire

Le nouveau browser

Comme nous l'expliquions dans la dépêche précédente, cette annonce de première version majeure est l'aboutissement de notre projet de refactorisation de code. Afin de rendre plus aisé le support de sites web par Weboob, le projet fournit de nombreux outils, dont une bibliothèque qui simule le fonctionnement d'un navigateur. Depuis quelques versions, cette bibliothèque a été réécrite sous le nom de "Browser2" puis tout simplement "le nouveau browser" (navigateur). Celui-ci est prêt à l'utilisation, et suffisamment abouti pour que son API reste stable durant la durée de vie de la branche 1.x. Nous nous autorisons des ajouts, mais l'existant ne sera pas modifié.

Ce nouveau Browser et les outils associés sont l'une des forces du projet : le scraping (extraction de contenu) est souvent une tâche répétitive, mais Weboob fait tout pour atténuer ce problème. Nous pensons que le projet a maintenant atteint un niveau de maturité lui permettant d'honorer cette promesse. Avec tous les outils du browser (ListElement, filtres, pagination, formulaires, etc.), un module peut ne prendre que quelques lignes de code.

Retour sur l'origine du projet

En 2008, un petit script Python utilisant mechanize et html5lib a vu le jour, écrit par un utilisateur d'un site de rencontres français bien connu, et dont l'objet était de remplacer l'interface web sur fond rose par son MUA pour échanger avec ses contacts. Très vite, il renouvela l'expérience avec un autre script pour récupérer automatiquement son solde et ses relevés depuis le site de sa banque.

Lorsque, début 2010, il lança le projet dlfp2mail, il se rendit compte de la possibilité d'appliquer la méthode à bon nombre d'autres sites web, et chercha à factoriser le code au sein d'un même et unique projet. Weboob était né.

Ainsi que ceux qui jasent sur le nom l'ignorent, il était initialement prévu de l'appeler woob. Ce n'est que lorsqu'on constata qu'il existait déjà un autre logiciel portait déjà ce nom qu'il fut décidé de le renommer weboob.

Les concepts fondateurs furent rapidement posés :

  • séparation entre les modules interagissant avec les sites et les applications ;
  • système de capacités que chaque module peut implémenter ;
  • bibliothèque utilisable par des applications tierces.

Le projet s'est depuis enrichi d'un navigateur puissant (remplaçant mechanize par requests) pour le parcours et l'analyse lexicale des pages, d'un système de dépôts pour les modules, de classes helper pour résoudre les claviers virtuels, etc.

37 capacités

Les capacités sont des interfaces permettant aux applications d'interagir avec les sites Web, de façon unifiée. Par exemple, la capacité bancaire offre la possibilité de lister les comptes, obtenir l'historique des transactions, faire des virements, etc. De leur côté, les modules implémentent une ou plusieurs de ces capacités (parfois partiellement uniquement, notamment si le site n'a pas la fonctionnalité). Les applications ont donc des interfaces unifiées et stables pour interagir avec tous les sites d'une catégorie, et non pas avec un seul site bien particulier.

C'est une grande différence avec les nombreux scripts d'extraction de contenu individuels pouvant se trouver sur Internet : on accède à tous les sites permettant de télécharger des vidéos d'une manière unique, à tous les sites bancaires en une seule requête, etc. La diversité des fonctionnalités des sites Web se retrouve en partie chez Weboob : nous proposons actuellement 37 capacités différentes, à comparer avec les 172 sites dont Weboob permet l'accès.

Utilisations tierces

Le projet Weboob fournit des applications basiques pour interagir avec les sites. Ces applications permettent d'effectuer des requêtes complexes (avec notamment un système de filtres sur les résultats), et permettent déjà de nombreuses interactions. Notre objectif n'est cependant pas de remplacer les applications existantes : nous n'allons pas créer un nouveau gestionnaire financier personnel dans Weboob. De très bons logiciels libres existent déjà pour celà. De même pour les lecteurs vidéos.

Nous mettons donc l'accent sur l'export des données en formats utilisables par tous, ainsi que sur l'utilisation de Weboob en tant que bibliothèque dans les projets. Cette méthode a particulièrement bien fonctionné pour les applications bancaires, mais aussi pour des usages plus inattendus. On peut citer à la fois des entreprises (Cozycloud, Budget Insight, Winancial) que des projets communautaires : Skrooge, Kmymoney (nous essayons de faire intégrer un patch upstream), GTranslate, Gnome Shell, un plugin pour XMBC/Kodi

Nouveautés depuis la 0.j

Pour revenir sur les actualités de la 1.0, le temps de développement de cette version a été assez court. Notre objectif (réussi) étant une migration de la version 1.0 dans Debian testing avant le gel. Il n'y a donc eu que six (intensives) semaines entre la 0.j et la version 1.0.

On peut cependant noter que la capacité permettant de consulter des annonces immobilières (CapHousing) a été améliorée. Les annonces immobilières du site Leboncoin ont notamment été ajoutées.

Du côté des applications, une nouvelle option de filtre (LIMIT) est disponible en ligne de commande. Elle permet de limiter la profondeur des recherches des requêtes utilisant le moteur de condition.

Concernant les modules, on peut noter un second module pour une banque américaine (Citibank). Du côté plus francophone, des modules pour suivre l'agenda du libre, pour suivre les marées et une nouvelle application de rencontres.

Enfin, sous le capot, nous avons profondément changé les API et les noms internes des objets. Nous voulions le faire pour présenter une interface cohérente pour la version 1.0. Dans ce cadre, l'utilisation de l'ancien Browser est désormais signalée comme obsolète. Un nouveau niveau de debug fait son apparition pour le nouveau Browser, permettant un suivi fin des appels sur les filtres.

Communauté

Depuis quatre ans, ce sont pas moins de 88 contributeurs qui ont participé à Weboob :

Adrien Kunysz, Ahmed Boussadia, Alexandre Bonhomme, Alexandre Flament, Alexandre Franke, Alexandre Lissy, Antoine, Arno Renevier, Benjamin Carton, Benjamin Drieu, BohwaZ, Camille Baldock, Camille Dehecq, Cedric Defortis, Christophe Benz, Christophe Gouiran, Christophe Lampin, Clément Schreiner, Clément Calmels, Damien Cassou, David Jeanneteau, Erwan Jahier, Etienne Carriere, Fabien Grumelard, Florent Fourcot, François D., François Revol, Gabriel Serme, Gabriel Kerneis, Gilles Quenot, Grmbl Frechneu, Hervé Werner, Jean-Benoist Leger, Jean-Christophe Dubacq, Jean-Philippe Dutrève, Jerem, Jeremy Monnet, Jérôme Poisson, Jocelyn Jaubert, Johann Broudin, John Morrow, Julia Leven, Julien Hebert, Julien Veyssier, Juliette Stehlé, Kevin Pouget, Laurent Bachelier, Laurent Dufréchou, Laurent George, Loic Bontonou, Luc Didry, Lucas Nussbaum, Lucien Loiseau, Mathieu Jourdan, Mathieu Lordon, Matthieu Rakotojaona, Michael Scherer, Nicolas Duhamel, Noé Rubinstein, Oleg Plakhotniuk, Olivier, Olivier Schwander, Philippe Fremy, Pierre Mazière, Raphaël Rigo, Richard Genoud, Roger Philibert, Romain Bignon, Romain Garbage, Ryan Nowakowski, Samuel Loury, Sébastien Monel, Simon Murail, Stefano Zacchiroli, Tanguy Ortolo, Tens San, Thomas Lecavelier, Vicnet, Vincent A, Vincent Paredes, Vincent Texier, Willy Villard, Xavier Guerrin, Yann Rouillard, ianux, leto, theocrite

Nous remercions également pour cette version les étudiants de l'Université de Lille 1, qui ont ajouté des tests dans le cadre d'un projet d'étude.

Weboob est un projet qui grossit et qui vit grâce à ses contributeurs. Si vous souhaitez l’améliorer, que vous connaissiez le Python ou pas, n’hésitez pas à contribuer.

  • # le bon coin

    Posté par (page perso) . Évalué à 6.

    Les annonces immobilières du site Leboncoin ont notamment été ajoutées.

    Je pensais que ce site interdisait les accès style weboob ?

    If you choose open source because you don't have to pay, but depend on it anyway, you're part of the problem.evloper) February 17, 2014

    • [^] # Re: le bon coin

      Posté par . Évalué à 3.

      Je crois pas qu'on utilise de méthodes spécifiques pour leboncoin, ça doit donc pas être si pire que ça (si on parle des protections techniques, et pas des règles d'utilisation).

      • [^] # Re: le bon coin

        Posté par (page perso) . Évalué à 4.

        Je parle juste des conditions d'utilisation.

        If you choose open source because you don't have to pay, but depend on it anyway, you're part of the problem.evloper) February 17, 2014

        • [^] # Re: le bon coin

          Posté par (page perso) . Évalué à 9.

          Ça c'est le problème de l'utilisateur de weboob, pas du développeur de l'outil.

          Python 3 - Apprendre à programmer en Python avec PyZo et Jupyter Notebook → https://www.dunod.com/sciences-techniques/python-3

          • [^] # Re: le bon coin

            Posté par (page perso) . Évalué à 3.

            D'après http://www2.leboncoin.fr/dc/cgu/0

            utiliser ou interroger le Service LEBONCOIN pour le compte ou au profit d'autrui ;

            Responsabilité de l'utilisateur, pas vraiment possible avec les applications livrées.

            extraire, à des fins commerciales ou non, tout ou partie des informations ou des petites Annonces présentes sur le Service LEBONCOIN et sur le Site Internet, le Site Mobile, l'Application iPhone et l'Application Android ;

            Dans ce cas, weboob "extrait" toujours les informations, mais c'est aussi ce que fait tout navigateur. Ça me paraît beaucoup trop vague pour tenir, mais il serait possible de mieux l'écrire (par exemple interdire toute autre présentation des informations que celles fournies par leboncoin).

            reproduire sur tout autre support, à des fins commerciales ou non, tout ou partie des informations ou des petites Annonces présentes sur le Service LEBONCOIN et sur le Site Internet, le Site Mobile, l'Application iPhone et l'Application Android permettant de reconstituer tout ou partie des fichiers d'origine ;

            Responsabilité de l'utilisateur, pas vraiment possible avec les applications livrées.

            utiliser un robot, notamment d'exploration (spider), une application de recherche ou récupération de sites Internet ou tout autre moyen permettant de récupérer ou d'indexer tout ou partie du contenu du Site Internet, du Site Mobile, de l'Application iPhone et de l'Application Android, excepté en cas d'autorisation expresse et préalable de LBC France.

            Weboob ne se comporte pas comme un robot d'exploration (en tout cas pas avec les applications livrées), mais peut éventuellement être qualifié de robot.

            À noter que le service lebonmail.fr semble avoir été fermé pour des questions de marque, pas de respect des CGU.

            • [^] # Re: le bon coin

              Posté par . Évalué à 5.

              utiliser un robot, notamment d'exploration (spider), une application de recherche ou récupération de sites Internet ou tout autre moyen permettant de récupérer ou d'indexer tout ou partie du contenu du Site Internet, du Site Mobile, de l'Application iPhone et de l'Application Android, excepté en cas d'autorisation expresse et préalable de LBC France.

              Perso, ça me paraît plutôt impossible à définir sans se casser la tête. Déjà rien que la navigation traditionnelle consiste à "reproduire sur tout autre support la représentation du site internet", si on s'en tient à une définition strictement technique. En fait, tout navigateur peut être considéré comme "tout autre support" donc déjà, là, ça coince.

          • [^] # Re: le bon coin

            Posté par . Évalué à 1.

            Euh, pas sûr, à moins que ça soit super-clair à l'utilisation (par exemple un pop-up qui s'affiche). $

            De manière générale, on peut vraiment distinguer deux cas. Il y a des sites qu'on visite sans avoir de lien particulier avec l'éditeur : youtube, facebook, etc. Bien sûr, on a un compte là-bas, mais si on se fait gauler à violer les conditions d'utilisation, on se fait bannir, et c'est tout. Mais Webboob propose aussi des services pour lesquels on a un lien juridique réel avec l'entreprise (par exemple, sa banque). Si la banque met des restrictions à l'utilisation d'outils non-autorisés pour accéder aux données bancaires, c'est pour des raisons marketting, mais aussi pour des raisons de sécurité (et même si ça n'était pas vrai, une banque n'aurait absolument aucun mal à prétendre le contraire devant un tribunal). Du coup, un client qui ne respecte pas les conditions d'utilisation du site pourrait avoir de gros problèmes (et si j'étais la banque, je veillerais à ce que de tels clients aient de réels problèmes, parce qu'ils sont une source d'emm*** à n'en plus finir (par exemple, à cause de bugs potentiels dans le logiciel qui peuvent révéler des bugs du site web—virements dupliqués, rafraichissements trop fréquents, requêtes impossibles avec l'interface web…), ou qui contournent des procédures normalisées (par exemple, effectuer automatiquement un virement mensuel n'a pas forcément le même coût pour la banque que la mise en place d'un virement automatique).

            En gros, je trouve que webboob est un mauvais réflexe : celui de tenter de personnaliser un service qui ne nous convient pas sans l'autorisation du fournisseur du service, plutôt que de faire jouer la concurrence. La norme, ça devrait être "si tu n'es pas content, tu vas voir ailleurs". Avec webboob, c'est plutôt "si tu n'es pas content, tu fais comme tu veux quand même". Je n'arrive pas à comprendre cettre attraction morbide pour le rapport de force perpétuel : quand tu conduis, tu es en conflit avec les autres automobilistes, quand tu rentres chez toi, tu es en conflit avec tes voisins qui n'ont pas rentré leur poubelle, quand tu es au taf, tu es en conflit avec ton patron, et maintenant, même quand tu es sur Internet, tu es en conflit avec les fournisseurs des services qui tu utilises? "Moi je", "moi" "moi" "moi" "moi", toujours tout pour sa propre tronche, on tire la couverture à soi, et on le justifie en se disant que les autres sont pareils ou pires? Google est méchant, alors c'est bien de se venger et d'être méchant avec Google? Personnellement, je n'adhère pas. Je trouve ça super malsain.

            • [^] # Re: le bon coin

              Posté par . Évalué à 10.

              Pourquoi ne pas voir weboob juste pour ce qu'il est, à savoir, un navigateur ? Quand sous firefox tu changes les couleurs des sites, tu transformes bien ce que le site original a voulu te présenter non ? Bah weboob c'est pareil : il a sa manière à lui d'afficher le HTML.
              De même quand ton navigateur enregistre le mot de passe alors que le site ne présente pas de case à cocher "Remember me", n'est-ce pas aussi une utilisation détournée ?

            • [^] # Re: le bon coin

              Posté par . Évalué à 10.

              Si la banque met des restrictions à l'utilisation d'outils non-autorisés pour accéder aux données bancaires, c'est pour des raisons marketting, mais aussi pour des raisons de sécurité

              Si elle met des restrictions légales à des failles de sécurité techniques, alors il y a un problème (puisqu'on parle de violer les CGU, pas d'attaquer des sites via Weboob).

              Corrige-moi si je me trompe, mais je vois vraiment weboob comme un cliqueur automatisé de liens : il va sur le site web et clique sur les liens que verrait l'utilisateur (c'est un poil plus compliqué quand il y a des bouts de javascript, mais c'est l'idée). Et si ça révèle des bugs du site web, tant mieux ! Ils seront signalés et (on l'espère) corrigés.

              par exemple, effectuer automatiquement un virement mensuel n'a pas forcément le même coût pour la banque que la mise en place d'un virement automatique

              Ben justement, pour la banque, un virement ça a un coût marginal quasi-nul. il est des centaines de fois plus intéressant pour elle d'avoir un petit malin qui fait ça en ligne (où ça n'impliquera que des ordinateurs) que d'avoir un client peu versé dans l'informatique qui va tenir la jambe d'un conseiller pendant 10 minutes. Et si virement automatique et virement unique répété n'ont pas le même coût (ce que je peux comprendre), je fais confiance à la banque pour répercuter ce coût sur ses tarifs.

              La norme, ça devrait être "si tu n'es pas content, tu vas voir ailleurs".

              Ça, c'est la théorie, dans un monde où chaque service et chaque produit est blanc ou noir. Il se trouve qu'on est sur DLFP, où traînent quand même un paquet de gens qui cherchent à hacker. Si je ne suis pas content, pourquoi ne pas chercher à améliorer l'existant ? On ne parle pas de conflit, juste de rendre efficace un produit (site web) qui n'est pas conçu pour être efficace mais pour être accessible au plus grand nombre. Mon grand-père et moi n'avons pas les mêmes besoins, pas les mêmes facilités d'utilisation d'un site web. L'existant vise à ce que lui et moi puissions utiliser le site, pas à ce que je puisse l'utiliser au mieux et que lui soit exclu. Avec Weboob, je peux l'utiliser au mieux et lui reste cantonné au site "de base" qui lui convient. Tout ça à coût nul pour le fournisseur de service. Tant mieux !

              même quand tu es sur Internet, tu es en conflit avec les fournisseurs des services qui tu utilises?

              Je suppose que tu surfes sans adblock et que tu lis attentivement chaque publicité. Parce que cette problématique est bien plus ancienne que weboob ;)

              Ça, ce sont les sources. Le mouton que tu veux est dedans.

              • [^] # Re: le bon coin

                Posté par . Évalué à -5.

                Je suppose que tu surfes sans adblock et que tu lis attentivement chaque publicité.

                Je trouve que ça fait une grosse différence : tu as tout à fait le droit d'afficher ou non les éléments qu'on t'envoie—si tu es sur mobile dans une zone mal couverte, tu peux surfer en mode texte, ou sans les styles, etc. C'est un peu pareil que de lire ton courrier : tu lis tes relevés de compte mais tu balances la pub pourrie qui les accompagne.

                Avec Webboob, le problème, ce n'est pas que tu choisis ce qui est affiché, c'est que tu aspires en gros le contenu du site pour l'intégrer dans une application indépendante. Ça serait par exemple l'équivalent d'une application pour smartphone non-autorisée. Tu ne peux plus parler d'éléments d'affichage, à la limite, tu ne fais que parser une page HTML pour en extraire des infos et constituter une base de données, que tu réutilises ensuite un peu comme tu veux. Tu ne peux pas prétendre que webboob est un navigateur, ça n'est pas un logiciel qui lit et affiche du HTML ; c'est plutôt un logiciel spécifique qui reverse-ingeneer ton site web pour en extraire des bouts de manière ciblée, et éventuellement les afficher dans une interface commune avec celle de tes concurrents. Finalement, ça revient à accéder au contenu de ta base de données sans passer par l'interface que tu fournis. Évidemment, tu peux t'en foutre, mais tu peux aussi très bien ne pas t'en foutre. Par exemple, tu peux rendre l'accès direct à ta base de données payante, alors que la consultation manuelle est gratuite. Tu peux, pour des raisons de performances, limiter le nombre d'éléments affichés. Tu peux vouloir forcer l'utilisateur à suivre certains chemins dans l'interface, parfois même pour des raisons éthiques (par exemple, empêcher le croisement de catégories de recherche comme "homosexuel + juif"). Pour des raisons simplement commerciales, tu peux vouloir afficher d'abord certains produits, et seulement ensuite permettre à l'utilisateur de classer par prix—comme dans les boutiques physiques, c'est ton droit d'imposer à tes clients de passer devant certaines offres avant les autres.

                Je ne suis pas non plus d'accord sur les bugs. Il y a des milliers de raisons de penser que Webboob peut fabriquer des bugs, sans que l'interface ne soit en cause. Par exemple, ton interface peut prévoir un remplissage séquentiel d'un formulaire, et donc que certains champs soient impossibles à remplir dans certaines conditions—si ton truc plante quand ce champ est rempli, ce n'est pas un bug de ta part, à moins que tu considères qu'il faut systématiquement être fool-proof vis-à-vis des erreurs internes. Imagine par exemple que tu as une fonction qui te fait un compte à rebours de 5 secondes avant de valider un virement, fonction qui est ignorée par Webboob, et que du coup, le virement passe deux fois. Est-ce que c'est de ta faute? Tu ne peux pas être responsable d'un bug qui ne serait jamais arrivé si l'utilisateur n'avait pas contrevenu aux conditions d'utilisation du site. Pourtant, en tant qu'établissement bancaire, tu vas être obligé de traiter le problème, et de rembourser le client. Pire, tu risques de devoir modifier ton site pour éviter que ça ne se reproduise, alors qu'encore une fois, ce n'est pas un vrai bug, parce que tu n'autorises pas tes visiteurs à utiliser ton site de cette manière. Je comprends parfaitement qu'une entreprise dépense des ressources pour que ce genre de pratiques soient techniquement impossibles ; par exemple, en faisant varier l'interface aléatoirement entre les visites, ou blacklister les utilisateurs au comportement trop proche de celui d'un robot.

                • [^] # Re: le bon coin

                  Posté par . Évalué à 5.

                  Tu ne peux pas être responsable d'un bug qui ne serait jamais arrivé si l'utilisateur n'avait pas contrevenu aux conditions d'utilisation du site. Pourtant, en tant qu'établissement bancaire, tu vas être obligé de traiter le problème, et de rembourser le client.

                  C'est les mêmes qui ne sont pas responsables du bug si quelqu'un met des guillemets dans un champ, alors que ce n'était pas prévu ? Ce genre de trucs : http://xkcd.com/327/ ?

                  • [^] # Re: le bon coin

                    Posté par . Évalué à -6.

                    S'il y a une vérification dans l'interface graphique et que l'utilisateur bypasse l'interface pour mettre son guillement directement dans la requête SQL, alors oui, je pense que le concepteur de l'interface n'est pas responsable de la connerie de l'utilisateur.

                    Avec un site à la con (Google, Facebook…), au pire, tu vas bousiller tes données personnelles ou perdre tes mails, tant pis pour toi. Le problème, c'est que quand ton site est ta banque et que tu te retrouves à découvert, tu risques de ne pas assumer tout à fait tes conneries, et tu vas te plaindre que ce n'est pas normal que de remplacer une virgule par un point transfère 100 fois trop de pognon, et que la banque va devoir faire tout un tas de trucs pour rattrapper le coup. Tu pourrais te plaindre si tu utilisais une interface normalisée, mais là, tu ne fais que hacker une interface qui n'est pas du tout prévue pour ça. Ça n'est absolument pas un bug du site.

                    • [^] # Re: le bon coin

                      Posté par (page perso) . Évalué à 8.

                      J'espère que tu n'es éditeur d'aucun site, ils doivent être de jolis gruyères.

                    • [^] # Re: le bon coin

                      Posté par (page perso) . Évalué à 10.

                      S'il y a une vérification dans l'interface graphique

                      Si des vérifications liées non pas au confort de l'utilisateur mais à la sécurité des données sont réalisées côté client (donc sur un outil maîtrisé par une personne mal intentionnée) et non réalisé côté serveur, alors il y a à mon sens un gros problème de conception sur le site en question…

                      • [^] # Re: le bon coin

                        Posté par . Évalué à -3.

                        Je ne sais pas trop ce que tu appelles "sécurité des données" ; s'il ne s'agit que d'opérations légitimes pour l'utilisateur (y compris supprimer ses données ou vider son compte en banque), je ne vois pas comment tu peux l'empêcher de demander n'importe quoi au serveur. Les sécurités dont on parle ne sont que des interfaces pour éviter les erreurs humaines ("êtes-vous sûr de vouloir transférer 14500€ à "Grand-mère""?), pas des vérifications destinées à protéger l'intégrité du serveur.

                        De manière générale, si un programme (on ne parle plus de site web ou de serveur) te demande : "Voulez-vous afficher le pdf: o/n" et que tu réponds "Ctrl-X-T format -f --all", il ne faut pas s'étonner que le résultats puisse ne pas te plaire.

                    • [^] # Re: le bon coin

                      Posté par . Évalué à 8.

                      S'il y a une vérification dans l'interface graphique

                      Bah, pardon, mais il n’y a pas d’interface graphique en web. Juste un fichier décrivant une interface qui est interprété par le navigateur. Si celui-ci est firefox il affichera la page d’une certaine manière, si c’est IE il le fera autrement. Et Weboob le fait encore de manière différente.

                      Après, de ce que j’ai compris, weboob a un navigateur, qui fourni les données à un module de traitement spécifique au site, qui fourni les données à l’interface de manière spécifique au type d’application (banque, site de rencontre…). Tu peux faire la même chose avec un script et lynx ou links… À moins que lynx et links ne soient pas des navigateurs web.

                      Et quid des vilains appareille pour le braille, il dénature aussi le site ?

                • [^] # Re: le bon coin

                  Posté par (page perso) . Évalué à 5. Dernière modification le 14/11/14 à 15:24.

                  Je trouve que ça fait une grosse différence (…)

                  Effectivement, la différence est grosse : d'un côté, un truc qui te plait, de l'autre un truc qui ne te plait pas mais dont tu n'as pas d'arguments pour expliquer à part "ça fait une différence".
                  La différence est dans ta tête, en pratique c'est une interface (instable), c'est tout : dans tous les cas, il faut "traduire" (Firefox traduit bien des octets en pixels) pour faire un truc.

                  Je ne suis pas non plus d'accord sur les bugs. Il y a des milliers de raisons de penser que Webboob peut fabriquer des bugs, (…) Est-ce que c'est de ta faute?

                  Autant que n'importe quel navigateur "normal". Et donc?

                  • [^] # Re: le bon coin

                    Posté par . Évalué à -4.

                    Effectivement, la différence est grosse : d'un côté, un truc qui te plait, de l'autre un truc qui ne te plait pas mais dont tu n'as pas d'arguments pour expliquer à part "ça fait une différence".

                    Il y a toujours une possibilité que j'ai mal expliqué mon point de vue, mais comme il faut la balancer avec l'hypothèse que mes interlocuteurs sont de mauvaise foi, je pense que je ne vais pas réexpliquer en détail.

                    D'un côté tu as des logiciels qui parsent du HTML standard, et qui te sortent un rendu standard, éventuellement modifié en fonction de critères génériques (ne pas afficher les bannières de telle taille, blacklister un serveur, etc). De l'autre côté tu as un parser développé exclusivement pour extraire des données de la version actuelle de ton site web—ce n'est pas un parseur de HTML, c'est un parseur de TON site. Aucun standard, aucun protocole de communication ; il se fait passer pour un navigateur, mais il ne sait pas afficher une page HTML.

                    Autant que n'importe quel navigateur "normal". Et donc?

                    Un navigateur est une sorte de compilateur de code HTML pour le transformer en une interface navigable. Appeler webboob "un navigateur", c'est comme appeler une commande grep avec une regex "un compilateur". C'est incapable de faire quoi que ce soit avec le code, à part extraire une information spécifique selon des règles rigides.

                    • [^] # Re: le bon coin

                      Posté par (page perso) . Évalué à 7. Dernière modification le 14/11/14 à 16:15.

                      D'un côté tu as des logiciels qui parsent du HTML standard, et qui te sortent un rendu standard,

                      Le HTML (et CSS) définit une sémantique, et jamais un "rendu standard" qui n'existe pas (sinon, autant envoyer un PNG…).

                      Ce que tu ne veux pas comprendre, c'est qu'il y a du hTML (et CSS) d'un côté, et un agent de l'autre. C'est tout. Personne (et surtout pas HTML) ne dit ou limite à "il faut que ce soit affiché sur un écran" ou comment l'afficher (le gras, je peux l'afficher en italique si j'ai envie, c'est mon choix).

                      Au passage, je note que tu dis merde aux aveugles (le rendu n'est pas "standard" du tout!) entre autres.

                      Tu as décidé de limiter HTML, HTML n'est pas ce que toi (ou un créateur de site) veut en faire, ne t'en (ou leur en) déplaise.

                      • [^] # Re: le bon coin

                        Posté par . Évalué à -3.

                        Ce que tu ne veux pas comprendre, c'est qu'il y a du hTML (et CSS) d'un côté, et un agent de l'autre.

                        Mais justement : l'agent lit les balises et en fait ce qu'il veut. Le signifiant des balises est normalisé ; il y a des balises pour l'italique ou pour le gras, et tu en fais ce que tu veux. Mais le navigateur ne s'intéresse absolument pas à ce qu'il y a entre les balises, il n'essaye pas de comprendre ce que tu lis, ou d'en faire une base de données. C'est juste un moteur de rendu.

                        Webboob lit le texte entre les balises et essaye d'extraire l'information ; pas pour tous les sites, mais pour un site spécifiquement. Webboob ne fonctionne pas sur les sites inconnus, il ne fonctionne plus si tu changes un truc dans ton site. Il essaye aussi de t'envoyer des informations, en espérant que tu vas pouvoir les comprendre, sans passer par les outils que tu as mis en place pour communiquer avec un être humain. Bref, il n'y a rien de commun entre webboob et un navigateur ; webboob est plus un robot d'indexation spécifique à un site, et qui ne respecte pas les consignes destinées aux robots. À mes yeux, c'est du même niveau que de tracker les internautes "nofollow": c'est une pratique déloyale et illégitime. Ce n'est pas parce que c'est possible (et même facile) techniquement que c'est justifiable.

                      • [^] # Re: le bon coin

                        Posté par (page perso) . Évalué à 6.

                        Au passage, je note que tu dis merde aux aveugles (le rendu n'est pas "standard" du tout!) entre autres.

                        Et un bon nombre de sites sont inutilisables pour les aveugles (clavier virtuels, interfaces ultra complexes et pas sémantiques). Weboob les rend utilisables :).

                        Et personnellement, je modifie l'affichage de beaucoup de sites pour accommoder mes yeux (couleurs, tailles, polices).

    • [^] # Re: le bon coin

      Posté par . Évalué à 2.

      Apparemment on peu juste interroger mais pas créer de petite annonce

      L'utilisation de Weboob est intéressante en mode console ou scripts

      tu extrait les infos qui t’intéresse et déclenche un mail un tweet une alarme quand
      par exemple tu as trouver l'annonce de tes rêves.

      Ou encore plus geek (et inutile) avoir un graphique sur l'évolution de ton compte en banque

      • [^] # Re: le bon coin

        Posté par . Évalué à 3. Dernière modification le 14/11/14 à 14:38.

        Apparemment on peu juste interroger mais pas créer de petite annonce

        En effet. Je pense que l'ajout d'annonces est de toute façon beaucoup moins intéressante, car Weboob permet de gagner du temps surtout sur des tâches très fréquentes (à moins d'être un utilisateur très intensif du boncoin, je ne pense pas que ça vaille le coup de développer ça).

        • [^] # Re: le bon coin

          Posté par . Évalué à 3.

          Bien au contraire …
          Si vous voulez un truc pour bien utiliser le bon coin voici ce qu'il est nécessaire de faire :
          - rédigez vos annonces de manière claire et sans équivoque avec les infos minimales.
          - n'oubliez pas de préciser si vous ne voulez pas être contacté après 20h30 par exemple, certain n'ont pas les mêmes fuseaux horaires que vous.
          - Recherchez le prix du neuf AVANT parfois on trouve des objets plus chers que le neuf après promo.
          mais surtout :
          postez les le vendredi soir et/ou le samedi soir.
          Si une annonce n'a rien donné le lundi laissez la.
          Par contre je vous conseille de l'effacer puis de la remettre le vendredi d'après.
          En effet la majorité des gens consultent ce site le week end et il vaut mieux être placé dans les premiers.

          Et donc si un outil permettait d'effacer puis de re-actualiser des annonces en automatique cela serait SUPER utile.

  • # What is stable?

    Posté par . Évalué à 7. Dernière modification le 14/11/14 à 07:26.

    Je trouve que weboob est un très très bon projet qui permet d'éviter les horribles IHM de certains sites web, et de gagner du temps sur du traitement massif de données à usage perso (massif <-> perso, je sais, ça fait un peu contradictoire).
    Ce sera à mon avis le prochain gros combat du projet que de se faire "accepter" à part entière par les sites web utilisés.
    Weboob stable ok, mais qui me dit que les 137 sites web intégrés garderont leur même système d'accès web aux données?

    • [^] # Re: What is stable?

      Posté par . Évalué à 3.

      Pour la stabilité, on parle bien ici effectivement que du coeur et des outils associés. Les modules eux seront mis à jour durant le cycle de vie de la 1.0.

      Comme c'est une version dans une Debian stable, on fera notre possible pour backporter les patchs sur les modules si nécessaire.

  • # Où est mon jeu de mot graveleux ?

    Posté par . Évalué à 5.

    Je suis très déçu ! « Weboob atteint la maturité »… C'est tout ?

    Please do not feed the trolls

  • # Javascript ?

    Posté par (page perso) . Évalué à 4. Dernière modification le 14/11/14 à 09:08.

    Qu'en est-il des sites qui font un usage intensif du Javascript (par exemple des sites basés sur AngularJS - je pense notamment au site "My Renault") ?
    La dernière fois que j'ai regardé, ça ne semblait pas supporter les sites faits comme ça, du coup j'utilise PhantomJS…

    https://www.domotego.com/ | https://www.maccagnoni.eu/ | https://www.smm-informatique.fr/

    • [^] # Re: Javascript ?

      Posté par (page perso) . Évalué à 2.

      Ça dépend.

      Si le JavaScript du site utilise principalement une API (fermée) alors encore mieux pour nous, on simule le JavaScript et c'est plus facile que de parser des pages.

      Dans le cas contraire et le JavaScript est volontairement obscur, les modules peuvent utiliser autre chose que Browser (comme le module Citibank qui utilise Selenium).

      • [^] # Re: Javascript ?

        Posté par (page perso) . Évalué à 4.

        Pourquoi ne pas vous être appuyé sur Scrapy pour parser les pages ?

        • [^] # Re: Javascript ?

          Posté par (page perso) . Évalué à 5.

          Pour écrire un parser Scrapy fait moins de choses que weboob.browser, et globalement utilise les mêmes technologies : requests et lxml. De plus il est mal pensé pour une utilisation interactive (plutôt aspiration de masse avec gestion des URLs un peu simpliste).
          De plus weboob propose beaucoup d'outils supplémentaires (filtres, gestion de la pagination, des formulaires…).

          Il faudrait que j'écrive une comparaison plus détaillée entre les deux projets.

          • [^] # Re: Javascript ?

            Posté par (page perso) . Évalué à 3.

            Une comparaison plus détaillée serait intéressante, effectivement.

            Si le parseur est de meilleure qualité (fonctionnelle ou autre), il aurait tout intérêt à être utilisable hors de/sans Weboob. D'ailleurs, ça m'intéresse :)

            Je dis ça car j'utilise à titre perso Scrapy ; si Browser est mieux, autant l'utiliser, mais je ne souhaite pas forcément utiliser une lib avec les "capacités" et autres aspects liés à Weboob.

            Est-ce qu'on peut utiliser facilement Browser sans forcément utiliser Weboob ?

            • [^] # Re: Javascript ?

              Posté par (page perso) . Évalué à 4.

              Oui, tu peux te cantonner à weboob.browser, je l'ai utilisé pour des scripts personnels. Il faut quand même installer le paquet weboob entier.

      • [^] # Re: Javascript ?

        Posté par (page perso) . Évalué à 2.

        En gros, le contenu des pages est généré à la volée en créant des éléments du DOM en JavaScript, du coup au chargement de la page il n'y a quasiment rien, il faut attendre la fin du chargement des données en AJAX et la génération des éléments par le javascript pour pouvoir cliquer sur un lien. Et ça j'ai eu l'impression que ce n'est pas possible.

        https://www.domotego.com/ | https://www.maccagnoni.eu/ | https://www.smm-informatique.fr/

        • [^] # Re: Javascript ?

          Posté par (page perso) . Évalué à 2.

          Oui, mais comment les données sont récupérées ? Si les requêtes AJAX sont toujours les mêmes, ou encore mieux renvoie autre chose que du HTML, ce n'est pas forcément plus compliqué à gérer.

        • [^] # Re: Javascript ?

          Posté par (page perso) . Évalué à 3.

          je suppose qu'il faut un avoir un compte sur myrenault pour regarder le site ?

          If you choose open source because you don't have to pay, but depend on it anyway, you're part of the problem.evloper) February 17, 2014

          • [^] # Re: Javascript ?

            Posté par (page perso) . Évalué à 2.

            Oui, il faut un compte.
            Cela dit, pour commencer la page suivante a un aspect très similaire et le même comportement :
            http://www.renault.fr/gamme-renault/vehicules-electriques/zoe/zoe/
            À l'affichage de la page, il y a un spinner carré, le temps d'afficher le contenu.
            Ensuite, en cliquant sur « PRIX & CARACTÉRISTIQUES » par exemple, le cadre s'agrandit et fait apparaître son contenu.
            Mais il n'y a en effet pas tous les aspects qui m'ont posé problème sur cette page.

            https://www.domotego.com/ | https://www.maccagnoni.eu/ | https://www.smm-informatique.fr/

  • # Intégration Debian

    Posté par . Évalué à 3.

    Pour revenir sur les actualités de la 1.0, le temps de développement de cette version a été assez court. Notre objectif (réussi) étant une migration de la version 1.0 dans Debian testing avant le gel. Il n'y a donc eu que six (intensives) semaines entre la 0.j et la version 1.0.

    Les parsers doivent évoluer avec les modifs des sites.

    Il y a pas un dépôt spécial dans Debian pour les choses qui évoluent vite (par exemple les données d'antivirus) ?

    Une fois que le code est en v1 dans Debian stable, pourrait-on toujours ajouter ou mettre à jour des parsers via ce dépôt ?

    • [^] # Re: Intégration Debian

      Posté par (page perso) . Évalué à 6.

      Les modules (ce que tu dois désigner par parsers) sont mis à jour par weboob lui-même qui a son propre système de dépôts.

      On pourrait aussi avoir un dépôt spécial pour certaines distributions, mais pour l'instant personne ne s'en occupe.

      • [^] # Re: Intégration Debian

        Posté par . Évalué à 3.

        Les modules (ce que tu dois désigner par parsers)

        Oui, sans doute. Le code qui décortique une page pour y piocher les bonnes infos.

        sont mis à jour par weboob lui-même qui a son propre système de dépôts.

        Ah, ok. En espace utilisateur, donc.

  • # gs

    Posté par . Évalué à 4.

    Est-il possible d'utiliser un module weboob depuis un google spreadsheet (c'est du javascript like)? Je reve mais ça me rendrait bien service :)

  • # Sur un site avec authentification

    Posté par (page perso) . Évalué à 3.

    Bonjour,

    Je cherche depuis pas mal de temps une solution pour interroger le site d'un de mes fournisseurs afin d'extraire des données qui ne peuvent pas récupérer (c'est eux qui le disent). J'ai essayé d'écrire mon propre parser mais j'ai buté sur l'authentification. Pour accéder au site je dois saisir dans un formulaire un couple login/pass. Est-ce que Weboob pourrait gérer ce genre de cas ?

    Born to Kill EndUser !

  • # Watchwolf

    Posté par . Évalué à -5.

    c'est super dangereux comme logiciel …

    déjà donner ses informations d'identification du compte en banque à un module d'une application c'est juste horrible.
    Ensuite si le site se met à jour et non le module on peut avoir un résultat aléatoire.

    Personnellement je ne conseil pas d'utiliser ce style d'application, et surtout pas pour modifier des données en ligne.

    • [^] # Re: Watchwolf

      Posté par (page perso) . Évalué à 10.

      déjà donner ses informations d'identification du compte en banque à un module d'une application c'est juste horrible.

      Ce n'est pourtant pas très différent d'un navigateur classique sur ce point-là.

      Dans tous les cas, on doit faire confiance au logiciel. Soit parce qu'on lit son code source, ou parce que le logiciel est très utilisé et qu'on espère que des gens ont revu le code, ou parce qu'on connaît bien les développeurs, ou parce qu'une entreprise travaillant avec des banques a développé une partie de l'application, …

    • [^] # Re: Watchwolf

      Posté par (page perso) . Évalué à 1.

      Tout à fait. D'autant plus que la dernière fois que j'ai regardé cela, les informations de connexion était en clair dans un fichier de conf.

      • [^] # Re: Watchwolf

        Posté par . Évalué à 7.

        Tu as la possibilité de stocker ton mot de passe dans ton gestionnaire de mot de passe préféré si celui ci prend en charge les appels en ligne de commande

        • [^] # Re: Watchwolf

          Posté par . Évalué à 7.

          Et également de ne pas le stocker du tout et de le rentrer à chaque appel.

          • [^] # Re: Watchwolf

            Posté par (page perso) . Évalué à -2.

            Aux moinseurs : le score de mes commentaires, je m'en fou totalement. On peut ne pas être d'accord, etc… je le conçois. Mais là, j'avoue ne pas comprendre et je demande donc pour la première fois : pourquoi ?

            Je n'ai fait qu'annoncer un fait (login/mot de passe stocké en clair). Pour des informations qui peuvent être sensibles (celui qui utilise weboob utilise sans doute plusieurs services et peut donc sans doute stocker plusieurs couples login/mdp), c'est très dangereux (surtout pour les services bancaires).

            A l'heure où on fait tout une histoire pour des failles ces derniers temps (attention, une personne avec un accès à une machine virtuelle peut choper les clés privées de n'importe quelle machine virtuelle hébergée par la même machine hôte, Shellshock, etc…) ça me semble des plus pertinent de signaler cet état de fait !

            N'oubliez pas que la plus grande faiblesse d'un système n'est pas le système lui-même mais le facteur humain. Qu'un logiciel stocke donc cela par défaut en clair et de manière totalement silencieuse est donc très dangereux. Un simple "cat" et hop, on a tout ! Je ne dis pas qu'il faille une solution ultra sécurisée, mais une solution rendant un simple cat inefficace, c'est le minimum.

            Maintenant, le seul commentaire réellement pertinent est celui de laurentb (http://linuxfr.org/nodes/103940/comments/1573460). En effet, maintenant, à l'ajout d'un backend on a le choix (avec la possibilité d'une commande externe). Chose qui n'était pas le cas lorsque j'avais testé.

            • [^] # Re: Watchwolf

              Posté par (page perso) . Évalué à -1.

              Mais là, j'avoue ne pas comprendre et je demande donc pour la première fois : pourquoi ?

              https://linuxfr.org/news/weboob-atteint-la-maturite#comment-1573460

              de manière totalement silencieuse

              A ma connaissance, rien n'est fait de manière silencieuse et c'est toi qui décide.

              (attention, une personne avec un accès à une machine virtuelle peut choper les clés privées de n'importe quelle machine virtuelle hébergée par la même machine hôte, Shellshock, etc…)

              Faux sauf cas exceptionels (0-days, admin nul…), contrairement à ton sous-entendu que c'est possible tout le temps. Rien que ce mensonge déguisé mérite un moinssage.

              le seul commentaire réellement pertinent est celui de laurentb (http://linuxfr.org/nodes/103940/comments/1573460).

              Il me semble que ça fait un moment que c'est comme ça, donc bon parler de la version d'il y a un moment est… inutile, d'où sans la note qui dit que c'est inutile.

              (…) c'est très dangereux (surtout pour les services bancaires).

              Oui, après le super exploit d'avoir réussi à choper mon pass, te voila avec ma liste d'achats (ajouter un compte bancaire demandant la deuxième autentification qu'est le mobile), trop cool (je ne dis pas que c'est génial que ça fuite, mais bon le gain est faible pour le méchant).

              • [^] # Re: Watchwolf

                Posté par (page perso) . Évalué à 3.

                En fait, derrière ça il y a la question de la sécurité des navigateurs en général.

                Les cookies sont stockés en clair, et souvent la plupart des mots de passe (par défaut sous Firefox, et j'ai beau avoir compilé Chromium avec USE="gnome-keyring" il n'a pas l'air de l'utiliser, en tout cas par défaut). C'est vite oublié parce que c'est une habitude (mais ça ressort pour un logiciel inhabituel), et que l'endroit où sont stockés les mots de passe est "obscur". En l'état c'est pour moi c'est une des raisons principales de chiffrer son disque.

                Oui, après le super exploit d'avoir réussi à choper mon pass, te voila avec ma liste d'achats

                Oui le mot de passe d'un compte de banque française est souvent peu utile. Je serai sacrément plus embêté de stocker mon mot de passe e-mail en clair (oh, mais que font les logiciels d'e-mail ?).

              • [^] # Re: Watchwolf

                Posté par (page perso) . Évalué à -3.

                A ma connaissance, rien n'est fait de manière silencieuse et c'est toi qui décide.

                Maintenant oui. Le tord que j'ai ? Ne pas essayer chaque version du logiciel ? Ok. J'admet.

                Faux sauf cas exceptionels (0-days, admin nul…), contrairement à ton sous-entendu que c'est possible tout le temps. Rien que ce mensonge déguisé mérite un moinssage.

                Aucun sous-entendu. Ces derniers temps il y a eu tout un brasssage médiatique autour de failles détectées. Je n'ai jamais dis que c'était tout le temps le cas. Donc non, ce n'est pas un mensonge.

                Oui, après le super exploit d'avoir réussi à choper mon pass, te voila avec ma liste d'achats (ajouter un compte bancaire demandant la deuxième autentification qu'est le mobile), trop cool (je ne dis pas que c'est génial que ça fuite, mais bon le gain est faible pour le méchant).

                Ta banque oui. Mais elles ne sont pas toute comme ça. Et le mal peut être fait. Mes parents, chez la BRED, peuvent faire un virement sans authentification supplémentaire.

                • [^] # Re: Watchwolf

                  Posté par (page perso) . Évalué à -1. Dernière modification le 15/11/14 à 09:59.

                  Maintenant oui. Le tord que j'ai ? Ne pas essayer chaque version du logiciel ? Ok. J'admet.

                  Ce n'est pas une version de retard que tu as…
                  La dernière fois que j'ai essayé Linux, ça marchait que sur i386, c'est vraiment pas portable ce truc! Quoi? Ha, désolé, j'ai testé il y a 20 ans, le tort que j'ai est de ne pas essayer chaque version du logiciel…

                  Non, le tort que tu as est :
                  - De partir sur l'idée que c'est toujours le cas et en faire une tirade
                  - De partir dans une tirade contre Weboob en faisant semblant de demander pourquoi on te moinsse, mais en fait tu t'en fou qu'on te réponde pouruqoi on te moinsse, tu as toujours raison d'avoir dit ton truc.

                  Aucun sous-entendu.

                  Donc qu'en conclure? OK, pas un mensonge. Mais c'est faux. Mieux certes mais quand même… Donc voila : tu es moinssé car ton commentaire est inutile vu qu'il est faux.

                  Mes parents, chez la BRED, peuvent faire un virement sans authentification supplémentaire.

                  Si ce que tu dis est vrai : mauvaise banque, changer banque.
                  Toutefois, tu as encore l'air d'être dans le faux (et "nouveau" à l'air d'être pour la pub, vu qu'ailleurs ils disent "plus besoin de votre carte SECUR E-Bred, si vous l’utilisez actuellement")
                  Mmm… Bon, après relecture, ça a l'air optionel, donc : mauvais parents, changer parent si ils n'ont pas choisi la sécurité.

                  PS : sinon, tu t'es posé la question de où se trouve le mot de passe de ton agent email, email qui permet de récupérer les reset de mot de passe de quasi tous les services en ligne? Ca ne te dérange pas? sélection subjective des problèmes?

                  • [^] # Re: Watchwolf

                    Posté par (page perso) . Évalué à 1.

                    Non, le tort que tu as est :
                    - De partir sur l'idée que c'est toujours le cas et en faire une tirade
                    - De partir dans une tirade contre Weboob en faisant semblant de demander pourquoi on te moinsse, mais en fait tu t'en fou qu'on te réponde pouruqoi on te moinsse, tu as toujours raison d'avoir dit ton truc.

                    Point 1. Oui, et j'ai fais mon mea culpa
                    Point 2. Non. Je ne pars pas en guerre contre Weboob. Si c'était le cas, je l'aurais dénigrer à fond. Je peux faire bien plus que ce que j'ai fais. Cet échange m'a même donné envie de le retester ;)

                    Donc qu'en conclure? OK, pas un mensonge. Mais c'est faux. Mieux certes mais quand même… Donc voila : tu es moinssé car ton commentaire est inutile vu qu'il est faux.

                    Que celui qui n'a jamais fait d'erreur me jette la première pierre. Mais j'ai au moins le courage de le reconnaitre, contrairement à beaucoup ici (et je ne vise personne en particulier). Nul besoin d'être condescendant.

                    Si ce que tu dis est vrai : mauvaise banque, changer banque.
                    Toutefois, tu as encore l'air d'être dans le faux (et "nouveau" à l'air d'être pour la pub, vu qu'ailleurs ils disent "plus besoin de votre carte SECUR E-Bred, si vous l’utilisez actuellement")
                    Mmm… Bon, après relecture, ça a l'air optionel, donc : mauvais parents, changer parent si ils n'ont pas choisi la sécurité.

                    Mauvais logiciel, changer de logiciel. Mauvais interlocuteur, changer d'interlocuteur.
                    Non plus sérieusement, c'est quoi cet extrémisme ? Pour changer il faut avoir le choix (et je ne parle même pas de ta boutade sur le changer de parents). Si aucun établissement bancaire ne respecte tout mes critères je fais quoi ? Je monte le mien qui respecte mes critères ? Ou je fais un compromis ? Pour ma part, je suis pragmatique. Je sais qu'il n'est pas possible d'avoir le beurre, l'argent du beurre et le sourire de la crémière.

                    Et ne pas distinguer une critique constructive d'une critique acerbe, c'est dommage. On progresse plus vite avec des erreurs et de bonnes critiques qu'avec des "ouiais, c'est trop génial ! Je kiff !!!"

                    PS : sinon, tu t'es posé la question de où se trouve le mot de passe de ton agent email, email qui permet de récupérer les reset de mot de passe de quasi tous les services en ligne? Ca ne te dérange pas? sélection subjective des problèmes?

                    Absolument pas. C'est une histoire de compromis. Je sais où se trouve le mot de passe de mon agent email. Et il n'est configuré que pour le boulot, où je ne suis inscrit à rien. Et pas possible en l'ouvrant avec un éditeur de texte de le récupérer facilement. Et pour les mails à caractère confidentiel, ils sont cryptés (et là, je tape le mot de passe à chaque fois). Pour mon adresse perso, j'utilise le webmail. En https. Et je tape mon mot de passe à chaque fois.

                    Et oui, j'ai des notions de sécurité. Mais je sais que ce n'est pas le cas de tout le monde (d'où ma remarque initiale). Malheureusement, sécurité et praticité font souvent mauvais ménage. Du coup, je trouve un compromis en fonction des situations. Tout n'est pas blanc ou noir.

                    • [^] # Re: Watchwolf

                      Posté par . Évalué à 8.

                      Juste une petite remarque en passant : la discussion se focalise ici sur la sécurité des mots de passe et identifiants. Je pense qu'on a fait le tour du sujet.

                      Il est cependadnt à noter que beaucoup de modules utilisés par Weboob ne nécessitent pas ces informations. On peut notamment penser aux sites de vidéos, de météo, les journaux en ligne, etc. Réduire Weboob aux sites bancaires, c'est très réducteur.

              • [^] # Re: Watchwolf

                Posté par (page perso) . Évalué à 1.

                (attention, une personne avec un accès à une machine virtuelle peut choper les clés privées de n'importe quelle machine virtuelle hébergée par la même machine hôte, Shellshock, etc…)

                Faux sauf cas exceptionels (0-days, admin nul…), contrairement à ton sous-entendu que c'est possible tout le temps. Rien que ce mensonge déguisé mérite un moinssage.

                Accéder à un disque virtuel est trivial, même s'il est monté par le logiciel de virtualisation.
                Donc il est facile d'accéder à ce qu'on veut, donc aux clefs privées.

                Si la machine virtuelle a une partition chiffrée, soit elle est déchiffrée automatiquement donc on y accès également (mais c'est plus compliqué), soit elle est déchiffrée uniquement lorsque l'utilisateur entre manuellement de quoi déchiffrer, ce qui complique beaucoup la tâche de l'attaquant mais tout est faisable puisqu'on a le contrôle total de la mémoire et du processeur de la machine virtuelle (par contre là c'est vraiment nettement plus compliqué, sauf à faire un bête scan de la mémoire si on sait d'avance ce qu'on cherche et que par chance c'est en cours d'utilisation).

                • [^] # Re: Watchwolf

                  Posté par (page perso) . Évalué à 7.

                  Accéder à un disque virtuel est trivial, même s'il est monté par le logiciel de virtualisation.
                  Donc il est facile d'accéder à ce qu'on veut, donc aux clefs privées.

                  On parle d'une personne ayant accès à un guest qui pourrait lire les donnée des autres guest. Il ne me semble pas que ce soit trivial. Si on parle de l'hébergeur, c'est évident qu'il y a accès facilement, mais l'accès au disque est aussi trivial sur une machine physique. C'est un peu plus complexe pour la RAM.

                  « Rappelez-vous toujours que si la Gestapo avait les moyens de vous faire parler, les politiciens ont, eux, les moyens de vous faire taire. » Coluche

                  • [^] # Re: Watchwolf

                    Posté par (page perso) . Évalué à 3.

                    On parle d'une personne ayant accès à un guest qui pourrait lire les donnée des autres guest

                    Je n'avais pas compris que c'était à partir d'un invité.
                    Forcément ça change tout.

            • [^] # Re: Watchwolf

              Posté par . Évalué à 4.

              Je ne t’ai pas moinsé, mais tu es néanmoins dans l’erreur. De mémoire, weboob stocke les mots de passe quelque part sous ~/.config/weboob. Rien ne t’empêche si tu as plusieurs utilisateur de changer les droits des répertoires. ssh le rend obligatoire, ça pourrait être une évolution intéressante d’avoir des droits pour le seul utilisateur de la session. Après, dans tous les cas, c’est à toi de sécurisé ta session.

              • [^] # Re: Watchwolf

                Posté par (page perso) . Évalué à 4.

                C'est aussi le cas de weboob qui refuse de se lancer si d'autres utilisateurs ont la permission de lire le fichier ~/.config/weboob/backends.

      • [^] # Re: Watchwolf

        Posté par (page perso) . Évalué à 7.

        Il y a 3 possibilités :

        • enregistrer le mot de passe (aucun différence avec enregistrer le mot de passe dans son navigateur sans mot de passe maître)
        • laisser weboob demander le mot de passe à chaque fois
        • utiliser une commande externe, comme pass

        Elles sont proposées à l'ajout d'un backend.

  • # ajout dans videoob ?

    Posté par (page perso) . Évalué à 2.

    il me semble qu'on pourrait ajouter des flux TV à videoob en re-écrivant en Python
    http://darbycrash.altervista.org/PHP/WilmaaTV.php.txt

    pas un gros travail il me semble (j'avais commencé, puis laissé tomber)

    If you choose open source because you don't have to pay, but depend on it anyway, you're part of the problem.evloper) February 17, 2014

    • [^] # Re: ajout dans videoob ?

      Posté par . Évalué à 2.

      L'idée serait de faire le même travail que ce qui a été fait avec la distinction fichier/stream dans radioob.
      Et pour pousser l'idée jusqu'au bout il devrait être possible de factoriser le code des deux applications.

      Là ou je me pose des questions c'est dans la pertinence de la méthode vis à vis de la philosophie de weboob: coller en hard dans le module le flux à afficher me semble sortir de cette philosophie. Par contre aller récupérer le flux via le site du diffuseur correspond plus à ce que fait weboob pour les autres types de données et permettrait d'éviter de casser le module en cas de changement.
      Mais de manière plus pragmatique, pourquoi aller chercher une info à chaque lancement d'un module alors qu'on sait qu'elle sera relativement pérenne ?

      • [^] # Re: ajout dans videoob ?

        Posté par (page perso) . Évalué à 1.

        Si c'est facile à récupérer, on peut récupérer sur le site.

        Mais sinon, pour ce genre d'information, on peut aussi créer un test unitaire qui sera chargé de la vérifier.

  • # gestion des syntaxes

    Posté par (page perso) . Évalué à 5.

    Salut et bravo pour cette version stable.

    Une petite question en passant: est-ce que vous avez moyen de récupérer la syntaxe de manière normalisée des sites avec une capacité « messages » ? Par exemple si je récupère le code source d'une page mediawiki, est-ce que j'ai une variable quelque part qui me dit que c'est du mediawiki ? Idem pour du Markdown, du BBcode, du HTML ou du XHTML, etc ?

    Sans demander à faire la conversion vous même, savoir quelle est la syntaxe serait déjà super pratique et permettrait de gérer de façon générique les sites derrière, et ça ne demanderait pas grand chose aux développeurs de modules d'ajouter cette info. À première vue je ne vois rien qui permet ça dans la capicité « messages ». Au passage la doc a l'air d'avoir été bien améliorée aussi, cool :)

  • # videoob

    Posté par (page perso) . Évalué à 3.

    Je n'ai pas trop de bol, videoob a marché peu souvent pour moi (il n'a pas de jambes !) mais quand il a fonctionné c'est du bonheur :

    • la récup' des guignols de l'info automatiquement pour visualiser la semaine, même si j'ai loupé la complète du dimanche matin (un peu après 13h…)
    • j'aurais quelques besoins plus complexes, que j'espère voir un jour : récupération de vidéos en différé de séries TV, offrant la VO (ça ce n'est pas lié à weboob, c'est un choix du diffuseur d'être rétrograde et ne fournir que la VF bien souvent :/)
      • idéalement ajouter les sous-titres automatiquement
      • au besoin récupérer les sous-titres ailleurs en VO et les ajouter (ça, ça n'existe pas à ma connaissance)
      • si vraiment besoin, récupération de la bande son en VO (je ne connais pas de service de ce genre pour autant o_O)
      • oui, certains auront reconnu un recyclage de demande du forum que je ne réussis pour autant toujours pas à faire :/ (j'aime pourtant bien les séries en VO sous-titrées en VO, c'est tellement plus cohérent que le VOSTFR).

    Il y a des manières de regarder la TV autrement ;-) (mais actuellement, c'est très limité comme offre).

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.