Meta‑Press.es : un méta‑moteur de recherche pour la presse dans votre navigateur

38
1
nov.
2019
Mozilla

Mozilla vient de valider l’ajout de l’extension Meta‑Press.es à son catalogue. C’est l’aboutissement de plusieurs années d’efforts et c’est une étape importante pour ce projet de méta‑moteur de recherche, conçu d’abord pour les journalistes et les revues de presse des associations.
logo de Meta‑Press

Meta‑Press.es est techniquement simple, il permet d’interroger suffisamment de journaux pour découvrir plusieurs millions de résultats en quelques secondes, tout en rapatriant les dix derniers de chaque journal dans le navigateur de l’utilisateur.

De là, les résultats peuvent être triés, explorés, filtrés, sélectionnés et exportés. Une sélection de résultats peut être réimportée plus tard dans le navigateur ou bien dans le navigateur d’un autre utilisateur. Elle peut encore servir à alimenter le flux RSS de la revue de presse d’une association.

Copie d’écran de l’extension Meta‑Press

La validation par Mozilla est une date de lancement. Le projet sera présenté au dernier symposium DECODE, le 5 novembre prochain à Turin.

Cette publication arrive à point nommé dans le bras de fer qui oppose Google et les éditeurs de presse en ligne concernant une rémunération des extraits d’articles publiés par le moteur de recherche (en application de la directive européenne sur le droit d’auteur adoptée le 26 mars 2019), pour montrer qu’il est possible de faire autrement.

En effet, Meta‑Press.es ne publie rien, c’est chaque utilisateur qui interroge chaque journal depuis son propre ordinateur. De plus, Meta‑Press.es ne tente pas de s'accaparer la rémunération publicitaire des autres en mettant sa pub à côté des contenus importés.

Feuille de route

Pour l’instant il y a cinquante sources disponibles (majoritairement en langue anglaise, mais de quarante pays différents), mais déjà des contributeurs en ont ajouté de nouvelles. La moitié du travail est fait, le méta‑moteur est fonctionnel et facilement installable. La suite sera un minutieux travail d’inventaire… Il suffit d’écrire vingt lignes de JavaScript pour ajouter une nouvelle source, et elles peuvent être testées depuis les préférences de l’extension, c’est donc à la portée de bon nombre de développeurs.

Il reste à internationaliser l’extension, coder la vérification routinière des liens, travailler le graphisme, etc. Toute aide est la bienvenue.

Motivation

N. D. M. : ce paragraphe a été rédigé en modération à partir de la présentation initiale du projet.

J’ai fait partie, dès 2008, des citoyens indépendants engagés dans le même sens que La Quadrature du Net… Après quelques traductions, je me suis volontairement attelé à une tâche besogneuse : la revue de presse. Pendant plus de cinq ans, j’ai consacré la majorité de mon temps libre à tenir la revue de presse de La Quadrature à jour. La tâche était colossale.
J’ai longuement cherché une alternative aux alertes Google News, sans rien trouver qui soit libre, ou même accessible, et qui, surtout, rivalise avec le pouvoir d’indexation d’un des plus gros moteurs de recherche !
J’ai commencé un premier prototype fin 2013. Benjamin Bayart m’avait dit, droit dans les yeux, que se passer des moteurs de recherche centralisés est un enjeu majeur du logiciel libre. Mais c’était trop lent et le navigateur ne permettait pas de faire partir les requêtes depuis le poste de l’utilisateur. La nouvelle norme (ECMAScript 5, 6 et 7) et la vitesse d’exécution actuelle ont changé la donne : au troisième trimestre 2017, le prototype était capable de découvrir des millions de résultats en moins de dix secondes. Un tour du monde de la presse, en un clic.

Aller plus loin

  • # Si on arrêtait le mensonge et la diffamation ?

    Posté par  . Évalué à 9. Dernière modification le 02 novembre 2019 à 10:22.

    Meta‑Press.es ne tente pas de voler la rémunération publicitaire des autres en mettant sa pub à côté des contenus importés.

    Qui vole ? Google ? Comme déjà débattu, google ne volme rien, puisqu'il ne fait qu'indexer … Il ne fait que donner de la visibilité.

    Il faudrait arrêter de mentir à tout va. Le monopole de google est un problème, mais ce n'est pas en mentant qu'on va le régler.

    • [^] # Re: Si on arrêtait le mensonge et la diffamation ?

      Posté par  (site web personnel) . Évalué à 10.

      En tout cas, en ne payant pas d'impôt (à sa mesure) en France, il vole les français ;-) (même si légalement, les bidouilles fiscales sont autorisées)

      • [^] # Re: Si on arrêtait le mensonge et la diffamation ?

        Posté par  . Évalué à -5. Dernière modification le 02 novembre 2019 à 12:22.

        En même temps Google n'est pas une entreprise française, elle n'est donc pas obligé d'avoir d'employé en France, et en ce sens elle n'aurait pas à payer d'impôts en France.

        • [^] # Re: Si on arrêtait le mensonge et la diffamation ?

          Posté par  (Mastodon) . Évalué à 10.

          Mais Google fait du profit sur le dos des français sans rien verser à la France.
          Alors que si je veux faire pareil depuis la France, une partie de ces profits revient à l'état français.
          C'est de ces impôts là dont il est question…

          Google fait du chiffre d'affaire en France, sans rendre de comptes, et c'est ça qui compte.

          Yth.

          • [^] # Re: Si on arrêtait le mensonge et la diffamation ?

            Posté par  (site web personnel) . Évalué à 3.

            Je n'y connais rien aux statuts des entreprises mais :

            • il existe google.fr ;

            • il y a des employés google en France.

            Personnellement, cette histoire d'impôt traîne depuis plus de 20 ans donc soit on nous cache quelque chose, soit on y gagne nous aussi… Je pense un peu des deux. Je ne suis pas sur que Total, PSA, Renault, Airbus payent leur impôt de manière équivalente dans tous les pays…

            Je suis donc persuadé que si le sujet n'avance pas, c'est que nos dirigeants n'ont pas envie que cela change. Au niveau global, la France (et les pays Européen doivent être gagnant.

            PS : y a-t-il une loi disant qu'internet est un lieu ouvert sans règle ? Si non, qu'est ce qui empêche de bloquer google en France, si les machines sont physiquement hors du territoire de l'UE ? Je fais exprès de prendre la position inverse histoire de faire un raisonnement par l'absurde comme en Math.

            • [^] # Re: Si on arrêtait le mensonge et la diffamation ?

              Posté par  . Évalué à 4.

              les pays Européen doivent être gagnant.

              Pas tous. C'est un peu ça le problème.

            • [^] # Re: Si on arrêtait le mensonge et la diffamation ?

              Posté par  . Évalué à 1.

              Idem pour Air Liquide (qui travaille en collaboration dans le monde avec Total).

            • [^] # Re: Si on arrêtait le mensonge et la diffamation ?

              Posté par  (site web personnel) . Évalué à 4.

              Je suis donc persuadé que si le sujet n'avance pas, c'est que nos dirigeants n'ont pas envie que cela change

              C'est facile, on veut pouvoir que nos sociétés exportatrices payent des impôts en France et non dans les pays de vente. Le problème n'est pas les GAFA mais la manière de fonctionner des sociétés exportatrices. Je fais du business dans un pays, mais je produit dans un autre. Sauf qu’aujourd’hui, elles peuvent choisir où enregistrer leur profit !

              Il y a des projets de "lissage" pour répartir les gain, mais aussi les couts de production. Il faut une consolidation mondiale et une règle de répartition des bénéfices. L'OCDE travaille dessus, l'ACIS, et l'ACCIS était un projet européen mais repoussé par la France et l'Allemagne qui y trouve donc leur compte. Des petits pays comme les Pays Bas perdront 30% de leur IS, car l'activité ne se trouve pas dans ce pays.

              "La première sécurité est la liberté"

      • [^] # Re: Si on arrêtait le mensonge et la diffamation ?

        Posté par  . Évalué à 2.

        En tout cas, en ne payant pas d'impôt (à sa mesure) en France, il vole les français ;-)

        Je me sens floué, volé, bafoué. Il y a un tas d'idées que j'ai eues et que des sociétés, qui ne m'ont même pas consulté et avec lesquelles je n'ai même pas eu d'échange, ont reprises et commercialisées en se faisant un tas de tunes avec ça. Je leur intenterais bien un procès pour manque à gagner, tiens. Ou mieux, je vais monter une société de lobbying et harceler les députés Européens pour faire élaborer un règlement en ma faveur. Oooh, je sens là une activité bien juteuse!

        -->[]

    • [^] # Re: Si on arrêtait le mensonge et la diffamation ?

      Posté par  (site web personnel) . Évalué à 10.

      C'est tout à fait pertinent. Je suis pour qu'on corrige la dépêche en remplaçant voler par ++s'accaparer++.

      Ensuite, un lien vers le précédent débat pourrait être utile.

      Enfin, je garde en tête que Les recherches sur Google génèrent de moins en moins de clics
      https://fr.express.live/les-recherches-sur-google-generent-de-moins-en-moins-de-clics/ 4 octobre 2019 ;

      En juin de cette année, 50,3% des recherches réalisées sur le moteur de recherche Google n’ont généré aucun clic.
      […]
      Cela signifie également que de nombreux utilisateurs ne vérifient plus la source initiale de l’information. Par conséquent, Google n’est plus un intermédiaire. C’est un moteur qui répond directement aux questions posées.

      L'Express blâme les utilisateurs pour cette évolution dans la pratique qu'ils ont du moteur de recherche, mais d'autres analysent ça comme étant le résultat d'un changement de politique du moteur :

      Ainsi, Google n’est plus considéré comme un simple moteur de recherche mais devient un moteur de réponses. Il favorise les réponses rapides et courtes. Si vous souhaitez, par exemple, connaitre les horaires d’ouverture d’un magasin, vous avez directement l’information sur les résultats de Google.

      https://www.3w-online.net/actualites-digitales/google-de-moins-en-moins-de-clics-sur-les-resultats-de-recherche/ Sep 13, 2019

      Si Google ne cherche plus à renvoyer les utilisateurs le plus vite possible vers le site apportant le bon résultat, il a sa part de responsabilité dans la diminution du trafic renvoyé, alors que les utilisateurs restent exposés à sa publicité. Cette publicité doit donc probablement pouvoir se vendre plus cher puisqu'elle est plus vue que celle du site indexé par le moteur… C'est une logique court-termiste certes, mais rentable (à court terme), et qui va chercher plus loin de nos jours ?

      Certes on parle là de la partie "moteur de recherche généraliste" de Google, mais pourquoi la politique du moteur s'arrêterait à cette partie de son activité ?

      Puisque Google est devenu un moteur de réponse plutôt qu'un moteur de recherche, il n'est plus un simple outil neutre d'indexation.

      La liberté ne s'use, que si on ne s'en sert pas.

      • [^] # Re: Si on arrêtait le mensonge et la diffamation ?

        Posté par  (site web personnel) . Évalué à 3.

        Corrigé, merci.

      • [^] # Re: Si on arrêtait le mensonge et la diffamation ?

        Posté par  . Évalué à 10.

        Il y a certainement une confusion, ici, entre Google "moteur de recherche" et Google Actualités "agrégateur de news".

        Effectivement, ces derniers temps, Google a étoffé ses réponses pour qu'on ne quitte plus la page Google. Météo, horaires, conversions… Ça diminue certainement le nombre de clics.

        Mais pour la presse, pour l'actualité ? Le raisonnement est différent: on ne cherche pas une actualité, on la suit. Là, c'est donc de Google Actualités dont il est question.
        Pour ce dernier, les médias l'ont accusé de s'accaparer leur travail en mettant un court extrait à coté du lien. Or, il y a deux problèmes avec cette histoire:
        1. si l'article se résume à deux phrases, de quel "travail" parle-t-on ?
        2. si cet extrait "empêche" des internautes de visiter le site d'origine, pourquoi la proposition de Google (mettre juste le lien) n'est-elle pas satisfaisante ?

        Pour rappel, en utilisant un aggrégateur RSS, on arrive encore assez facilement à se construire son propre Google Actualité. Ce dernier n'est donc pas une fatalité. S'il gêne les médias, qu'ils proposent le leur !

        • [^] # Re: Si on arrêtait le mensonge et la diffamation ?

          Posté par  . Évalué à 3.

          Pour rappel, en utilisant un aggrégateur RSS, on arrive encore assez facilement à se construire son propre Google Actualité.

          Non, les journaux classiques publient des dizaines d'articles quotidiens. Ce qui te flood copieusement ton agrégateur de flux. Surtout que tous les agrégateurs de flux que j'ai eu l'occasion de voir libres ou non sont défaillants pour gérer ce genre de choses, tu ne peux pas réorganiser les items d'un flux. Si ton flux est "bidule" tous les items seront dans bidules. 2 exceptions :

          • rss2mail → les MUA savent faire ça sans problème
          • feedly qui a une fonctionnalité que je trouve très peu utilisable pour tenter de créer des collections (mais c'est tout pourri)

          https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

    • [^] # Re: Si on arrêtait le mensonge et la diffamation ?

      Posté par  . Évalué à 0. Dernière modification le 05 novembre 2019 à 22:01.

      google ne vole rien, puisqu'il ne fait qu'indexer

      Pour que Google puisse indexer et ramasser de l'argent à la pelle avec sa pub, il faut du contenu. Google ne crée rien, il ne fait qu'utiliser le contenu des créateurs pour faire de l'argent sans aucun retour. Cela se nomme "parasitisme". Il compenserait en rendant les sites visibles? Un peu court… Google n'est pas indispensable. Le Net et les autres moteurs de recherche se porteraient mieux si Google disparaissait.

      • [^] # Re: Si on arrêtait le mensonge et la diffamation ?

        Posté par  . Évalué à 6.

        Quand Google a supprimé l'extrait en ne gardant que le lien, les journaux ont immédiatement paniqué. Eh oui, être référencé et bien présenté, ça… se paie.

        Et puis, "utiliser le contenu des créateurs" en réutilisant le chapeau de l'article, c'est un peu comme dire qu'un vendeur de journaux devrait payer les journaux pour mettre leur couverture en avant…

        • [^] # Re: Si on arrêtait le mensonge et la diffamation ?

          Posté par  . Évalué à 2.

          Les journaux ont paniqué par peur qu'un autre journal accepte de publier gratuitement l'extrait. C'est la tragédie des biens communs : si tout le monde refuse de filer les extraits à Google, ça fonctionne. Mais si un seul accepte, il dépassera tous les autres (comportement égoïste afin de battre les autres). Donc « bêtement » tout le monde accepte.

          Une autre manière de le formuler est que c'est du chantage.

          • [^] # Re: Si on arrêtait le mensonge et la diffamation ?

            Posté par  . Évalué à 3. Dernière modification le 12 novembre 2019 à 13:52.

            Ca « fonctionne » ? Qu'est-ce qui fonctionne ? Car avec ses extraits, l'autre journal reçoit plus de visiteurs, c'est bien ça ?

            On confirme donc que proposer l'extrait aide les journaux à obtenir plus de visiteurs ?… cqfd.

            • [^] # Re: Si on arrêtait le mensonge et la diffamation ?

              Posté par  . Évalué à 0.

              Oui, filer ton goûter à celui qui te menace de te foutre son poing dans la gueule permet de ne pas te faire taper. Ça « fonctionne » selon ta vision du monde. Mais ça n'est pas la mienne. Un jour, les gens qui en auront marre de Google viendront mettre un poing à tous ceux qui l'ont soutenu.

              • [^] # Re: Si on arrêtait le mensonge et la diffamation ?

                Posté par  . Évalué à 6.

                Cette analogie avec la grosse brute est foireuse: à la base, la demande des journaux est de ne plus montrer les extraits. Exactement ce que Google leur a proposé.

                Ce que veulent les journaux c'est pas du tout se passer de Google, c'est juste lui soutirer de l'argent. D'ailleurs, comme Google est un des rares à pouvoir se permettre de payer, cette loi le renforce simplement dans sa position dominante, qu'il paie ou non.

                Si je corrige ton analogie, on a une situation où tu files ton goûter (un extrait) à un gros baleize… qui te donne des bonbons (les visites des internautes, la visibilité de l'article). Les journaux disent "hey ! il me pique mon goûter ! les bonbons ça suffit pas !" ! Le gros baleize répond "ok, on arrête tout, garde ton goûter et je garde les bonbons". Maintenant on en est à la phase: "ah zut, en fait j'ai vachement besoin des bonbons".

                Google n'a nullement menacé les journaux, ils les a juste mis face à leurs contradictions:
                * Soit un journal est perdant à autoriser l'extrait --> on enlève l'extrait
                * Soit il y trouve son compte --> on garde l'extrait

                Moi aussi j'aimerais bien que Google soit moins omniprésent; mais ce n'est pas une raison pour déformer la réalité: Google rend service aux journaux en affichant ces extraits, car ça améliore leur visibilité. Et, oui, Google en profite aussi pour se faire de la thune au passage.

                • [^] # Re: Si on arrêtait le mensonge et la diffamation ?

                  Posté par  . Évalué à 5.

                  Ce que veulent les journaux c'est pas du tout se passer de Google, c'est juste lui soutirer de l'argent.

                  C'est exactement ce que je disais dans un précédent journal.

                  Google rend service aux journaux en affichant ces extraits

                  Tu déformes tellement la réalité pour la faire coller à ta vision hédoniste d'un tel monstre (va lire ce que dit Assange dessus). Google ne fonctionne que parce qu'il est hégémonique et unique. Forcément, après, à filer tous ses services soit-disant gratuitement, tout le monde le vénère. On pourrait énoncer les même éloges sur un service privé national hégémonique de santé, par exemple : on trouverait tous que « ça fonctionne », sans jamais pouvoir remettre en cause les mécanismes sous-jacent tellement on est aveuglé par sa « bonté » : si le monstre se retire, tu es dans la merde, alors tu fermes ta gueule et tu le vénères.

                  Ces formes de domination cachée liées à l'énorme disproportion de taille dans l'équilibre étaient historiquement l'apanage des systèmes féodaux (analogie faite par Schneier à la base). Les Lumières sont normalement passées par là pour nous prévenir que ça n'est pas un mode de société qu'on peut qualifier d'humain, selon leur philosophie. Revenir tellement en arrière avec l'acquiescement d'une bonne partie de la population me fait très peur.

                  Google est puissant parce que tout le monde en a peur. Ça n'est pas une situation acceptable en démocratie.

      • [^] # Re: Si on arrêtait le mensonge et la diffamation ?

        Posté par  . Évalué à 5. Dernière modification le 06 novembre 2019 à 12:07.

        Pour que Google puisse indexer et ramasser de l'argent à la pelle avec sa pub, il faut du contenu.

        Pour que le contenu soit visible et que l'éditeur du site ramasser de l'argent à la pelle avec sa pub, il faut que le contenu soit visible.

        Google ne crée rien, il ne fait qu'utiliser le contenu des créateurs pour faire de l'argent sans aucun retour.

        Tu mens encore une fois : le retour, c'est de la visibilité pour pas un rond: les éditeurs n'ont pas à payer une infra qui fera ça pour eux. D'ailleurs si c'était vraiment le cas, le fait que Google n'indexe plus les journaux ne devrait pas poser problème. Or les événements montrent le contraire.

        Cela se nomme "parasitisme".

        Moi j'appellerais plutôt ça une symbiose. Enfin jusque maintenant. Le problème c'est que ce sont les éditeurs qui se transforment en parasite, parce qu'ils n'en ont pas encore assez, et quand google essaie de s'en débarasser, ils s'accrochent …

        Google n'est pas indispensable.

        Bien sûr, on voit ce qui se passe lorsque Google ferme google news dans un pays.

        Le Net et les autres moteurs de recherche se porteraient mieux si Google disparaissait.

        Non, un autre prendrait sa place, c'est tout. Et ce que les simples d'esprits n'ont pas compris, c'est que taxer le référencement tel que la loi est fait aujourd'hui, c'est tout simplement un frein d'entrée pour un nouvel arrivant.

        Les "biens pensants" comme toi s'imagie que référencer c'est magique. Mais pour qu'un service comme Google News fonctionnne il faut deux choses :
        - une infra qui permet de faire tourner le tout
        - des donées personnelles des utilisateurs pour que les résultats de recherche correspondent aux intérets des utilisateurs
        - des algorithmes qui font le travail
        - mais pour les développer, il faut de la R&d et des investissements.

        Honnetement tu crois que les éditeurs vont se prendre le tête à faire ça ? Ils en ont pas les compétences et ce n'est pas leur métier. S'ils voulaient faire ça ça leur couterait un gros paquet de fric et ils feraient moins bien que Google. Donc oui, google leur rend un gros service et pour pas grand chose.

        Maintenant, ne te trompe pas, je ne suis pas du tout un fan de google, et son hégémonie pose beaucoup de problèmes: mais ce n'est pas avec du FUD et des lois inadaptées qu'on règlera le problème.

  • # Sources

    Posté par  (site web personnel) . Évalué à 3.

    Merci pour l’extension que je viens d'installer, et la dépêche
    Si je comprends bien il y a deux sources seulement en Français pour l'instant : mediapart et lemondediplomatique ?
    Et le reste en espagnol ?

    • [^] # Re: Sources

      Posté par  (site web personnel) . Évalué à 2.

      le reste en anglais, pardon ("en" et pas "es" dans la page de recherche ouverte par le module)

      • [^] # Re: Sources

        Posté par  (site web personnel) . Évalué à 3.

        Oui, un peu plus de 40 sources en anglais.

        La prochaine étape dans le projet c'est justement d'accueillir un maximum de contributions concernant les sources dans lesquelles chercher, et mettre en place un système de test automatique quotidien de l'état de fonctionnement des sources… Il faudra accompagner les changement de structure des pages des journaux en tenant à jour le JavaScript qui pioche dedans.

        Heureusement, la fonctionnalité de recherche n'est généralement pas mise à jour aussi souvent que la page d'accueil. Depuis un an, 7 recherches cassées (sur un peu plus de 40), et 19 récupérations de gros titre cassées (j'en ai réparé 3 pour la version 1.1).

        Ce n'est pas rien comme travail, mais beaucoup de développeur sont initiés au JavaScript, et les sélecteurs CSS sont très efficaces pour décrire où piocher les différentes informations dans la page…

        J'ai rassemblé quelques explications ici : https://framagit.org/Siltaar/meta-press-ext#user-content-how-to-add-a-newspaper-to-the-search-engine

        La liberté ne s'use, que si on ne s'en sert pas.

  • # pour les médecins aussi

    Posté par  (site web personnel) . Évalué à 6.

    J'en ai parlé à des médecins, très interessés par l'ajout de Pubmed et de la revue Prescrire parce que Google est trop généraliste pour eux.

    Cette extension a un grand avenir…

    "La liberté est à l'homme ce que les ailes sont à l'oiseau" Jean-Pierre Rosnay

    • [^] # Re: pour les médecins aussi

      Posté par  (site web personnel) . Évalué à 4.

      Remy1d a commencé à travailler à l'intégration de 5 sources sous le thème science : https://framagit.org/Siltaar/meta-press-ext/issues/10

      Pubmed en fait partie.

      La version 1.1 est en ligne avec principalement de la correction de bug, clarification d'interface et ajout d'un peu d'aide en ligne sous forme d'infobulle.

      La version 1.2 inclura le travail de Remy1d (peut être complété par mes soins).

      Je trouve très amusant de constater que ce qui semble motiver les premiers utilisateurs n'est pas ce que j'avais prévu. Et je suis heureux de constater que l'extension peut accueillir cette autre orientation (via le filtre de source par thème) sans modification structurelle.

      La liberté ne s'use, que si on ne s'en sert pas.

  • # Flux RSS

    Posté par  . Évalué à 1.

    Comment la complémarité avec les flux RSS a été pensée ?

    • [^] # Re: Flux RSS

      Posté par  (site web personnel) . Évalué à 2.

      Un flux RSS est l'annonce de la disponibilité d'un contenu en ligne.
      Meta-Press.es interroge des moteurs de recherche. Ça ne semble donc pas très complémentaire au premier abord.
      Par contre, il y aura "complémentarité" avec les résultats de recherche présentés en flux RSS comme le fait Sud Radio : https://www.sudradio.fr/?s=quadrature+du+net (car le RSS ne bougera pas dans le temps)

      La liberté ne s'use, que si on ne s'en sert pas.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.