Journal Chronique de Wikidata : Esprit Unix appliqué aux données, et plus encore.

17
12
avr.
2014

La fonctionnalité officielle de requêtage de Wikidata se fait attendre. Qu'à cela ne tienne, Magnus Manske, dont la liste de titre et d'accomplissements pour Mediawiki ferait pâlir un chevalier de la table ronde, a créé Wikidata Query, qui rend bien des services. Bon, il a aussi crée pleins d'autres outils, et il en avait marre qu'on lui demande parfois des fonctionnalités similaires sur les outils.

Alors il a eu une idée de génie : fournir un shell Internet javascript accessible de partout pour composer les outils à disposition pour créer ses propres outils. Ça donne ça, et ça promet : description sur son blog

Aussi à l'ordre du jour : enfin rendre accessible les différentes facettes des projets wikiquotes, wikipédias, wiki* en généralisant efficacement le système d'interwiki aux interprojets grâce à Wikidata qui intègre petit à petit les liens vers tous ces projets aux entités Wikidata, cf. ce mail.

Révolution silencieuse, le projet fabrique les fondements de quelque chose de bien plus grand, il ne reste plus à faire en sorte que la communauté un peu réticente à ces aspects perçus comme technique et rébarbatif s'en empare en étoffant les fonctionnalité offertes. C'est en bonne voie.

  • # Commentaire supprimé

    Posté par . Évalué à 2.

    Ce commentaire a été supprimé par l'équipe de modération.

  • # Utilisation des données de Wikidata

    Posté par . Évalué à 4.

    La fonctionnalité officielle de requêtage de Wikidata se fait attendre.
    Je suis le déploiement de Wikidata d'assez loin mais est ce que cette phrase signifie que les infobox de Wikipédia (par exemple) ne sont pas (encore) capable de récupérer directement les infos depuis Wikidata ?
    Si ce n'est pas encore possible, c'est prévu pour quand ? Qu'est ce qui bloque ?

    • [^] # Re: Utilisation des données de Wikidata

      Posté par . Évalué à 9.

      C'est dans les priorités mais il semble que l'équipe de dev manque de ressources pour aller plus vite. On peut déja construire des infoboxs, même si l'accès d'une page Wikipédia aux données de Wikidata est toujours limité aux données de son entité. La migrations des infoboxes ne semble pas très rapide par contre, faute de main d'oeuvre et d'attentisme du côté des Wikipédias.

      De l'extérieur j'ai l'impression que l'équipe de dev est essentiellement constitué de développeurs avec relativement peu d'expérience, le code a été audité relativement récemment et des problèmes d'architecture ont étés trouvés, j'ai l'impression qu'ils ont du passer pas mal de temps en refactoring ces derniers temps, pour tenir la charge et s'intégrer au système de cache de mediawiki. Ils doivent travailler sur la propagation des changements sur les différents Wikis clients de manière efficace, et sur le tracking de 'qui utilise quelles données', dans les mêmes objectifs.

      Ils ont aussi sans doute passé pas mal de temps en intégration avec les autres projets Wikimedias, alors qu'à l'origine ils devaient se concentrer sur Wikipédia, changement de plans en cours de route.

      C'est un peu surprenant étant donné que wikidata query semble ne pas vraiment avoir de problèmes de performances, mais faut croire qu'il a moins de charge, et moins de contrainte d'intégrations dans le code du Wiki.

      • [^] # Re: Utilisation des données de Wikidata

        Posté par . Évalué à 2.

        Ils ont aussi sans doute passé pas mal de temps en intégration avec les autres projets Wikimedias, alors qu'à l'origine ils devaient se concentrer sur Wikipédia, changement de plans en cours de route.

        L'intégration d'un autre projet Wikimédia est très facile côté logiciel, il suffit de changer deux trois variables de config et de mettre à jour une table ou deux de la base de données (1-2h de travail pour un sysadmin). Ce qui prend du temps, c'est la communication autour du truc (elle est faite par un non développeur donc cela ne ralenti pas le développement).

        C'est un peu surprenant étant donné que wikidata query semble ne pas vraiment avoir de problèmes de performances, mais faut croire qu'il a moins de charge, et moins de contrainte d'intégrations dans le code du Wiki.

        Entre quelques requêtes fait par des technophiles sur des données vieilles de plusieurs jours et un usage massif des requêtes dans les articles Wikipédia nécessitant des màj continuelles pour répliquer les changement de Wikidata il y a en effet un monde. Rien que la réplication des changements tel que fait actuellement vers les pages liées à l'entité changée à réussit à saturer le serveur SQL qui gérait seulement la pile des changements à répliquer. Un basculement vers Redis, qui est nettement plus performant, à été fait en urgence à cause de cela.

        • [^] # Re: Utilisation des données de Wikidata

          Posté par . Évalué à 3.

          C'est vrai que techniquement c'est pas si difficile, mais les discussions sur les intégrations plus compliquées genre le wiktionnaire et la gestion des méta données de commons, qui sont quand même particulièrement intéressantes, sont pas tranchées encore. Pour les intégrations plus simple évidemment ça va plus vite une fois rodé.

          Entre quelques requêtes fait par des technophiles sur des données vieilles de plusieurs jours

          Pas vraiment, il me semble qu'il le fasse plutôt avec des données avec quelques minutes de retard.

          Sinon oui effectivement, c'était quand même une idée un peu curieuse de gérer une queue de propagation avec une BDD SQL. Mais c'est de l'histoire ancienne pour le coup.

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.