Journal Le prix des carburants enfin en OpenData

Posté par  . Licence CC By‑SA.
Étiquettes :
28
16
sept.
2014

Ehlo,

J'ai découvert hier que le site gouvernemental Le prix des carburants a ouvert ses données le 10 septembre dernier, avec l'historique des prix depuis 2007 de chaque station référencée. Les stations référencées sont accompagnées de leurs coordonnées géographiques, mais pas du nom de la station ni de l'opérateur.

Ces données sont disponibles au format XML et, après rapide consultation, sont claires. Voici un exemple des trois premiers points de vente (pdv) du fichier :

<?xml version="1.0" encoding="ISO-8859-1" standalone="yes"?>
<pdv_liste>
  <pdv id="1000001" latitude="4620114" longitude="519791" cp="01000" pop="R">
    <adresse>ROUTE NATIONALE</adresse>
    <ville>SAINT-DENIS-LèS-BOURG</ville>
    <ouverture debut="01:00" fin="01:00" saufjour=""/>
    <services>
      <service>Automate CB</service>
      <service>Vente de gaz domestique</service>
      <service>Station de gonflage</service>
    </services>
    <prix nom="Gazole" id="1" maj="2014-09-09 09:31:56" valeur="1274"/>
    <prix nom="SP95" id="2" maj="2014-09-09 09:31:56" valeur="1475"/>
    <prix nom="SP98" id="6" maj="2014-09-09 09:31:57" valeur="1519"/>
    <fermeture/>
    <rupture/>
  </pdv>
  <pdv id="1000002" latitude="4621842" longitude="522767" cp="01000" pop="R">
    <adresse>16 Avenue de Marboz</adresse>
    <ville>BOURG-EN-BRESSE</ville>
    <ouverture debut="08:45" fin="19:30" saufjour="Dimanche"/>
    <services>
      <service>Automate CB</service>
      <service>Vente de gaz domestique</service>
      <service>Station de gonflage</service>
    </services>
    <prix nom="Gazole" id="1" maj="2014-09-08 10:04:28" valeur="1274"/>
    <prix nom="SP95" id="2" maj="2014-09-08 10:04:28" valeur="1475"/>
    <prix nom="SP98" id="6" maj="2014-09-08 10:04:28" valeur="1519"/>
    <rupture id="3" nom="E85" début="2009-11-03 12:19:00" fin=""/>
    <fermeture/>
  </pdv>
  <pdv id="1000004" latitude="4618836" longitude="524447" cp="01000" pop="R">
    <adresse>20 Avenue du Maréchal Juin</adresse>
    <ville>Bourg-en-Bresse</ville>
    <ouverture debut="01:00" fin="01:00" saufjour=""/>
    <services>
      <service>Boutique alimentaire</service>
      <service>Boutique non alimentaire</service>
      <service>Vente de fioul domestique</service>
      <service>GPL</service>
      <service>Carburant qualité supérieure</service>
      <service>Station de gonflage</service>
      <service>Piste poids lourds</service>
      <service>Toilettes publiques</service>
      <service>Relais colis</service>
      <service>Vente de gaz domestique</service>
      <service>Location de véhicule</service>
    </services>
    <prix nom="Gazole" id="1" maj="2014-09-08 20:00:00" valeur="1410"/>
    <prix nom="SP95" id="2" maj="2014-09-08 20:00:00" valeur="1600"/>
    <prix nom="GPLc" id="4" maj="2014-06-20 20:02:00" valeur="910"/>
    <fermeture/>
    <rupture/>
  </pdv>
…

Ça pourrait servir à alimenter OpenStreetMap ! Cool, non ?

Source : http://prix-carburants.gouv.fr/actualites/
Plus d'infos : http://prix-carburants.gouv.fr/rubrique/opendata/

  • # licence ?

    Posté par  (site web personnel) . Évalué à 6.

    C'est quoi la licence ? (non non n'essayez pas de cliquer sur "Condition de réutilisation des données" ca pique les yeux)

    • [^] # Re: licence ?

      Posté par  . Évalué à 10. Dernière modification le 16 septembre 2014 à 17:07.

      pourtant c'est là bas que tu trouves l'information demandée:

      La réutilisation des données de ce site est soumise aux conditions définies dans l'arrêté du 28 février 2013 (consultable ici). Celle-ci n'est autorisée qu'après avoir obtenu du ministère de l'économie et des finances une licence de réutilisation d'informations publiques contenues dans la base de données du site du prix des carburants.

      en particulier, réutilisation non-commerciale: 3000 €

      donc en gros, tes impôts servent à financer l’agrégation de ces informations, mais il faut payer pour les utiliser …
      et encore, je n'ai pas fouiné dans le détail de ce qui est permis dans le cadre de cette utilisation.

      • [^] # Re: licence ?

        Posté par  . Évalué à 10.

        la réutilisation non-commerciale concerne l'utilisation hors de toute activité économique et excluant toute redistribution ou mise à la disposition d'un tiers

        et le prix pré cité est une redevance annuel :)

        pour un usage par openstreetmap, on rentre dans le cadre d'une réutilisation commerciale finale ou intermédiaire (selon leur définition), soit respectivement 10 000 et 38 500 € par an : il va falloir qu'OSM fasse chauffer le mégaphone d'appel au don !

        une vrai fausse bonne nouvelle donc :)

        • [^] # Re: licence ?

          Posté par  . Évalué à 5.

          Ou une page non mise à jour, si j'en crois le commentaire plus bas, non ?

          Tous les nombres premiers sont impairs, sauf un. Tous les nombres premiers sont impairs, sauf deux.

          • [^] # Re: licence ?

            Posté par  . Évalué à 4.

            possible, ou alors ils font une différence entre réutilisation au sein d'un service commercial avec diffusion à titre gratuit ou pas, et utilisation dans le cadre d'un projet non commercial.

            dans tous les cas cela demande une clarification

          • [^] # Re: licence ?

            Posté par  . Évalué à 4.

            Page non mis a jour c'est sur

            http://prix-carburants.gouv.fr/actualites/

            10/09/2014 : Mise à disposition des données du site des prix du carburant de manière libre et gratuite (opendata)

            Le site gouvernemental des prix des carburants met à disposition de manière libre et gratuite (Open data) les données relatives aux prix des carburants. Elles concernent les points de ventes ouverts référencés sur le site (Arrêté ministériel du 12 décembre 2006). (voir le texte sur Légifrance)

        • [^] # Re: licence ?

          Posté par  (site web personnel) . Évalué à 7. Dernière modification le 16 septembre 2014 à 18:41.

          soit respectivement 10 000 et 38 500 € par an

          Et après, on peut refiler les données à la palnète entière, donc mettre en commun?
          Ou alors, ça n'a rien de "Open", juste de la vente proprio…

          Je cherche encore où est l'OpenData dans tout ça :(.

          Sinon, pas mal d'oser faire raquer des gens pour une utilisation non commerciale quand nos impôts ont déjà payé la chose.

      • [^] # Re: licence ?

        Posté par  . Évalué à 10.

        C'est toujours le même problème : ils demandent de l'argent, mais sur quelle base? L'arrêté du 28 février 2013 fait référence au décret n°2006-420, qui dit:

        Peuvent donner lieu à rémunération pour services rendus à des personnes privées et publiques autres que l'Etat les prestations fournies par les directions et services du ministère de l'économie, des finances et de l'industrie dont la liste suit : […]
        5° Consultation, location ou cession de bases de données informatiques ;

        Consultation, on voit ce que c'est : on paye pour avoir accès à la base. Là, ça n'est pas le cas, puisque les données sont accessibles. On est donc dans les cas de location ou de cession des bases—ça ressemble à du charabia pour dire "licence d'utilisation", puisque l'idée de louer ou de céder une base de données est complètement conne ; il est évident qu'on fournira une copie, pas le disque dur avec l'original. Pour une licence, il faut que le contenu soit protégé par le droit d'auteur, et pour les bases de données, c'est tendu. En effet, les données elles mêmes ne sont pas protégées, c'est la base qui l'est : sa structure et son exhaustivité. Pour protéger la structure, il faut pouvoir démontrer son originalité ; or, ici, c'est pas évident du tout : on a un fichier xml avec des champs, et les champs sont triviaux. N'importe qui devant faire une base de données des prix à la pompe mettrait un champ "Identifiant", "Adresse", "Gazole", "SP95", etc. Bref, la seule protection légale de la base de données est une protection contre l'aspiration d'une partie substantielle de la base. Exit donc l'application pour smartphone qui te donne l'historique des 10 stations autour de tes coordonnées GPS, mais quid du mec qui regarde les prix à la pompe de la station où il fait le plein régulièrement? Objectivement, une station service n'est pas une partie substantielle de la base.

        Je trouve hallucinant que les services de l'État recourent systématiquement à des pseudo-arnaques juridiques pour essayer de faire raquer le citoyen en échange de données du domaine public. Je me rappelle d'une discussion à propos d'une bibliothèque mettant à disposition des pdf scannés de documents anciens, et souhaitant percevoir des droits de réutilisation sur ces pdf en se basant sur la loi permettant aux communes de demander des sous aux cafetiers en échange de l'utilisation de l'espace public en tant que terrasse. On est dans du pur délire ; le code de la propriété intellectuelle définit très précisément les conditions dans lesquelles l'auteur d'une œuvre (ou d'une base de données pour les droits voisins)—et pas son propriétaire!—peuvent faire valoir des droits patrimoniaux, et quand il ne peut pas. Essayer d'inventer des lois qui n'existent pas ressemble furieusement à des tentatives d'escroquerie.

    • [^] # Re: licence ?

      Posté par  . Évalué à 9.

      Si on va chercher les données ici :

      http://www.data.gouv.fr/fr/dataset/prix-des-carburants-en-france

      on a la licence à droite :

      http://wiki.data.gouv.fr/wiki/Licence_Ouverte_/_Open_Licence

      ­La faculté de citer est un substitut commode à l'intelligence -- Somerset Maugham

    • [^] # Re: licence ?

      Posté par  . Évalué à 2. Dernière modification le 16 septembre 2014 à 19:13.

      C'est quoi la licence ?

      D'après le site OpenData, Licence ouverte : http://www.data.gouv.fr/fr/dataset/prix-des-carburants-en-france

      • [^] # Re: licence ?

        Posté par  (site web personnel) . Évalué à 9. Dernière modification le 16 septembre 2014 à 19:43.

        Donc si je comprend bien :
        - Données historiques (jusqu'à J-7) pour faire des stats historiques : Open Data
        - Données actuelles pour choisir la station essence quand on a besoin : Closed data (pas géré par une licence Open Data), payant et non rediffusable

        C'est donc les données historiques sur le prix des carburants qui est en Open Data, et non pas le prix des carburants de manière générale, un peu comme la pub "jeu Open Source" quand on ouvre un peu le jeu mais que les données les plus utiles (les images/son) restent en non Open Source.

        Ou j'ai loupé un truc?

  • # OpenData en papier

    Posté par  (site web personnel, Mastodon) . Évalué à 10.

    Salut,

    Le vocable y est: "met à disposition de manière libre et gratuite", "OpenData", "Données publiques", etc.

    Ça a l'air cool, néanmoins j'ai cherché des détails plus précis que ce discours marketing. Je vois un lien "Condition de réutilisation des données" en bas, je le clique. Et là ça dit: « La réutilisation des données […] n'est autorisée qu'après avoir obtenu du ministère de l'économie et des finances une licence de réutilisation d'informations publiques contenues dans la base de données du site du prix des carburants. »

    Déjà ça commence mal, je suis le lien vers l'arrêté du 28 février 2013 qui définit les conditions.
    Déjà, aparté, je note que bien qu'il s'agisse clairement d'un document informatique (enfin à part s'ils utilisent encore des machines à écrire au gouvernement), ils ne savent toujours pas utiliser leurs ordis. Ils mettent en ligne une version imprimée-scannée! Si encore y avait eu une raison (papier signé, ou annoté ou quoi. Non rien. Juste ils savent pas qu'on peut "imprimer" directement dans un fichier). Fin de l'aparté, mais c'est juste que j'avais voulu faire un copier-coller de la partie intéressante, je peux même pas (je dis pas, c'est peut-être aussi sur Legifrance, mais quand même! Dans ce cas là, ils donnent un lien vers le texte utilisable. Pour un site sur l'OpenData, ça le fout mal).

    Donc en gros, sur le papier que je peux même pas copier-coller, ça dit que pour réutiliser sur OSM, c'est considéré comme réutilisation commerciale (« en vue de l'élaboration d'un […] service destiné à être mis à disposition de tiers à titre gratuit ou onéreux »). Ok on sent venir la facture.
    Pire cela pourrait éventuellement être classé comme utilisation commerciale "intermédiaire". C'est pas clair si on doit considérer OSM comme « destiné [NDR: gras de moi] à être mis à disposition, à titre gracieux ou payant, à d'autres opérateurs économiques pour une réutilisation commerciale », mais c'est clairement une des utilisations.
    Bon bah si on considère cela comme utilisation commerciale finale, c'est 5000 EUR par an les 2 premières années, puis 10.000 par an. Si on est intermédiaire, c'est 38.500 par an.

    Bon voilà, c'est bien pour les particuliers qui peuvent aller direct sur ce site gratos, peut-être bien aussi pour Google et consort, pour qui c'est une source d'info fiable (et 38.500 par an, c'est une pichenette pour eux), mais c'est pas encore cela pour OSM. Déjà financièrement, mais même s'ils avaient les sous, ils ne peuvent mélanger ces données à leurs données en CC by-sa.

    Quant à l'OpenData? On repassera. C'est un peu des guignols, ou alors plutôt ils nous prennent pour des cons.

    Pourtant je me dis que si c'est un problème de financer les caisses de l'état, ils pourraient faire de la double licence: CC by-sa + une licence proprio chère. Une boîte comme Google ne peut mélanger du CC by-sa à ses données, et donc paieraient, car ils ne peuvent se permettre (voire n'ont pas le droit puisqu'ils ont eux-même des accords) de licencier leur propre données géographiques ainsi (et s'ils le faisaient, ben ce serait un bien pour le monde!). Tous ceux qui font du CC by-sa comme OSM pourraient y accéder. C'est pourtant pas trop dur de trouver des solutions raisonnables pour avoir des données publiques réelles, pour le bien du peuple, tout en remplissant un peu les caisses.

    Film d'animation libre en CC by-sa/Art Libre, fait avec GIMP et autre logiciels libres: ZeMarmot [ http://film.zemarmot.net ]

    • [^] # Re: OpenData en papier

      Posté par  (site web personnel) . Évalué à 3.

      In fine, les données sont sous « Licence Ouverte », comme indiqué dans ce commentaire.

      • [^] # Re: OpenData en papier

        Posté par  . Évalué à 3.

        ca me rappelle furieusement les codecs non libre win32, non redistribuable, mais chaque utilisateurs a le droit d'aller le telecharger.

        l'appli android fourni une appli , qui nécessite le telechargement integrale de la base \o/ sur le téléphone, ou un plugin OSM qui va telecharger la base sur le poste.

      • [^] # Re: OpenData en papier

        Posté par  . Évalué à 2.

        Rien n'empêche donc OSM de réutiliser les données datant de plus de 7 jours, ce qui indique quand même une tendance pour comparer les pompes entre elles.

        « Le pouvoir des Tripodes dépendait de la résignation des hommes à l'esclavage. » -- John Christopher

  • # opendata tool ?

    Posté par  . Évalué à 3.

    En dehors de l'aspect licence, ca pourrait être amusant de travailler à des outils d'enrichissement en ajoutant le résultat de moteur de recherche ou des croisements à partir d'autres sources.

    Par exemple, https://www.google.fr/search?q=20+Avenue+du+Maréchal+Juin+bourg+en+bresse retourne Station Total

    Dites, les spécialistes de l'opendata, ca existe ce genre d'outil ?

  • # ISO-8859-1 ???

    Posté par  (site web personnel) . Évalué à 10.

    Ça ne choque personne qu'ils utilisent encore le Latin 1 (ISO-8859-1) qui entre autre ne contient pas le symbole €. Ils auraient au moins pu utiliser le ISO-8859-15. Et vu que c'est de l'Open Data et qu'Internet ne s'arrête pas au territoire Français, ils auraient du utiliser de l'UTF-8.

    • [^] # Re: ISO-8859-1 ???

      Posté par  (site web personnel) . Évalué à 6.

      Ça ne choque personne

      si, je te rassure, c'est la première chose que j'ai noté.

      qui entre autre ne contient pas le symbole €

      tu remarqueras qu'il ne mettent pas l'unité dans les montants.
      Ils ont dû regarder l'avenir, et vu que l'Euro sera la monnaie utilisée par leur appli jusqu'à la mort (de l'appli ou de l'Euro, le mystère reste entier).

      • [^] # Re: ISO-8859-1 ???

        Posté par  (site web personnel) . Évalué à 2.

        Comme c'est un truc étatique, les valeurs exprimées doit correspondre au cours légalement en vigueur au moment de la publication. Bref, faire une condition sur les dates en cas de changement de monnaies.

        • [^] # Re: ISO-8859-1 ???

          Posté par  . Évalué à 1.

          Ce n'est pas suffisant, vu que d’après la FAQ les prix sont en euros multiplié par 1000

    • [^] # Re: ISO-8859-1 ???

      Posté par  . Évalué à 5.

      Bon, c'est pas choquant, c'est une compromis entre la solution "la plus simple" pour une lecture visuel et la solution "la plus efficace" pour une importation en base.
      Ils réécrivent les services à chaque stations au lieu de définir ceux utilisés au début : 

      <services>
      <service>Automate CB</service>
      <service>Vente de gaz domestique</service>
      <service>Station de gonflage</service>
</services>

      Mais pour les prix, tout est attribut et ils ont un nom et un id. 

      <prix nom="Gazole" id="1" maj="2014-09-09 09:31:56" valeur="1274"/>

      Je suis loin d'être expert XML/DTD, mais ce n'est juste pas homogène la déclaration pour le service et le prix.

      Pour être homogène, la déclaration des prix aurait du être (sans le <service*s*>) : 

      <service  nom="Automate CB" id="1" />

      Rien de dramatique, c'est du chipotage d'inspecteur des travaux finis !

      • [^] # Re: ISO-8859-1 ???

        Posté par  (site web personnel) . Évalué à 2.

        Rien de dramatique, c'est du chipotage d'inspecteur des travaux finis !

        Moi aussi je suis assez loin d'être un expert en DTD mais ça me choque tout autant que toi!

    • [^] # Re: ISO-8859-1 ???

      Posté par  (site web personnel) . Évalué à 4.

      Et vu que c'est de l'Open Data et qu'Internet ne s'arrête pas au territoire Français qu'on est au 21e siecle, ils auraient du utiliser de l'UTF-8.

    • [^] # Re: ISO-8859-1 ???

      Posté par  . Évalué à 6.

      Ça ne choque personne qu'ils utilisent encore le Latin 1 (ISO-8859-1) qui entre autre ne contient pas le symbole €

      Ils n’utilisent déjà pas le symbole È (<ville>SAINT-DENIS-LèS-BOURG</ville>) qui est pourtant encodable en Latin-1, alors pas sûr qu’ils auraient utilisé le symbole € s’ils avaient choisi un encodage qui le contient…

      • [^] # Re: ISO-8859-1 ???

        Posté par  . Évalué à 2.

        Une ville a du coup plusieurs orthographes possibles suivant le type d'accent choisi et s'il est présent ou non… On a déjà vu plus simple ! Ma ville natale doit avoir 5-6 stations, pas une seule n'a la même orthographe pour le nom de la ville.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.