En rendant accessibles les données publiques, l'état et les collectivités locales favorisent la création de nouveaux services et applications citoyennes, et participe au développement de l'économie numérique. Il renforce aussi la transparence de ses actions et promeut une meilleure information des citoyens.
Les « données publiques » représentent toutes les informations rassemblées, créées, conservées ou éditées par les administrations et les services publics. Il s’agit aussi bien de renseignements géographiques, environnementaux, épidémiologiques, statistiques, de catalogues, d'annuaires ou de données liées au fonctionnement interne des institutions (budgets, dépenses, marchés publics...).
Jusqu'alors rarement accessibles, elles sont aujourd'hui ouvertes et mises à disposition grâce à la plateforme Internet data.gouv.fr.
Aller plus loin
- Annonce (210 clics)
- http://www.data.gouv.fr (2677 clics)
# Petit jugement sur la forme
Posté par TangiX . Évalué à 10.
Les licences sont mis en avant, bon point !
Pour ce qui est des formats, c'est pas encore ça...
[^] # Re: Petit jugement sur la forme
Posté par Nonolapéro . Évalué à 3.
Il y a énormément de fichier xls parce que les divers recensements sont par commune. Vu qu'il y en a dans les 36 000 communes en France, on arrive rapidement à un nombre important de fichiers.
J'espère que le site a ou aura une interface pour récupérer les données par département autrement ça va être pénible de tout se farcir à la main.
[^] # Re: Petit jugement sur la forme
Posté par Mimoza . Évalué à 4.
[^] # Re: Petit jugement sur la forme
Posté par NanoTech . Évalué à 5.
Il ne faut pas se plaindre, le format XLS n'est pas parfait, mais est loin d'être aussi fermé que l'on pourrait l'imaginer.
1) Il est documenté par Microsoft, au même titre qu'OOXML.
http://en.wikipedia.org/wiki/Microsoft_Open_Specification_Promise#Binary_file_formats
2) Il fait partie de l'Open Specification Promise de Microsoft. Ainsi, Microsoft promet qu'il n'attaquera pas en justice sur ses brevets quiconque fournira une implémentation conforme à ses spécifications. C'est la même chose pour OOXML.
Bien sûr, il y a toujours un risque que Microsoft attaque en argumentant que quelque détail n'est pas conforme à sa spécification.
3) Il existe des implémentations fonctionnelles indépendantes.
4) Quand bien même Microsoft attaquerait quelqu'un sur ses brevets, le format d'Excel n'a pas énormément changé depuis Excel 5 en 1993 (il utilisait déjà le Compound Document Format et VBA pour les macros). Les derniers brevets significatifs tomberont donc au plus tard en 2013. Quant aux nouvelles fonctionnalités, on peut certainement les oublier sans perdre d'information.
De plus, les CSV ont une première ligne qui contient des métadonnées. Certes très abrégées, mais en réfléchissant un peu, on peut comprendre ce qu'elles signifient.
Franchement, je ne m'attendais pas à des données aussi exploitables que ça... Ils auraient pû nous filer des scans de mauvaise qualité de documents imprimés.
[^] # Re: Petit jugement sur la forme
Posté par Pierre Jarillon (site web personnel) . Évalué à 7.
En Europe, les brevets sur le logiciel sont interdits. D'autre part les besoins d'interopérabilité sont reconnus. Donc, on s'en fiche... Tant que la législation n'est pas bidouillée au profit des multinationales ! Alors soyons vigilants.
# localisation lat, long gps
Posté par solsTiCe (site web personnel) . Évalué à 1. Dernière modification le 05 décembre 2011 à 13:08.
pour essayer, j'ai pécho un fichier au hasard: "localisation des accidents de la route en france"
bon déjà aucune explication des champs du fichier csv. faut deviner.
les coord. lat. long, encore mieux faut deviner où mettre la virgule aussi.
sympa
[^] # Re: localisation lat, long gps
Posté par arnaudus . Évalué à 10.
Ah ouais mais attends, j'ai déja aussi eu ce genre de problème. On te demande de libérer un truc (du code, un jeu de données, etc), et après, on se plaint parce que c'est mal documenté. Alors quoi, tu aurais mieux fait de le garder pour toi? Libérer des données ne te donne pas non plus l'obligation morale de dépenser de précieuses ressources pour faciliter la réutilisation. Ce que tu fais, c'est que tu mets à disposition tes documents tels qu'ils t'ont servi, au cas où ils pourraient être utiles à quelqu'un. Si le quelqu'un ne comprend pas, il a le droit de te poser des questions, et tu peux lui répondre en fonction du temps que tu as, mais le quelqu'un n'est pas en droit d'exiger de toi que tu passes du temps pour que lui en gagne.
Dans un monde idéal, l'État aurait déja tout prévu, et la publication des données après mise en forme et standardisation serait budgétisée, comme l'est la collecte et l'analyse. Dans le monde réel, on fait ce qu'on peut avec ce qu'on a, et il est prévisible que certaines données soient peu exploitables -- ce n'est pas choquant dans la mesure où la réexploitation n'était pas prévue.
[^] # Re: localisation lat, long gps
Posté par Christophe Turbout . Évalué à 4.
hum, si je peux me permettre, il faut arrêter de prendre les gens pour des imbéciles. Tu vas me faire croire que tu utilises et stockes tes données sans aucune méta-données ? Un fichier csv sans aucun titre de colonne et que tu en as plein à gérer vues les remarques de ton paragraphe ?
Autant je peux croire à quelques arguments de ton point 2 sur le manque de moyen pour gérer cette libération, autant ton premier paragraphe est au mieux irrecevable, au pire il dénote des pratiques pour le moins améliorable dans ton processus de gestion de données car si toi non plus tu ne connais pas les méta-données de tes fichiers csv et bien ça doit être un beau foutoir !
[^] # Re: localisation lat, long gps
Posté par Larry Cow . Évalué à 5.
Ce n'est pas parce que tu les connais que tu les as dans une forme diffusable.
Genre : perdues au milieu d'une documentation de 250 pages concernant des tas d'autres aspects non-publics de ta structure.
[^] # Re: localisation lat, long gps
Posté par Christophe Turbout . Évalué à 2.
ah ok, donc c'est ce que je dis les meta-données ne sont pas dans les fichiers ... et beh ... je pensais que c'était une informatique révolue ça, c'est pour ça qu'on a inventé tout un tas de formats faits pour ça depuis le siècle dernier déjà ...
la gestion de données géolocalisées ... les bases de données qui retournent du XML, le web sémantique, etc etc ...
mais en fait tout le monde utilise son tableur en bricolant un truc dans son coin ... et quand ce sont les données de l'état comme les accidents de la route, j'avoue que ça me laisse pantois surtout quand on entend la somme monstrueuse de communication faite dessus. Je pense que le ministère devrait supprimer un budget com pour l'allouer à la gestion propre des données et à la formation de ses agents.
[^] # Re: localisation lat, long gps
Posté par Larry Cow . Évalué à 5.
Bienvenue dans le monde réel.
Géolocalisée sans SRID associé, c'est merdique (cf. les données d'accidents routiers). Et pourtant, dans un contexte donné, ce peut être parfaitement exploitable : le cadastre par exemple utilise la conique conforme définie par le RGF93 sur ton département. Et les données qui s'appuient sur les cadastre (des POS, des PLU, etc.) reprennent très généralement le SRID du cadastre sous-jacent. Sauf que c'est très (trop) souvent implicite...
Tu sais ce qu'on dit, même en informatique? On code d'abord, on optimise après. Ici c'est pareil : si on avait attendu d'avoir un format dédié pour gérer les accidents de la route proprement, on n'aurait toujours rien.
[^] # Re: localisation lat, long gps
Posté par Christophe Turbout . Évalué à 3.
c'est ce qui m'attriste en fait ... qu'on ait encore ce genre de discours actuellement en arguant sur le temps pour le faire etc etc ... alors que si c'est long c'est que généralement c'est mal structuré et géré à la base ... je connais les contraintes du chef qui le demande pour hier mais est-ce une raison pour faire salement le boulot ?
ah et bien tu vois tu es d'accord avec moi ! les meta-données dans les fichiers c'est pratique ! et Postgis par exemple te sort les méta-données avec SRID ... ou pas mais si tu ne le fais pas c'est TON choix ... d'où mes remarques ...
hum ... il n'y a quand même pas besoin d'attendre une normalisation pour stocker des données d'accidents dans n'importe quelle bd ne fusse Access ! même access (je ne parle pas d'outils libres par ce qu'on va me dire que les agents ne sont pas des geek !!) sort du XML à partir d'une requête depuis au moins 2003 et il n'y a pas besoin d'être bac+8 pour faire ça, ça demande juste de s'organiser ...
au pire même excel (par ce que tableur ça semble un nom compliqué !) te permet de gérer des méta-données en mettant une colonne d'entête ...
donc désolé si je suis un peu lourd, mais je connais très bien le monde du public, de la donnée et du sig, je connais les us et coutumes et la plus part du temps cela n'a rien à voir avec du financement, mais juste avec un peu de réflexion et de structuration, on peut faire mieux et plus vite !
ce n'est pas pour autant que je n'entends pas les demandes de temps pour libérer les données ... je dis juste que ne donner que cet argument c'est un peu trop facile !
[^] # Re: localisation lat, long gps
Posté par Larry Cow . Évalué à 4.
Euh, la longueur n'est pas dû qu'à l'absence de structuration. Exemple-type : XML.
C'est pratique d'en avoir, mais ce n'est pas toujours pratique d'en mettre. Alors parfois, oui, le choix est vite fait. Dans Postgis, le surcoût des métadonnées est assez facilement négligeable. Par contre, pour le reste...
Il ne suffit d'ailleurs pas d'avoir la possibilité technique de mettre des métadonnées : il faut également que l'ensemble de la chaîne le supporte. Et que les utilisateurs jouent le jeu. Je rappelle à toutes fins utiles que les données dont on parle ici sont produites par des structures publiques, dans lesquelles il n'est pas toujours aussi facile que dans le privé de forcer les comportements (disons que la menace de la porte n'y est pas aussi efficace).
On n'a pas toujours les compétences en interne, et faire bosser des externes est compliqué et risqué (pour attraper un appel d'offre public, il ne faut pas être bon dans son domaine de compétence, il faut juste connaître les arcanes du code des marchés publics).
Une colonne d'en-tête, ça ne fait pas tout. Surtout si tu dois agréger des sources d'origines et d'époques multiples.
Je n'irais pas jusqu'à très bien, mais je commence à connaître aussi. Et je persiste. C'est probablement surtout vrai dans la fonction publique décentralisée, dans laquelle les problématiques électorales font que le nettoyage des données est - au mieux - pas séduisant pour deux sous.
C'est précisément là que ce genre d'initiative (l'Open Data) a une chance de faire bouger les choses. Mais pour ça, il faudrait qu'on soit forcés à publier au moins une partie de nos données, en l'état. Parce que pour l'instant, il vaut encore mieux ne rien montrer que risquer de faire râler les éternels mécontents et de se faire une mauvaise pub.
[^] # Re: localisation lat, long gps
Posté par arnaudus . Évalué à 6.
Bah aussi étonnant que ça puisse paraitre, oui. Ça m'arrive d'avoir très souvent les méta-données dans le nom de fichier, avec un contenu standardisé (1ere colonne = quelque chose, 2e colonne = quelque chose d'autre, etc). Mieux, les noms de fichier peuvent être tous identiques, la différence se faisant au niveau du nom de répertoire. J'ai souvent des répertoires "modelA", "modelB", "modelC", avec dedans des data.txt et des plot.pdf, qui rendent le scriptage très facile. Et moi, je sais ce que c'est, modelA. Au pire, si je ne sais plus comment j'obtiens plot32.pdf, je vais voir dans mon script, qui lui est documenté (ou auto-documenté par les noms des variables). Ce n'est pas pérenne? Qu'est-ce que je m'en fous, c'est pour moi, et je m'y retrouve très bien.
Dans un sens, je trouve abérrant de stocker des données dans un .csv. Mais je trouve encore plus abérrant de laisser trainer tout un tas de cochonneries dedans (la date ou on a reçu telle donnée, une remarque du style "peu fiable", ou une référence bibliographique). Quand il s'agit de projets sur lesquels on est seul à bosser, qu'il n'a jamais été prévu de partager ces données, qu'on croit que Microsoft Excel est un logiciel adapté pour les stocker et que le processus pour les collecter est de recevoir des fichiers Excel fabriqués indépendamment par des services différents et de tout copier-coller dans un nouveau fichier, je ne suis pas étonné du résultat. Alors oui, on peut crier au manque de professionnalisme quand le fichier de données est censé être le résultat publiable d'un boulot de collecte, mais quand il s'agit d'un truc interne et perso, les gens font avec les moyens du bord.
[^] # Re: localisation lat, long gps
Posté par Christophe Turbout . Évalué à -3.
ce sont les statistiques de l'état sur lesquelles se prennent des décisions et se fait la sacro-sainte communication ...
et c'est du bricolage dans un tableur ... je n'ai qu'un mot : SIC !
[^] # Re: localisation lat, long gps
Posté par Watchwolf . Évalué à 1.
Je travail pour une banque, ce que je vais dire ne concerne pas les informations bancaire pure.
On a une belle application toute neuve toute ben faite. On nous demande de générer tous les mois des fichiers texte avec nos données dans des formats du type de celui que tu cite.
Pourquoi ? parce que l'existant en a besoin tout simplement.
Ou est la description du format ? J'en ai aucune idée, je l'ai envoyé une fois par mail et voila :)
[^] # Re: localisation lat, long gps
Posté par solsTiCe (site web personnel) . Évalué à 7.
Accident entre 2005 et 2010 en france !
y'a un peu de bruit! Et en effet, y'a du boulot. C'est pas en 5 minutes que je pourrais avoir cette carte. juste comme ça...
[^] # Re: localisation lat, long gps
Posté par zebra3 . Évalué à 3.
Ben faut dire qu'à Anger, Caen ou Le Mans, y a pas de voiture, alors forcément pas d'accidents :-)
Article Quarante-Deux : Toute personne dépassant un kilomètre de haut doit quitter le Tribunal. -- Le Roi de Cœur
[^] # Re: localisation lat, long gps
Posté par Mali (site web personnel) . Évalué à 3. Dernière modification le 05 décembre 2011 à 15:44.
y'roulent tous au calva dans la Manche :)
[^] # Re: localisation lat, long gps
Posté par windu.2b . Évalué à 2.
Si seulement...
[^] # Re: localisation lat, long gps
Posté par Christophe Turbout . Évalué à 3.
ah ben tiens encore un budget qu'on aurait pu utiliser pour libérer les données ... 885 000 euros ça aurait permis d'en faire pas mal !
une unique ligne de tram nord-sud qui à l'heure de pointe passe péniblement toutes les 15 minutes ... rarement à l'heure pour les autres ...
des bus inexistants ou à des horaires impossibles hors agglo donc les gens sont bien obligés de prendre la voiture ...
le coût locatif ou d'achat d'un logement parmi les plus prohibitif en france par rapport aux salaires qui repousse les gens hors de l'agglo donc qui les oblige à prendre la voiture
une concentration des activités au même endroit (caen-nord c'est juste l'horreur !) et bien entendu aucun aménagement donc certains très simples pour fluidifier le trafic ... (j'entends parler de certaines solutions qui coûtent peu depuis au moins 15 ans mais rien n'est fait ! )
bref on se demande après pourquoi les gens prennent leur voiture ... les parkings relais tant qu'il n'y a pas une offre correcte de transports publics, ça ne sert à rien d'en faire, pour preuve ils sont vides en permanence !
il n'y a qu'à faire des bus sur voie réservée, comme cela ils seront à l'heure et on pourra les utiliser et pas seulement pour faire des déplacements nord-sud !
[^] # Re: localisation lat, long gps
Posté par windu.2b . Évalué à 2.
Tu prêches un convaincu ! Le tram actuel doit être le seul tram français à être moins plébiscité que le réseau de bus, un comble !
Bon, juste pour te remonter (un peu) le moral : un projet de nouvelle ligne (est-ouest) de tram est prévue pour 2018-2020. Elle partira des hauts de Beaulieu, passera devant le stade, remontera le boulevard Detolle, descendra la rue de Bayeux, passera devant la mairie et la préfecture, rejoindra St-Pierre (où elle croisera l'autre ligne), longera le quai Vendeuvre, traversera l'Orne au niveau des "Rives de l'Orne" et retraversera pour aller finir sa course sur la presqu'île.
Normalement, le tram actuel devrait être remplacé au même moment pour un modèle plus silencieux et plus fiable. Finies les merdes de Bombardier que seules Caen et Nancy ont osé acheter !
Et pour les bus, rien que de savoir que le premier site industriel (Renault Trucks et ses fournisseurs) de la région n'est pas desservi donne une idée des trous dans le réseau. Résultat : plusieurs centaines/milliers d'employés qui prennent leur voiture pour aller tous au même endroit, à des horaires fixes, donc sources de bouchons garantie.
[^] # Re: localisation lat, long gps
Posté par oao . Évalué à 3.
885000€ pour 15000 personnes interrogées, soit 59€ par personne. Faut vraiment que je me mette aux appels d'offres publiques !
[^] # Re: localisation lat, long gps
Posté par Guillaume Denry (site web personnel) . Évalué à 6.
Génial ! j'habite à Poitiers, je sais que je peux faire du 110 en ville sans risquer de tuer quelqu'un maintenant. Merci.
[^] # Re: localisation lat, long gps
Posté par Strash . Évalué à 3.
"C'est jamais arrivé, alors je risque rien !"
[^] # Re: localisation lat, long gps
Posté par Grunt . Évalué à 4.
Ils disaient ça à Fukushima et dans les Twin Towers aussi :)
THIS IS JUST A PLACEHOLDER. YOU SHOULD NEVER SEE THIS STRING.
[^] # Re: localisation lat, long gps
Posté par Juke (site web personnel) . Évalué à 5.
Le lundi 05 décembre 2011 à 18:42 +0100, Grunt a écrit :
> Ils disaient ça à Fukushima et dans les Twin Towers aussi :)
ils avaient raison, y'avait rien à craindre tant que ce n'était pas
arrivé.
[^] # Re: localisation lat, long gps
Posté par Guillaume Denry (site web personnel) . Évalué à 1.
Ho tu sais, quitte à déconner, la logique, je m'en fous un peu hein ;)
[^] # Re: localisation lat, long gps
Posté par Larry Cow . Évalué à 3.
Ca sent le(s) référentiel(s) géographique(s) pourri(s), ça.
[^] # Re: localisation lat, long gps
Posté par Antoine . Évalué à 2.
Non, mais ça veut dire que ça ne sert pas à grand'chose.
Tiens, je déterre un vieil article :
http://www.libroscope.org/Liberer-les-logiciels
et un autre :
http://www.libroscope.org/Benchmark-23-logiciels-libres
[^] # Re: localisation lat, long gps
Posté par Médéric RIBREUX (site web personnel) . Évalué à 5.
Hello,
effectivement, il manque les métadonnées ! Mais, je crois qu'il faut être indulgent: l'ouverture pour aujourd'hui c'est un peu pour dire que data.gouv.fr existe avant la fin de 2011. Dans la pratique, il reste de nombreux chantiers sur lesquels on a finalement assez peu de vision:
- publier les métadonnées
- harmoniser les lots de données
- qui publie quoi et avec quel workflow (est-ce-que les services départementaux publient directement ou bien doit-on passer par une entité d'administration centrales ?)
- le moissonnage d'autres plateformes d'opendata
- etc.
Je crois que pour être vraiment ouvert, il manque un moyen de faire remonter à data.gouv.fr ce qui serait améliorable et ce, directement par les citoyens. Bon en attendant, il y a toujours le contact@data.gouv.fr. C'est pas super mais c'est mieux que rien...
[^] # Re: localisation lat, long gps
Posté par pascalp (site web personnel) . Évalué à 1.
Les coordonnees pourraient etre en lambert 93. Pas de virgule dans ce cas c'est des metres.
[^] # Re: localisation lat, long gps
Posté par Larry Cow . Évalué à 2.
Il y en a pas mal qui sont en WGS 84 avec 5 chiffres après la virgule (il faut l'ajouter la virgule, elle n'y est pas)
[^] # Re: localisation lat, long gps
Posté par paladar . Évalué à 6.
Comme ça tu pourras toi-même travailler ces données pour en faire un truc utilisable et publiable ! Plains-toi, mais si l'état ne les avait pas publiées, tu n'aurais pas pu.
Un peu plus sérieusement, on peut penser que si toutes les données de l'État sont publiées, ça permettra de mettre plus rapidement en place des standardisations pour mettre en forme ces données, et ça permettra à tout un chacun de participer à cette (re)standardisation. Pour le meilleur et pour le pire.
# rest ?
Posté par Nicolas Boulay (site web personnel) . Évalué à 8.
J'ai pas l'impression que les url soit si durable que ça. Il y a des budgets sans date dans l'url du document. Cela veut dire que l'année prochaine tout disparait ou que l'url changera.
J'espère qu'il feront en sorte que tout cela soit stable.
"La première sécurité est la liberté"
# Déçu
Posté par bghflt (site web personnel) . Évalué à 2.
Je suis très déçu également.
Outre les nombreuses fautes de grammaire et la période qui est erronée, je m'attendais à télécharger des données exploitables, ils parlent pourtant de variables.
Ce ne sont que des documents finalisés et il est tout simplement impossible de les exploiter sauf à lire bêtement..
Ce n'est pas encore ça..
Point positif : on peut utiliser à peu près ce site sans activer JS.
# saluer le geste
Posté par fredezic . Évalué à 7.
Effectivement, il y a encore beaucoup de travail, mais je pense qu'il faut saluer le geste et que l'etat continue le travail pour fournir des infos dans des formats plus facilement exploitable.
Parfois c'est un peu brute de fonderie
# c'est une conspiration
Posté par Mr. Magne . Évalué à 2.
Visiblement toutes les données sont contrôlées par la CIA :)
source: http://korben.info/data-gouv-xss-fr.html
# Et le RGI ?
Posté par Pierre Jarillon (site web personnel) . Évalué à 10.
Si le RGI avait été mis en place comme il aurait dû l'être, les données de base auraient été structurées avec des XML-schemas définissant le jeu de caractère, l'identification des termes et la grammaire des documents. À partir de là, on pourrait générer tous les documents que l'on peut imaginer.
XML-schema permet d'inclure des contrôles d'intégrité du contenu des documents. Par exemple spécifier que le PH est une valeur numérique comprise entre 0 et 14. Cela évite bien des erreurs.
La culture scientifique de nos dirigeants est pitoyable. Comment leur faire comprendre qu'il existe d'autres rigueurs que la rigueur budgétaire ?
[^] # Re: Et le RGI ?
Posté par Christophe Turbout . Évalué à 3.
ah si tu trouves la recette prévient nous !
au passage on peut remercier les lobbys pour le RGI ... bizarrement certains ont plus d'écoute que d'autres ...
[^] # Re: Et le RGI ?
Posté par Larry Cow . Évalué à 4.
Oui, mais ça aurait déplu à des tas de prestataires "douteux", qui font justement leur beurre sur le fait que les structures publiques n'ont pas toujours la compétence technique nécessaire pour juger leurs offres.
# site « Open Data » libre et prêt à l'emploi
Posté par dovik (site web personnel) . Évalué à 3.
Pendant ce temps aux États Unis d'Amérique et en Inde, on prépare une plateforme Open Data libre. Pour que chaque ville, organisation ou gouvernement puisse mettre en place son site Open Data.
L'annonce :
http://www.whitehouse.gov/blog/2011/12/05/datagov-goes-global
Le site officiel :
http://www.data.gov/opengovplatform
Le dépot GIT :
https://github.com/opengovplatform/opengovplatform
# Autre exemple d'utilisation
Posté par David Douard . Évalué à 1.
On a commencé à jouer avec les données de data.gouv.fr aussi par chez nous.
Vincent a créé une petite application avec CubicWeb en 2 coups de cuiller à pot pour importer quelques unes de ces données et jouer avec.
Il résume ça dans un billet qui montre les gares SNCF sur une belle carte OpenStreetMap et le genre de requête qu'on peut faire avec.
Pour ceux que ça intéresse...
Disclaimer: je bosse pour Logilab, la boîte qui fait CubicWeb.
David
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.