Journal OpenData Meteo

Posté par  (site web personnel) . Licence CC By‑SA.
20
28
jan.
2022

Salut nal,

https://www.nextinpact.com/article/49607/open-data-infoclimat-association-qui-lutte-pour-ouverture-donnees-meteorologiques

J’évoquais en commentaire du lien suivant (https://linuxfr.org/users/colargol/liens/dans-le-creux-de-la-vague-sigfox-place-en-redressement-judiciaire#comment-1881502) mon intérêt pour le sujet de l’AgTech. En ce moment je suis servi !

Cet article passionnant de NextInpact fait l’impasse sur SenCrop, une société lilloise qui dispose d’un réseau de stations météo appréciable. J’y connais plusieurs personnes, plusieurs de mes anciens élèves y travaillent. SenCrop c’est un peu comme SigFox : bien mais proprio. D’ailleurs SenCrop utilise le réseau qui avait été mis par SigFox.
Pour autant que je sache, ils sont pas du tout au bord du dépôt de bilan, eux.

Mais assez parlé de solutions fermées.

J’ai eu l’occasion de voir ce qu’on arrive à faire avec un maillage suffisamment fin de stations météo. Pour le dire rapidement, on parvient à objectiver les savoir locaux du genre « sur le champ de machin, il pleut jamais ».

L’article de NextInpact s’intéresse beaucoup aux sujets techniques de l’IoT classique (où sont les serveurs, comment sont traitées les données etc.) mais n’évoque pas les soucis propres à l’IoT pour l’agriculture : couverture réseau (cf le lien sur SigFox), résistance du matériel aux conditions météo et à un tracteur qui roule dessus (bah oui) et positionnement précis du matos pour avoir de bonnes mesures (sous des arbres, il ne pleut pas, au milieu d’un champ non-plus etc.)

Voilà voilà

  • # projet open ?

    Posté par  (site web personnel) . Évalué à 6.

    Il faut créer un projet de réseau de station météo open. J'imagine qu'il existe des tonnes de station open source, il ne reste plus qu'à fournir le serveur et le moyen pour envoyer/partager les infos (OMM, OpenMeteoMap ?).

    "La première sécurité est la liberté"

    • [^] # Re: projet open ?

      Posté par  (site web personnel) . Évalué à 4.

      Bah euh … c’est exactement ce dont parle l’article de nextInpact. Non ?

    • [^] # Re: projet open ?

      Posté par  . Évalué à 5.

      N'est ce pas ce que fait Weather Underground (https://www.wunderground.com/pws/overview) et d'autres ?

    • [^] # Re: projet open ?

      Posté par  . Évalué à 10.

      Bonjour,

      Je suis le vice-président interviewé dans l'article de NextInpact.
      C'est précisément l'objet (ou du moins une partie de l'objet!) de notre initiative, de créer une base de données libre (et à l'avenir, des outils en open source) gérés de manière désintéressée par une asso de bénévoles depuis + de 20 ans.
      Plus d'infos donc dans notre interview chez Framasoft : https://framablog.org/2022/01/25/infoclimat-un-commun-meteorologique-et-climatologique-a-preserver/
      Ou chez nous :
      https://www.infoclimat.fr/opendata
      https://www.infoclimat.fr/stations/static.php

      Comme dit dans cet article plus détaillé, l'immense majorité des initiatives similaires, dont WeatherUnderground (qui appartient à IBM) sont des solutions propriétaires, dont les données ne servent que des intérêts privés (publicitaires, d'entraînement de modèles ou d'outils à la revente…). Ces solutions sont aussi bien moins poussées qu'Infoclimat dans l'exploitation qui est faite derrière des données : il ne s'agit pas que de les présenter en temps réel, mais aussi de les traiter à fins d'analyse climatologique (évolution du climat), dans la durée. Et il y a bien d'autres applications à ces données (cf article de Framasoft où on parle un peu des modèles de prévisions et de l'intérêt de l'opendata).

      Beaucoup de ces initiatives privées vous permettent d'injecter vos données facilement, par contre il est souvent plus difficile de les réutiliser ensuite, de les fournir ailleurs, ou de les récupérer si on veut se séparer de la plateforme. Exemple chez Davis (Weatherlink.com), où il faut payer un coûteux abonnement pour avoir une fréquence de données plus élevée, ou pour disposer de ses propres archives…

      Il y aurait tant à dire, mais mon temps est compté (:D) et effectivement l'article de Nextinpact se voulait volontairement synthétique.

      Frédéric

  • # les commentaires

    Posté par  (site web personnel) . Évalué à 5.

    Cet article passionnant de NextInpact fait l’impasse sur SenCrop, une société lilloise qui dispose d’un réseau de stations météo appréciable. J’y connais plusieurs personnes, plusieurs de mes anciens élèves y travaillen

    Dans les commentaires ça en parle, avec des interventions de la part d'une personne d'infoclimat

    • [^] # Re: les commentaires

      Posté par  (site web personnel) . Évalué à 4.

      Oui ça en parle. Le Kampuchea qui a commencé à le faire, c’est moi ;-)
      (d’ailleurs on a la même icône de profil, c’est un bon indice)

  • # Article du Framablog sur Infoclimat

    Posté par  (site web personnel) . Évalué à 9.

    Un post récent du Framablog au sujet d'Infoclimat est également disponible :)

    Je ne suis pas abonné à NextInpact donc je n'ai malheureusement pas pu lire l'article mentionné dans le journal, mais j'ai trouvé cette interview de deux bénévoles d'Infoclimat sur le Framablog très intéressante. À noter : ils recrutent deux personnes en ce moment !

  • # Incertitudes et normales saisonnières

    Posté par  (site web personnel) . Évalué à 3.

    Ayant lu l’article du framablog pointé au-dessus, cela me rappel une question récurrente. Peut-être quelqu’un ici saura-t-il y répondre ?
    Il est fréquent d’entendre les gens commenter les observations météorologiques en termes d’écart aux normales saisonnières ; du genre températures 10°C supérieures ou inférieures, etc. Mais ces comparaisons me semblent peu informatives faute de connaître si peu que ce soit la distribution des mesures passées autour de la moyenne. Un estimateur de l’écart-type ne serait-il pas déjà un bon début d’information sur ce sujet ? Ce genre d’information serait-elle calculée et proposée quelque part à vos connaissances ?

    « IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace

    • [^] # Re: Incertitudes et normales saisonnières

      Posté par  (Mastodon) . Évalué à 3.

      Exactement, c'est ce que je me suis toujours dit : imaginons que à Noël, il y ait dans une ville deux météos très courantes : 0°C par temps clair, et 10°C par temps de pluie.

      Du coup on est à une moyenne de 5°C, et on passera notre temps à dire qu'on est 5°C en dessus ou au dessous des "normales saisonnières" alors que on assiste à une météo finalement très courante.

      Mais peut-être me trompé-je sur l'interprétation de cette "normale" saisonnière ?

      En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.

      • [^] # Re: Incertitudes et normales saisonnières

        Posté par  (site web personnel, Mastodon) . Évalué à 2.

        J'ai jamais pu blairer cette expression… Ton exemple exprime à la rigueur une « moyenne » ; mais une « normale » ? wtf?

        “It is seldom that liberty of any kind is lost all at once.” ― David Hume

        • [^] # Re: Incertitudes et normales saisonnières

          Posté par  . Évalué à 4.

          En stat/proba, la distribution en moyenne s'appelle la normale…

          • [^] # Re: Incertitudes et normales saisonnières

            Posté par  (site web personnel) . Évalué à 2.

            je dirais même plus Loi_normale ou distribution normale.

          • [^] # Re: Incertitudes et normales saisonnières

            Posté par  . Évalué à 2.

            C’est pas plutôt l’espérance ? Il y a bien la « loi normale » mais en cherchant dans rapidement dans wikipédia par exemple je trouve pas d’occurrence du terme « normale » pour dire « moyenne ».

          • [^] # Re: Incertitudes et normales saisonnières

            Posté par  (site web personnel, Mastodon) . Évalué à 2.

            D'une part, quand tu parles de "normale" pour le commun des mortels ça a des implications psychologiques de l'assertivité de la "norme"… Dire à Tartampion que son poids n'est pas dans la moyenne n'a pas le même effet que de lui dire que ce même poids n'est pas dans la norme, mais c'est un autre débat et je veux juste souligner que le mot choisi est malheureux pour le "grand public".

            D'autre part, quand tu dis "distribution en moyenne" il y a le premier mot qui compte et qui fait qu'on devrait nous présenter la gaussienne (courbe normale…) et non un nombre isolé.
            D'ailleurs, la "moyenne" (arithmétique) que je préfère n'a pas plus de sens isolément : il faut au moins l'étendue (la période sur laquelle on a calculé cette moyenne saisonnière) et la répartition en moyenne (i.e. écart-type ou espérance…) pour mieux apprécier. C'est encore mieux si on a en plus les extrémums et la médiane aussi. Bref, la manie de résumer ce qui est déjà résumé fait perdre du vrai sens.

            “It is seldom that liberty of any kind is lost all at once.” ― David Hume

            • [^] # Re: Incertitudes et normales saisonnières

              Posté par  . Évalué à 2. Dernière modification le 30 janvier 2022 à 21:06.

              J'ai pas dit que c'était bien d'utiliser ce terme, mais juste tenté de l'expliquer (en réponse à << wtf? >>). J'ai aussi trouvé que le terme "normale saisonnière" énervant, jusqu'à ce que je fasse des stats et que je comprenne (ou pense comprendre) pourquoi ce terme.

              • [^] # Re: Incertitudes et normales saisonnières

                Posté par  (site web personnel, Mastodon) . Évalué à 3.

                Ah t'inquiète, je pense bien qu'il y a une explication/origine mais ça n'en demeure pas moins une simplification outrancièrement grossière ou grossièrement outrageuse ;-D Il se trouve que quand on discute avec les gens, ça comprend vraiment ça comme une "norme" et donc qu'il y a une anomalie… (alors qu'on est souvent dans une fourchette pas si incongrue quand on lit la moyenne avec son écart-type…)

                “It is seldom that liberty of any kind is lost all at once.” ― David Hume

      • [^] # Re: Incertitudes et normales saisonnières

        Posté par  . Évalué à 6.

        C'est une discussion complexe qui pose souvent question y compris chez les pro de la météo ;-)
        La problématique c'est surtout les médias qui disent "2 mois de pluie", sans dire quel type de mois (un mois d'août de pluie c'est différent d'un mois d'octobre !).

        Néanmoins, la terminologie "normales de saison" est unanimement utilisée, l'idée étant de simplifier pour le grand public les problématiques de densité de probabilité, d'écarts-types, de quantiles, qui sont effectivement normalement mieux adaptés pour en parler.
        Sur Infoclimat, on y présente différents indicateurs, par exemple en écart-type :
        https://www.infoclimat.fr/climato/indicateur_national.php
        ou en densité de probabilités (3e graphique) :
        https://www.infoclimat.fr/climatologie/globale/mois-de-janvier/lille-lesquin/07015.html

        De manière générale, travailler en "sigmas" est assez intéressant, mais assez difficilement compréhensible par le public généraliste :-/

        Frédéric
        (Infoclimat)

        • [^] # Re: Incertitudes et normales saisonnières

          Posté par  (site web personnel, Mastodon) . Évalué à 2.

          L'expression « pro de la météo » ne cadre pas trop avec cette rigueur de comptoir…
          Dans le système scolaire français et d'autres autour (je crois qu'il en est de même en Belgique et en France, sans compter toutes les anciennes colonies où ces systèmes éducatifs ont été exporté), on apprend assez tôt la notion de moyenne (qui au passage est accessible même aux gens qui n'ont pas été ou ont été peu scolarisés.) L'écart-type (ou plus exactement la variance), juste après, n'est pas plus compliqué. Alors, estimer qu'il faille parler de "normales" sinon les gens ne comprendront pas c'est une forme d'abrutissement ou un étalement de médiocrité contre lequel il convient de lutter …en ne permettant pas l'usage de terminologies mensongères "unanimement".
          Attention, je ne vous jette pas la pierre mais incite à faire évoluer les choses de l'intérieur et ne pas cautionner la crasse médiatique. Sur ce point, c'est déjà un très grand pas que InfoClimat présente différents indicateurs.

          “It is seldom that liberty of any kind is lost all at once.” ― David Hume

          • [^] # Re: Incertitudes et normales saisonnières

            Posté par  . Évalué à 6.

            Je ne sais pas en France, mais en Belgique, la notion d'écart-type est vu assez tard (dans les deux dernières années de secondaire générales et pas dans tous les programmes si je me souviens bien). Et pour la partie des gens qui l'ont vu, peu s'en souvienne hors étude scientifique/économique d'après mon échantillon non représentatif de connaissances autour de moi. Donc, je ne suis pas dû tout d'accord que c'est un sujet facile à aborder.

            « Rappelez-vous toujours que si la Gestapo avait les moyens de vous faire parler, les politiciens ont, eux, les moyens de vous faire taire. » Coluche

            • [^] # Re: Incertitudes et normales saisonnières

              Posté par  (site web personnel, Mastodon) . Évalué à 3.

              En France aussi, à mon époque, l'écart-type n'est étudiée qu'à la fin du lycée… tout comme la moyenne… Mais il s'agit là de la notion mathématique (les formules.)
              Je disais justement que le quidam est confronté à la notion de moyenne arithmétique assez tôt (bien que ce ne soit officiellement étudié que assez tard) et que, une fois qu'on comprend la moyenne, « l'écart-type "juste après" n'est pas plus compliqué » (toujours sans rentrer dans l'aspect calculatoire) :-)
              Dans ton échantillon de connaissances (et le mien) je parie que peu se souviennent du théorème de Pythagore (la formule, pas juste le nom) pourtant étudié plus tôt. Les gens oublient ce qu'ils n'utilisent pas régulièrement, indépendamment de la facilité ou non du sujet. D'ailleurs, la majorité ne se souvient pas plus que ça de la moyenne arithmétique… ;-)

              “It is seldom that liberty of any kind is lost all at once.” ― David Hume

          • [^] # Re: Incertitudes et normales saisonnières

            Posté par  (site web personnel) . Évalué à 4. Dernière modification le 31 janvier 2022 à 08:26.

            Dans la discussion il m'a sembler ne voir évoquer que deux ou trois fois explicitement que les distributions en question puissent ne pas être normales (ie gaussienne). À partir du moment ou la plupart des gens s'en feraient une idée de courbe en cloche, ne serait-il pas naturel de confondre, par exemple, température moyenne et température normale : la première étant aussi la plus probable, donc un peu la seconde et celle autour de la quelle les autres peuvent être conçues comme des variations dues à de (nombreux) mécanismes aléatoires ? Même pas certain que cette conception déjà avancée soit de l'ordre des préoccupations de la majorité des présentateurs de météo. Indiquer un écart-type admis comme un indicateur de l'incertitude relèverai d'ailleurs de la même démarche… et serait pourtant un net progrès par rapport aux informations que le quidam trouve aisément.
            Disposer de manière générale des distributions, ou mieux encore de leur analyse, me paraît un luxe de spécialiste. Du coup, l'emploi du terme de normal ne me choque pas tant que ça, même s'il relève d'un et induit effectivement un biais de compréhension. De toute façon la majorité de la population n'a aucune idée de comment estimer l'écart-type ou la valeur quadratique moyenne à partir de la distribution d'une variable aléatoire.

            PS : merci à fredericameye pour les liens. Infoclimat est si riche…

            « IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace

            • [^] # Commentaire supprimé

              Posté par  . Évalué à 2. Dernière modification le 15 février 2022 à 02:57.

              Ce commentaire a été supprimé par l’équipe de modération.

              • [^] # Re: Infoclimat RSS

                Posté par  (Mastodon) . Évalué à 3.

                Oui je ne connaissais pas non plus, c'est super !

                Bon, il n'y a pas de RSS, mais il y a tout de même le XML, JSON et CSV, c'est déjà pas mal !

                En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.

                • [^] # Commentaire supprimé

                  Posté par  . Évalué à 2.

                  Ce commentaire a été supprimé par l’équipe de modération.

  • # Réponse générale au topic :)

    Posté par  . Évalué à 5.

    Bonjour,

    Je suis la personne interviewée dans l'article.
    Concernant les problématiques des réseaux de communication, c'est un problème fréquent pour nous (lieux sans 4G ou sans alimentation électrique). On commence à déployer des capteurs LoRa (cf notre forum), et à travailler sur des solutions openhardware pour interconnecter une station de type VP2 en LoRa.

    C'est exactement ce qu'a fait SenCrop, mais avec Sigfox, et en version propriétaire, et avec abonnement coûteux pour les agriculteurs, ce qui n'est pas notre "modèle de préférence", qui vise à pouvoir permettre à tous la production et l'accès aux données, dans un "commun numérique". Bien d'autres boîtes que l'on connait (puisque souvent leurs fondateurs "trainent" sur nos forums ou sont même adhérents de longue date :)) font ce type de travail (avec réseaux IoT ou non d'ailleurs), il existe de nombreux réseaux, la plupart privés, parfois subventionnés par de l'argent public (IoT et agriculture c'est vendeur !), de startup, de PME ou de gros groupes… C'est un business devenu très actif ces dernières années (pour le meilleur et pour le pire).

    J'aurais aimé en parler, mais il fallait conserver un article un peu synthétique :-)

    Frédéric

  • # un bon complément

    Posté par  (site web personnel, Mastodon) . Évalué à 4.

    …de cet échange de Paris Télécoms Alumni en mai dernier (on y parle d'autres choses aussi) https://youtu.be/rNtH24xb2Oc

    “It is seldom that liberty of any kind is lost all at once.” ― David Hume

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.