Journal v'la ce qui se passe quand on est pas cloud ready

Posté par . Licence CC by-sa.
Tags : aucun
9
13
mar.
2018

Voici une mésaventure qu'ont rencontrés certains étudiants pour s'inscrire sur parcoursup.

Sachant que le propre de l'étudiant est d'attendre la dernière minute pour faire ses démarches, une appli cloud ready avec autoscaling pour permettre de poper 500 VMs dans la dernière heure aurait pu absorber le pic de charge.

  • # Architecture

    Posté par (page perso) . Évalué à 9.

    Ça aide mais il faut aussi faire attention de ne pas dépendre d'une seule base MySQL, c'est plus dur à scaler que d'ajouter des VMs.

    • [^] # Re: Architecture

      Posté par . Évalué à 8.

      ne pas dépendre d'une seule base MySQL

      Bah oui mais si t'utilise pas un vrai SGBD … MySL, ça vit encore ? Il me semble qu'on était passé à MariaDB.

      • [^] # Re: Architecture

        Posté par (page perso) . Évalué à 6.

        Oui apparemment: https://www.eversql.com/most-popular-databases-in-2018-according-to-stackoverflow-survey/
        MySQL s'est pas mal amélioré quand même, ça scale plutôt pas mal par rapport à la version 5.0. Mais quelque soit le SGBD ce problème existe.

        • [^] # Re: Architecture

          Posté par . Évalué à 5.

        • [^] # Re: Architecture

          Posté par (page perso) . Évalué à 5.

          C'est vrai qu'un SGBD(R), c'est souvent difficile à passer à l'échelle mais il me semble (je ne suis pas du tout concerné par ce système, donc je ne sais pas à quoi il ressemble) que le nombre d'écriture est assez limité et qu'il s'agit surtout de consultation, et ça c'est quand même plus facile à répliquer massivement.

          « Rappelez-vous toujours que si la Gestapo avait les moyens de vous faire parler, les politiciens ont, eux, les moyens de vous faire taire. » Coluche

          • [^] # Re: Architecture

            Posté par (page perso) . Évalué à 2.

            En effet la réplication en lecture est beaucoup plus simple qu'en écriture, mais reste tout de même compliquée. Une solution standard c'est d'utiliser la réplication logique de Mysql, mais c'est asynchrone donc il faut que ton app sache gérer ça. De plus il faut faire super attention que les réplicas n'aient pas de problème de réplication, retirer les réplicas cassés, etc. Donc déjà c'est pas simple, et très loin de "je lance plus de vms automatiquement quand il y a de la charge".
            Pour scaler en écriture là ça devient vraiment compliqué, il faut utiliser des solutions du type MySQL Cluster ou Galera Cluster, et là ça devient difficile à gérer pour avoir des bonnes perfs et ça a pas mal de contraintes sur l'application.

            • [^] # Re: Architecture

              Posté par . Évalué à 3.

              Pour scaler en écriture là ça devient vraiment compliqué, il faut utiliser des solutions du type MySQL Cluster ou Galera Cluster

              Même pas, chaque écriture doit être validée et commitée en même temps sur tous les noeuds, c'est plus lent qu'avec un seul serveur. En revanche ça permet de scaler en lecture tout en ayant une réplication synchrone (mais d'autres contraintes effectivement).

              • [^] # Re: Architecture

                Posté par (page perso) . Évalué à 3.

                L'objectif d'un sgbdr est de garantir certaines propriétées sur les données : cohérence, intégrité …

                Galera cluster répond à la question de la disponibilité. Pour scaler en écriture, la seule réponse apportée par les sgbdr est le partitionnement. Mais c'est souvent lourd à mettre en œuvre.

                La meilleure solution consiste souvent à utiliser un autre type de base de données. Quitte à consolider ensuite les données en batch. Ou à avoir une approche asynchrone des écritures via un middleware type ASMQ.

                • [^] # Re: Architecture

                  Posté par . Évalué à 1.

                  […]middleware type ASMQ.

                  AMQP tu veux dire ?


                  Perso je suis pas certains qu'il y ai besoin d'avoir un SGBDR pour faire leur job. Ils reçoivent des inscriptions et dans les minutes qui suivent envoient un mail de confirmation ou expliquant le problème. Ça monte très très bien en charge.

  • # Prévisible

    Posté par . Évalué à 3.

    Je ne sais pas comment ils se sont débrouillés au ministère. C'était un problème parfaitement prévisible. Il fallait faire un site qui est à peine utilisé 6 mois de l'année, pas mal le reste de l'année, avec d'énormes pics avant les deadlines.

    Enfin, ils n'ont jamais vu d'élèves et ne savent pas que beaucoup vont le faire au dernier moment ?

    • [^] # Re: Prévisible

      Posté par (page perso) . Évalué à 3.

      C'est prévisible, pas pour autant facile à gérer. Si la prévision est un peu erronée, les problèmes arrivent vite. Ou alors ils ont pris la réponse au marché public la moins chère et qui avait simplement sous estimé le problème pour réduire le coût.

      • [^] # Re: Prévisible

        Posté par . Évalué à 4. Dernière modification le 14/03/18 à 00:44.

        Ils ont peut-être fait ça à l’arrache, comme pour les alertes attentat par SMS ?

        À force de détournements d’argent, d’emplois fictifs… bref… de cynisme et d’individualisme à tous les niveaux, ce serait pas étonnant d’arriver à de telles contre-performances.

        • [^] # Re: Prévisible

          Posté par . Évalué à 4.

          Ou de nouveaux donneurs d’ordres, genre un nouveau gvt, qui veut surtout ne rien faire comme le précédent.

          • [^] # Re: Prévisible

            Posté par . Évalué à 3.

            et franchement fermer les inscriptions/écriture dans une base de donnée a 18h00, genre a 19h00 ils vont commencer a bosser dessus dans toute les inspections, école de commerce etc …

            chez les fonctionnaire mysql s’arrête tous les jours à 18h00 ? c'est quoi ces heures bidons ?

            l'heure limite à 04h00 du matin poserais moins de problèmes.

            • [^] # Re: Prévisible

              Posté par . Évalué à 3.

              En l'occurrence, donner une deadline ferme, c'est aussi un problème d'équité/égalité devant tous les candidats : tout le monde est traité de façon égale. Parce que si on suit ton raisonnement, alors bon, franchement, 19h ou 20h, tant qu'il est pas 8h ou 9h du mat', heure à laquelle on va peut-être commencer à examiner les dossier, on s'en fout non (hint : non, on ne s'en fout pas) ?

              • [^] # Re: Prévisible

                Posté par (page perso) . Évalué à 6. Dernière modification le 16/03/18 à 09:31.

                Image à la mode en ce moment…

                Examinateur: « Afin d’assurer une sélection juste et correct, la consigne de l’examen sera la même pour tous : grimpez sur l’arbre ! » En face les candidats : un oiseau, un signe, un éléphant, un poisson, un phoqie et un chien.

                • [^] # Re: Prévisible

                  Posté par . Évalué à 4.

                  Ce n'est pas exactement la même situation : comme je le dis un peu plus bas :

                  • Pendant toute la période où parcoursup était ouvert, tout était ouvert 24h/24 (nuit comprise donc)
                  • Au mieux, on pourrait imaginer que si la date limite est le jour X du mois Y, alors on peut soumettre jusqu'à 23:59:59 au jour X.
                  • En pratique, on doit considérer que tout le monde n'a pas forcément accès à un PC hors heures « normales » de bibliothèques, etc., donc avoir une deadline qui correspond aux heures administratives ne me semble pas complètement déconnant. Ça correspond possiblement aussi aux horaires où du personnel peut régler des problèmes/pannes si jamais elles ont lieu, car encore officiellement au bureau.

                  L'image que tu postes n'est pas franchement pertinente selon moi : il ne faut pas oublier qu'on parle du dernier jour pour la soumission de vœux d'élèves, et en particulier de la dernière heure (ou des deux dernières heures). Alors oui, les élèves (et les étudiants ­— et, soyons honnêtes, beaucoup d'adultes en règle générale) s'y prennent souvent à la dernière minute, mais autant on peut conspuer l'administration car elle n'a pas prévu le cas de grosse montée en charge en prévision du dernier jour (et du coup il s'agit surtout de prévoir que pendant 8h d'affilées, on aura une grosse charge quoi qu'il arrive), autant dire « ouin c'est pas juste, moi je peux me coucher plus tard que d'autres » ça me semble un peu ridicule : parcoursup était ouvert dès le 22 janvier.

                  TL;DR: gueuler contre le SI de parcoursup car ils n'ont pas supporté la charge du dernier jour de soumission, je comprends. Gueuler contre le fait que ça se termine arbitrairement à 18h (heure où plus aucun personnel ne peut aider si y'a plantage/problème), je trouve que c'est un peu de la chouinerie.

                  Dans tous les cas, il ne s'agit pas de niveler par le bas, ni de nier leurs spécificités aux usagers (ce qui est le thème de l'image postée).

              • [^] # Re: Prévisible

                Posté par . Évalué à 4.

                dark_star propose une échéance ferme mais à 4h du matin. Je ne vois pas ton problème d'équité : c'est 4h du mat' pour tout le monde.

                C'est beaucoup plus intelligent que 18h ou que ton raisonnement débile pour proposer 9h du matin. Si l'échéance est à 4h du matin, le pic de connexions sera vers 22-23h, pas à 3h30. Les élèves qui n'auront pas réussi à se connecter pendant le pic se coucheront juste un peu plus tard.

                Et comme le fait remarquer dark_star, 18h ou 4h du matin, ça ne change rien pour l'administration. D'ailleurs, je me souviens qu'il y a vingt ans quand j'ai utilisé l'équivalent de l'époque, l'échéance était à minuit. À 22h, le serveur (Minitel) était saturé mais à 23h30 il n'y avait plus de problème pour se connecter

                Cette signature est publiée sous licence WTFPL

                • [^] # Re: Prévisible

                  Posté par . Évalué à 3.

                  Pour faire vite : tu supposes que tout le monde a accès à un ordinateur avec une connexion internet (décente) h24. Sauf qu'on ne peut pas nécessairement faire cette supposition pour des particuliers dans le cas général.

                  D'ailleurs, je me souviens qu'il y a vingt ans quand j'ai utilisé l'équivalent de l'époque, l'échéance était à minuit. À 22h, le serveur (Minitel) était saturé mais à 23h30 il n'y avait plus de problème pour se connecter

                  Ça me semble raisonnable, mais il ne faut pas oublier que même il y a 20 ans, on pouvait louer/emprunter un minitel gratuitement aux P&T (pas d'abonnement) tant que c'était la version noir et blanc.

                  Pour donner un exemple dans un autre domaine : je donne cours en IUT. J'aimerais bien pouvoir supposer que tous mes étudiants ont un ordinateur (fixe ou portable) chez eux, et du coup leur dire « vous pourrez finir le TD [ou le TP] chez vous ». Sauf que je ne peux pas, car ce n'est pas équitable pour tous mes étudiants.

                  Enfin, il ne faut quand même pas oublier que toutes les autres nuits et tous les autres jours qui ont précédé la date limite on pouvait soumettre à n'importe quelle heure.

      • [^] # Re: Prévisible

        Posté par (page perso) . Évalué à 10.

        Et on sait que l'État a conscience de ce genre de soucis. Après tout la date pour déclarer ses revenus n'est pas le même sur tout le territoire pour justement éviter un pic national trop fort peu avant la date limite (car tout le monde a tendance à aire ça au dernier moment).

        Seulement ce n'est pas possible de faire ça pour ce service (pourquoi un élève de Paris aurait plus ou moins de temps de réflexion pour son parcours scolaire supérieur qu'un élève d'un autre département ?).

        Puis l'autre soucis c'est que sa mise en place était trop rapide. Pour un site de cet ampleur, et de cette importance, moins d'un an entre l'annonce et son utilisation en production me paraît cavalier. Je pense que c'est le principal problème qui explique les soucis en cours.

        • [^] # Re: Prévisible

          Posté par . Évalué à 7.

          Parcoursup c'est APB avec de nouveaux critères de sélection et une nouvelle interface pour les élèves (pour les profs, c'est toujours l'ancienne) ; ils ne sont donc pas partis d'une feuille blanche.

          Pour ce qui est de la montée en charge, ils ne peuvent pas non plus architecturer l'ensemble avec comme base : "tous les lycéens de France se connecteront la dernière heure" ! Jusqu'à 17h00 la plateforme répondait parfaitement (arrêt programmé à 18h00). Ils ont tout de même pris mille précautions cette année : plateforme fermée dans l'après-midi pour les gestionnaires et profs afin de réserver la bande passante aux élèves, envoi de courriels par les responsables de la plateforme à tous les profs principaux la semaine dernière avec pourcentage des élèves n'ayant pas encore effectué de voeux, statistiques, rappels, …

          Prochain épisode : 31 mars, fin de la possibilité d'ajout/modification des documents complémentaires.

        • [^] # Re: Prévisible

          Posté par (page perso) . Évalué à 4.

          Seulement ce n'est pas possible de faire ça pour ce service (pourquoi un élève de Paris aurait plus ou moins de temps de réflexion pour son parcours scolaire supérieur qu'un élève d'un autre département ?)

          C'était possible de caler ça par zone, par rapport à la fin des vacances d'hiver (les lycéens de la zone B avaient 34 heures entre la rentrée et la fin des voeux ; ceux de la zone A avaient 16 jours).

        • [^] # Re: Prévisible

          Posté par . Évalué à 1.

          Seulement ce n'est pas possible de faire ça pour ce service (pourquoi un élève de Paris aurait plus ou moins de temps de réflexion pour son parcours scolaire supérieur qu'un élève d'un autre département ?).

          Je ne vois pas le problème de faire comme pour les impôts

    • [^] # Re: Prévisible

      Posté par . Évalué à 10.

      Enfin, ils n'ont jamais vu d'élèves et ne savent pas que beaucoup vont le faire au dernier moment ?

      Mon père qui était proviseur adjoint, m'expliquait que quand il demandait une deadline pour les profs, il mettait la même marge de sécurité que pour les élèves :D

      • [^] # Re: Prévisible

        Posté par (page perso) . Évalué à 4. Dernière modification le 14/03/18 à 10:14.

        Quand j'ai passé mon bac, j'ai du inscrire mes voeux sur un minitel, et on avait des plages de date qui nous étaient imposés par l'administration de notre lycée, du coup les inscriptions (du moins au sein de notre lycée) étaient lissées sur plusieurs jours pour l'ensemble des élèves de terminale.

        Je ne comprends pas qu'on laisse tous ces gamins (ce n'est pas péjoratif, loin de là, je l'ai été moi aussi - c'est dans le sens qu'ils ont probablement besoin d'accompagnement même si la plupart sont déjà légalement adultes) faire ça à leur convenance au moment qu'ils veulent: sachant qu'ils sont censé y avoir réfléchit (au parcours qu'ils souhaitent faire) depuis des mois et des mois, l'inscription sur le service n'est en elle même qu'une formalité, c'est le choix qui est difficile, et en ce sens, ils auraient du prendre leur décision bien avant.

        • [^] # Re: Prévisible

          Posté par (page perso) . Évalué à 9.

          Dans un monde idéal, oui tu as raison.

          Dans la vraie vie, la plupart des lycéens ignorent ce qu'ils veulent vraiment faire plus tard (et cela est compréhensible, c'est un choix difficile). Même dans le supérieur pas mal d'étudiants sont perdus sur la question.

          En plus, certains ont un choix large de possibilités (prépa, DUT, université, etc.), ils doivent sélectionner la filière, la matière, potentiellement aller sur place lors d'une JPO pour collecter des informations ou mesurer l'ambiance et le cadre. Tout cela prend du temps et peut nécessiter de trancher à la dernière minute.

          Pour résoudre cela, il faudrait de vrais services d'orientations dans les lycées (car actuellement c'est une blague avec des ramassis de clichés). Avec un vrai accompagnement depuis la seconde on pourrait formaliser le choix de l'élève bien avant la date limite des dépôts.

          • [^] # Re: Prévisible

            Posté par (page perso) . Évalué à 10.

            Dans la vraie vie, la plupart des lycéens ignorent ce qu'ils veulent vraiment faire plus tard

            Je ne suis pas sûr que la plupart des adultes savent ce qu'ils veulent faire plus tard.

            « Rappelez-vous toujours que si la Gestapo avait les moyens de vous faire parler, les politiciens ont, eux, les moyens de vous faire taire. » Coluche

            • [^] # Re: Prévisible

              Posté par . Évalué à 7.

              Je ne suis pas sûr que la plupart des adultes savent ce qu'ils veulent faire plus tard maintenant.

              • [^] # Re: Prévisible

                Posté par (page perso) . Évalué à 10.

                Je ne suis pas sûr que la plupart des adultes savent ce qu'ils veulent faire plus tard maintenant font.

          • [^] # Re: Prévisible

            Posté par (page perso) . Évalué à 2.

            Avec un vrai accompagnement depuis la seconde on pourrait formaliser le choix de l'élève bien avant la date limite des dépôts.

            Oui je suis tout à fait d'accord avec ça, c'est que j'entendais en parlant de besoin d'accompagnement. Là on commence à attaquer un sujet politique beaucoup plus profond que simplement le logiciel admission post-bac. Sans aller plus loin dans le débat parce qu'à mon opinion c'est pas le bon endroit pour, je trouve que c'est une honte la façon dont les (au moins 4, donc l'actuel) derniers gouvernements ont laissé tombé les jeunes et l'éducation.

          • [^] # Re: Prévisible

            Posté par . Évalué à 2.

            Tu as raison, mais après, typiquement, pour les JPO, les facs/prépas/etc. font exprès de les organiser en Décembre/Janvier/Février justement pour que ce soit encore « frais » dans la tête des lycéens et de leurs parents.

            Concernant les choix entre prépa, STS, IUT, fac, etc., comme tu as 10 choix (sans compter les sous-choix dans une catégorie donnée), tu peux relativement facilement les inscrire. Il s'agit vraiment principalement d'un problème de méthode à la rache™.

      • [^] # Re: Prévisible

        Posté par . Évalué à 3.

        C'est aussi vrai dans le supérieur, soit dit en passant. Enfin, pas moi, hein, mais les autres… O:-)

  • # Cloud souverain

    Posté par . Évalué à 10.

    Tout ça ne serait pas arrivé si on avait eu une plateforme de cloud souverain digne de ce nom.

    Je propose que l'état investisse dans une "joint-venture" réunissant les meilleurs acteurs historiques du digital français afin que la France dispose enfin de la plateforme cloud qu'elle mérite.

    Ca pourrait s'appeler Numergy.(mais si vous préférez appeler ça Cloudwatt ça marcherait aussi)

    Avec le support de l'Etat ce projet aurait toutes ses chances.

    • [^] # Re: Cloud souverain

      Posté par . Évalué à 10.

      Réponse du Ministre:
      "Je ne vois pas bien en quoi un cloud sous verins marcherait mieux, mais Orange me dit que c'est faisable pour 500M€, alors on va le faire et mettre la France à la pointe (ce qui risque de faire mal, suivant la position et l'orientation de la pointe…)"

    • [^] # Re: Cloud souverain

      Posté par (page perso) . Évalué à 9.

      Réunir les meilleurs acteurs historiques du digital français ? C'est pour organiser un concert de castagnettes ?

      • [^] # Re: Cloud souverain

        Posté par (page perso) . Évalué à 3.

        digital français ? C'est pour organiser un concert de castagnettes ?

        Ah mais si l'on cause de «digital», c'est plutôt de piano qu'il s'agit.

    • [^] # Re: Cloud souverain

      Posté par . Évalué à 4.

      Héhé tu aurais dû mettre les liens Wikipédia : Numergy et Cloudwatt. Je pense que pas assez de personnes connaissent ces gabegies, où l’état lâche un max de sous à des entreprises du cac40 ou assimilé, pour à la fin un projet de merde et closed source. à mais non, c’est open source (OpenStack pour les deux) ! Bon mais 500M° d’euros quand même !

      Bon y a des github dans les deux cas : github cloudwatt ; github numergy

      Bon alors que Orange met en avant l'open source et OpenStack ce n'est pas le cas pour SFR

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.