Journal TOP500 : 92.4 % des supercalculateurs tournent sous Linux

Posté par  . Licence CC By‑SA.
Étiquettes :
20
7
nov.
2012

Hans Meuer, professeur d'informatique à l'Université de Mannheim, en Allemagne, Jack Dongarra de l'Université du Tennessee à Knoxville, Erich Strohmaier et Horst Simon du National Energy Research Scientific Computing Center (NERSC) du Lawrence Berkeley National Laboratory (LBL) sont les auteurs du projet TOP500, qui permet d'établir des statistiques sur des supercalculateurs (source wikipedia).

En guise de rappel, une dépêche avait déjà été réalisée en 2010 par patrick_g.Pour ce journal, je me suis contenté de la liste des familles de systèmes d'exploitation utilisés et non les nombreuses autres statistiques établies par le logiciel de benchmark Linpack.

En Juin 2002, parmi les 500 supercalculateurs, les plus performants au monde, connus du site TOP500, 82.8% tournaient sous un OS Unix, 13.4% d'entre eux sous Linux, et 2.6% basés sur BSD. En 2012, soit 10 ans plus tard, on assiste à quelque chose d'assez surprenant (voire un retournement de situation), puisque 92.4% des 500 supercalculateurs tournent non pas sous Unix, mais sur un système Linux. Finalement c'est 4.8% qui tournent sous Unix et 0.2% sous BSD. Quant à Windows, sa part de marché n'a pas progressé depuis Juin 2003, avec un chiffre de 0.2% des supercalculateurs.

À vrai dire, la progression de Linux se faisait déjà sentir depuis Novembre 2002, avec 14.2% des supercalculateurs. Ce sera finalement en Juin 2004 que Linux prendra la tête du classement avec 58.2% des supercalculateurs. On pourrait, probablement, avancer que cette famille de systèmes d'exploitation a pris la première place bien avant cette date, mais le recueil d'informations établi par le site TOP500 se fait uniquement pendant le mois de Juin et le mois de Novembre ; par conséquent Linux aurait dépassé Unix entre Novembre 2003 et Juin 2004.

Affaire à suivre pour le mois de Novembre 2012…

  • # Sans blague ?

    Posté par  (site web personnel) . Évalué à 10.

    En guise de rappel, une dépêche avait déjà été réalisée en 2010 par patrickg_

    Heuuu…ça fait des années que je rédige toutes les news Top 500.

    Juin 2012 : https://linuxfr.org/news/sortie-du-top-500-de-juin-2012
    Novembre 2011 : https://linuxfr.org/news/le-top%C2%A0500-de-novembre%C2%A02011
    Juin 2011 : https://linuxfr.org/news/sortie-du-top%C2%A0500-de-juin%C2%A02011
    Novembre 2010 : https://linuxfr.org/news/le-top-500-de-novembre-2010
    Juin 2010 : https://linuxfr.org/news/le-classement-top-500-de-juin-2010-est-disponible
    Novembre 2009 : https://linuxfr.org/news/le-top-500-de-novembre-2009
    Juin 2009 : https://linuxfr.org/news/le-classement-top-500-de-juin-2009-est-disponible
    Novembre 2008 : https://linuxfr.org/news/le-trente-deuxi%C3%A8me-top-500-des-super-ordinateurs
    Juin 2008 : https://linuxfr.org/news/un-top-500-sous-le-signe-du-p%C3%A9taflops
    Novembre 2007 : https://linuxfr.org/news/le-top500-nouveau-est-arriv%C3%A9

    Et je suis dans les starting blocks pour rédiger la news dès que le nouveau classement sera dispo sur le site.

  • # Tuning

    Posté par  (site web personnel) . Évalué à 10.

    Il me semble qu'il y a beaucoup de boulot d'optimisation au niveau du noyau Linux pour tout ce qui est très gros calculateurs¹, voir des adaptations spécifiques pour certaines architectures. Ceci explique peut-être cela.

    Un peu de lecture en patois: Why do super computers use Linux?

    ¹ Et aussi beaucoup de boulot pour les tout petits calculateurs dans l'embarqué :-)

    Python 3 - Apprendre à programmer dans l'écosystème Python → https://www.dunod.com/EAN/9782100809141

  • # Unix

    Posté par  (site web personnel) . Évalué à 0.

    Qu'appelle-t-on Unix au juste ? S'il s'agit des systèmes respectant la norme POSIX, GNU/Linux en fait partie.

    • [^] # Re: Unix

      Posté par  (site web personnel) . Évalué à 1.

      (ou la norme SUS, Single Unix Specification, qui était européenne mais a fusionné avec POSIX)

    • [^] # Re: Unix

      Posté par  (site web personnel) . Évalué à 5.

      Dans le cas des supercalculateurs, la quasi-totalité de la catégorie "Unix" correspond à AIX. On peut obtenir la liste (de juin 2012) ici.

      Il y a bien un OpenSolaris dans la liste (le 160), mais qui a été installé avant l'abandon lié au rachat par Oracle.

      Il est intéressant de noter que presque tous les Unix ont été installés par IBM, et que le même IBM a installé 42% du top 500 de juin 2012. Du coup, ils ont une énorme influence sur la proportion d'Unix/Linux dans le top 500.

      Le principal intérêt que je vois pour IBM de conserver AIX, c'est de faire de la vente liée d'encourager l'achat de leurs processeurs Power. Mais abandonner AIX et passer à du tout Linux, ils y pensent probablement.

    • [^] # Re: Unix

      Posté par  (site web personnel) . Évalué à 6.

      En analysant le contexte, il semble évident que l'on distingue ici les systèmes Unix-like a licences ouvertes (Linux, BSD) aux Unix-like propriétaires historiques (AIX, HP-UX, Solaris, OSF/1 - Tru64…) J'ai même pas lu l'article, je cite ceux qui me passent par la tête, c'est juste pour montrer que le texte me semble tout a fait clair et que je comprends pas le besoin de préciser…

      • [^] # Re: Unix

        Posté par  . Évalué à -3.

        c'est juste pour montrer que le texte me semble tout a fait clair et que je comprends pas le besoin de préciser…

        Pas la peine de le dire de cette manière…

        Tanguy pose une question, c'est son droit.

        • [^] # Re: Unix

          Posté par  (site web personnel) . Évalué à 6.

          Pas la peine de le dire de cette manière…

          C'est fou, j'avais pourtant essayer d'être diplomate.

          Tanguy pose une question, c'est son droit.

          J'ai rien contre son droit a poser une question tant qu'on me reconnait le droit de la trouver débile. Voila, c'est mieux dit comme ca ? Crotte.

          • [^] # Re: Unix

            Posté par  . Évalué à -1.

            Le problème c'est pas de trouver la question idiote, c'est la façon de le faire remarquer.

            Je trouvais la réflexion pertinente et j'ai ressenti ça comme un : « putain, Tanguy, arrête de troller ».

            • [^] # Re: Unix

              Posté par  (site web personnel) . Évalué à -4.

              Un troll par définition est faux, non? Si ce qu'il a dit est faux, va falloir aller changer la page Wikipedia qui dit que l'affirmation de Tanguy est vraie.

              Le troll est plutôt dans ceux qui ne veulent pas voir le problème.

        • [^] # Re: Unix

          Posté par  (site web personnel) . Évalué à 6.

          Disons que lorsque le sens d'un terme n'est pas évident — par exemple « distribution Linux », qui peut ou non inclure les Android selon les rédacteurs — ou qu'il est utilisé autrement que dans son sens normal — par exemple Unix pour désigner non pas les systèmes d'exploitation POSIX ou inspirés d'UNIX mais ceux qui ne sont pas basés sur le noyau Linux — il est de bon ton de le préciser dans le contenu DLFP.

          En fait, à mon avis, les contenus devraient être un minimum autonomes, les liens servant à en savoir plus et non pas à comprendre.

          • [^] # Re: Unix

            Posté par  (site web personnel) . Évalué à 9. Dernière modification le 07 novembre 2012 à 17:10.

            Je comprends que tu ai ce genre d'exigence pour les dépêches ou tes propres journaux, mais je trouve qu'intervenir sur le journal d'un tiers pour un détail aussi insignifiant est complétement contre productif.

            Les chances qu'un lecteur de ce journal ne connaissent pas les liens unissant Unix a Linux sont très faibles.
            Les chances qu'un lecteur ignorant comprenne de travers le texte est infinitésimale.
            Les chances qu'un lecteur dans l'erreur ne soit pas détrompé par la lecture d'un autre contenu ici ou ailleurs rapidement est nulle.
            Et même si cela arrivait, il n'y aurait pas mort d'homme.

            Par contre, si j'étais l'auteur de ce journal, je serais très en colère qu'on vienne disséquer mon texte de la sorte dans les commentaires. Ça me dissuaderait de contribuer pour un bon moment. Je contribue déjà très peu car il est extrêmement difficile d'échapper aux grammar nazis et aux pédants de toute sorte, rédiger un texte ici demande dix fois plus d'effort qu'il ne serait nécessaire a cause de ces f(r)actions de la communauté qui pour moi tuent le site a petit feu.

            • [^] # Re: Unix

              Posté par  (site web personnel) . Évalué à -3.

              Par contre, si j'étais l'auteur de ce journal, je serais très en colère qu'on vienne disséquer mon texte de la sorte dans les commentaires. Ça me dissuaderait de contribuer pour un bon moment.

              Je te conseille soit :
              - un site qui ne permet pas les commentaires
              - un site qui oblige ceux qui commentent à dire que du bien (non, je n'entendrai pas le mot "dictature" au fond…)

              Tu voudrais pas non plus pendre ceux qui osent te contrarier? Que de libertés chez toi. Toutes les excuses sont bonnes pour ne pas contribuer, ça serait pas ça que ça en serait une autre.

              • [^] # Re: Unix

                Posté par  (site web personnel) . Évalué à 2.

                J'invite Tanguy a s'interroger sur l'effet de son action en rapportant l'effet qu'elle a sur moi, donc je suis un totalitaire.

                Clap.

                Clap.

                Clap.

                Le point godwin n'est pas loin.

                Note: la justification de mon manque de contribution ne sort par de nulle part, j'ai effectivement mis plus de temps de réfléchir sur comment déjouer les pièges spécifiques a la communauté de LinuxFR qu'a effectivement rédiger mon dernier journal. Je me suis même retrouver un moment avec le journal pratiquement finalisé, mais a deux doigts de ne pas le publier. Mais c'est sur que c'est plus simple de me traiter de facho que de se remettre 30 secondes en question.

                • [^] # Re: Unix

                  Posté par  . Évalué à 1.

                  a deux doigts de ne pas le publier

                  T'en prive pas…. si c'est pour nous engueuler après de l'avoir commenté, vaut mieux éviter d'initier la communication.

                  ⚓ À g'Auch TOUTE! http://afdgauch.online.fr

            • [^] # Re: Unix

              Posté par  (site web personnel) . Évalué à 5.

              Je contribue déjà très peu car il est extrêmement difficile d'échapper aux grammar nazis

              c'est bien dommage :/ Si le journal a un contenu intéressant, il y aura peut-être un modérateur pour corriger la forme (typo, Markdown, ortho, etc.).
              Ce pourquoi je milite afin de ne lâcher les posts sur l'ortho que, si possible, à partir du 5e fil de commentaire, histoire de discuter du fond et non de la forme (et de nous laisser un peu de temps pour intervenir, au besoin :D).

      • [^] # Re: Unix

        Posté par  (site web personnel) . Évalué à -10.

        les systèmes Unix-like a licences ouvertes (Linux, BSD)

        Euh… Dire que BSD est un Linux, c'est bizarre quand même.

        Unix-like propriétaires historiques (AIX, HP-UX, Solaris, OSF/1 - Tru64…)

        Il manque OpenSolaris, plus proche de de Solaris que de Linux, on le palce ou?

        c'est juste pour montrer que le texte me semble tout a fait clair

        Ben… Pas sûr. Tu donne une définition, moi je pourrai dire:
        il semble évident que l'on distingue ici les systèmes Unix-like a base de Linux aux Unix-like pas à base de Linux (AIX, HP-UX, Solaris, OSF/1 - Tru64, BSD, OpenSolaris…) J'ai même pas lu l'article, je cite ceux qui me passent par la tête, c'est juste pour montrer que le texte me semble tout a fait clair et que je comprends pas le besoin de préciser…

        Finalement, qui de toi ou moi n'a pas besoin de préciser tellement c'est clair? ;-).
        La seule chose de claire, c'est que ce n'est pas clair! Surtout que Tanguy a raison, Linux est unix, opposer Linux et Unix n'a en fait pas de sens, sans doute faudrait-il dire "Autres Unix" mais du coup ton évidence foire :).

        • [^] # Re: Unix

          Posté par  (site web personnel) . Évalué à 9.

          Euh… Dire que BSD est un Linux, c'est bizarre quand même.

          Oui, ca tombe bien c'est pas ce que je dis. Je dis que BSD est un Unix-like a licence ouverte.
          Linux est aussi un Unix-like a licence ouverte. J'ai utilise a dessein "licence ouvert" pour
          englober licence BSD et GPL sous un même vocable sans nier leurs différences, y a un problème ?

          Il manque OpenSolaris, plus proche de de Solaris que de Linux, on le palce ou?

          Vu que c'est juste Solaris qui a change de licence, C'est dans autre unix.
          Ok super, j'aurais du dire "…distingue les OS issue d'un historique de développement majoritairement a licence libre contre
          OS issue d'un historique de développement majoritairement a source ferme". C'est vrai que ca change la vie.

          On va continuer d'enculer les mouches longtemps?

          il semble évident que l'on distingue ici les systèmes Unix-like a base de Linux aux Unix-like pas à base de Linux (AIX, HP-UX, Solaris, OSF/1 - Tru64, BSD, OpenSolaris…)

          Si tu dis ca c'est que tu ne sais pas lire ou que tu lis un autre texte, car il dit "Unix, Linux, BSD". Il ne dit pas "Unix, Linux".

          • [^] # Re: Unix

            Posté par  (site web personnel) . Évalué à -6.

            Pour résumer la chose, disons donc que personne ne sait, mais que c'est évident qu'on parle tous de la même chose (chacun ayant une vision différent de sa même chose suivant sa définition de l'évidence)

            Que du bonheur ces évidences que personne ne peut définir… Ta définition de la séparation n'a absolument rien d'évident, et sans doutes que ce n'est pas la définition du site pointé.

          • [^] # Re: Unix

            Posté par  (site web personnel) . Évalué à 4.

            Linux est aussi un Unix-like a licence ouverte. J'ai utilise a dessein "licence ouvert" pour
            englober licence BSD et GPL sous un même vocable sans nier leurs différences, y a un problème ?

            Non, ce terme est juste inhabituel, on utilise généralement le terme « libre ».

            • [^] # Re: Unix

              Posté par  (site web personnel) . Évalué à 3.

              Si j'avais dit "BSD et GPL sont libres", il y aurait sans doute eu un GNU-fanboy pour dire "NAN! BSD c'est pas libre car bla bla bla" ou un BSDist pour dire l'inverse. Si j'avais dit "open-source"… autant chier directement dans le ventilo.

              Et oui ce site est un champ de (m|ru)ines :)

          • [^] # Re: Unix

            Posté par  . Évalué à 8.

            On va continuer d'enculer les mouches longtemps?

            Toi, tu découvres l'effet Zenitram ;-)

            Article Quarante-Deux : Toute personne dépassant un kilomètre de haut doit quitter le Tribunal. -- Le Roi de Cœur

    • [^] # Re: Unix

      Posté par  . Évalué à 3.

      Peut-être qu'il s'agit des systèmes certifiés POSIX? Il me semblait que cette certification était assez chère, et que du coup Linux ou les BSD ne l'avaient pas.

  • # Diversité?

    Posté par  . Évalué à 3.

    C'est quand même dommage de se retrouver dans un éco-système limité à du noyau linux quasi-exclusivement…
    Plus de diversité permettrait d'avoir une compétition saine et davantage d'innovation des dans le domaine des systèmes d'exploitation haute performance.

    Je serai curieux de savoir ce qui change entre un noyau linux de supercalculateur et celui à une station de travail courante…

    • [^] # Re: Diversité?

      Posté par  . Évalué à 0. Dernière modification le 07 novembre 2012 à 16:20.

      C'est quand même dommage de se retrouver dans un éco-système limité à du noyau linux quasi-exclusivement…

      Je dis tant mieux :)

      Plus de diversité permettrait d'avoir une compétition saine et davantage d'innovation des dans le domaine des systèmes d'exploitation haute performance.

      Bof, on voit le cas avec les machines de bureau, y a toujours de la "dominance" (pas forcément meilleure)…
      C'est du Windows et Applea only dans beaucoup de cas :)

    • [^] # Re: Diversité?

      Posté par  (site web personnel) . Évalué à 4.

      C'est quand même dommage de se retrouver dans un éco-système limité à du noyau linux quasi-exclusivement…

      Bah… Tant que c'est libre, tu peux faire ce que tu veux, donc un noyau commun est utile pour avoir une base commune

      Plus de diversité permettrait d'avoir une compétition saine et davantage d'innovation des dans le domaine des systèmes d'exploitation haute performance.

      Linux apporte justement cette diversité : tu es libre de prendre un bout, en virer un autre, bref proposer autre chose, sans tout reprendre à zéro.
      C'est la joie du libre de mutualiser tout en laissant la compétition (que le meilleur gagne, morceau par morceau).

    • [^] # Re: Diversité?

      Posté par  . Évalué à 3.

      Si tu prends la catégorie "Operating System" dans la page sur les statistiques du TOP500, tu verras que même dans linux il y a de la diversité.

    • [^] # Re: Diversité?

      Posté par  (site web personnel) . Évalué à 3.

      A mon avis, rien ;-)

      Il doivent paramétrer quelques trucs coté NFS et Luste donc dans la pile réseau et infiniband mais tout cela, tu peux le faire avec des echo dans /proc (encore faut'il trouver les bons curseurs).

      SGI dis clairement utiliser le noyau standard de la Suse. Or SGI fait les plus grosse machine SMP depuis déjà un bon moment…

      Par contre, avec IBM, j'ai des doutes… Il faut toujours qu'ils bidouillent des trucs. La dernière fois que j'ai lancé un truc à l'IDRIS, la commande 'ps' n'était pas la même sur la frontale (commande ps gnu classique) que sur un noeud (commande ps type bsd).

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.