Le Cray XT-5 entièrement sous Linux

Posté par  (site web personnel) . Modéré par Benoît Sibaud.
Étiquettes : aucune
2
10
nov.
2007
Technologie
Cray vient d'annoncer la sortie du XT5, sa nouvelle architecture de superordinateur entièrement sous Linux.

Il existe en deux versions : le XT5 classique qui calcule avec des quadri-coeurs AMD Opteron et le XT5h, une machine hybride, qui ajoute aux Opteron des processeurs reconfigurables (FPGA) et/ou des processeurs vectoriels.

Un noeud de calcul accueille 192 processeurs quadri-coeurs et délivre une puissance de calcul de 7 teraflops en pointe (pour une consommation d'environ 42 kW).

Le XT5h est annoncé comme une machine particulièrement bien adaptée aux modélisations climatiques complexes. La simulation de l'atmosphère est effectuée par des processeurs superscalaires (Opteron) tandis que celle de l'océan s'adapte bien aux processeurs vectoriels. Les continents sont pris en charge par les opterons avec l'aide de FPGA pour certaines portions de code.

Ce qui nous intéresse plus particulièrement, c'est que ces deux superordinateurs fonctionnent, pour la première fois chez Cray, entièrement sous le système d'exploitation Linux.
Auparavant Cray utilisait déjà Linux mais c'était uniquement pour les noeuds d'entrées/sorties et pas pour les noeuds de calcul. Ceux-ci faisaient tourner "Catamount" (qui est un micro-noyau optimisé mais non standard).

Maintenant, avec XT5, on retrouve le noyau Linux aussi dans les noeuds de calcul. Pour cela, Cray a travaillé sur une version extrêmement "dégraissée" d'un noyau d'origine SUSE. Toute la partie concernant les entrées/sorties a été retirée ainsi que de nombreuses autres fonctions inutiles afin d'obtenir un noyau très simplifié et très rapide.

Pour les clients qui le souhaitent, il est possible de faire tourner un noyau plus standard et plus compatible avec les logiciels habituels des entreprises (c'est le marché des ISV et cela représente un chiffre d'affaire beaucoup plus gros que celui du calcul scientifique).

Cray annonce que cette ouverture vers le marché des logiciels "classiques" (Oracle et autres) est rendue possible par ce passage intégral sous Linux et que cela va leur permettre de sortir des centres de recherche pour entrer dans les entreprises.

Extrait du communiqué (PDF) :
"The Cray XT5 runs a Linux environment that will support both a standard, ISV-friendly operating environment and a finely tuned, highly optimized kernel that is based on SUSE 2.6, but with several Cray-specific modifications to enhance scalability. The system provides a flexible environment in which each node can utilize the Linux operating system best suited for its task."

Il est intéressant de voir que Linux est maintenant devenu un point de passage obligé pour qui veut s'attaquer aux marché des entreprises. Cray abandonne son micro-noyau optimisé car ses dirigeants ont compris qu'il ne sert à rien de lutter face à l'omniprésence de Linux et qu'il y a plus d'argent à gagner à accompagner le mouvement plutôt qu'à lui résister. Ce passage à Linux devient alors un argument commercial qui est largement mis en avant dans les brochures publicitaires.

À noter toutefois que si d'autres logiciels libres sont également utilisés dans l'environnement d'exploitation de ces nouveaux superordinateurs (par exemple le système de fichier distribué Lustre qui est sous licence GPL) il reste encore beaucoup de code propriétaire au niveau des compilateurs et des bibliothèques.

Aller plus loin

  • # "coquille"

    Posté par  . Évalué à 3.

    s/processeurs scalaires (Opteron)/processeurs superscalaires (Opteron)/

  • # Une Question [bête]

    Posté par  . Évalué à 6.

    Ne m'y connaissant peu en super calculateur et autre technologie pour contrôler nos vies je me pose une question. Comment sont ils utilisés ?

    Je veux dire par là qu'utilisent ils dessus : kde/gnome/e17 ou des terminaux ou leur propres outils ?

    C'est une vrai question que je me pose : comment sont ils utilisés au quotidien ?

    • [^] # Re: Une Question [bête]

      Posté par  (site web personnel) . Évalué à 6.

      Bah à mon avis les utilisateurs ne voient même pas l'ordi. Ils se contentent de lancer des batchs depuis leur station perso dans leur labo et de recevoir ensuite les données.

      • [^] # Re: Une Question [bête]

        Posté par  (site web personnel) . Évalué à 10.

        Effectivement, sur ce genre de système, il y a une 'frontale' sur laquelle tu te logues et tu lances ensuite tes programmes via un gestionnaire de batch, par exemple pbs-pro (souvent)

        Parfois, surtout sur les machines de recherche, on laisse, via le gestionnaire de batch, quelques coeurs accessible aux processus interactifs à des fins notament de déboguage car c'est parfois utile. Les autres coeurs ne sont pas accessible par les utilisateurs lambda.

        Sinon, dans plus de 99% des cas, l'utilisateur ne se logue pas directement sur la machine.

        A part cela, quand on voit la charge engendrer par KDE, GNOME... le plus souvent, la frontale est accessible via le seul ssh et il n'y a pas de bureau comme on sais le faire à distance avec XDM ou NX. C'est pas plus mal.

        En général, vu le prix de ces machines et le nombre d'utilisateurs qui travaillent dessus, on n'a pas envie de mettre trop d'argent sur la partie frontale pour concentrer le budget sur le calcul et le stockage.

        Donc exit KDE, sans état d'âme...

        • [^] # Re: Une Question [bête]

          Posté par  . Évalué à 1.

          On trouve aussi des outils de soumission de job (chez IBM et LoadLeveler par exemple mais aussi SunGridEngine chez ... Sun) qui sont utilisables à distance, sur tout le réseau : tout ingénieur de calcul peut le soumettre depuis sa station de travail (Intelli ou autre, un bête PC Linux suffit)

          • [^] # Re: Une Question [bête]

            Posté par  . Évalué à 5.

            Précisons aussi que le job soumis précise que faire (exécutable à lancer par exemple) mais aussi quelles ressources sont nécessaires (type de CPU pour une machine hétérogène, nombre de CPU, mémoire par CPU, disque local disponible, besoin ou non d'un switch dédié pour la communication rapide entre noeuds, etc) et combien de temps le calcul durera (à peu près)

            Cette info de temps permet d'essayer d'organiser une plannification automatique des tâches. Du style, ne pas faire attendre un job d'1 heure soumis après un job de 10 jours soumis juste avant mais décaler l'ordonnancement pour faire passer le job d'1 heure d'abord si possible, si le job de 10 jours n'est pas à quelques minutes.

    • [^] # Re: Une Question [bête]

      Posté par  (site web personnel) . Évalué à -9.

      Je veux dire par là qu'utilisent ils dessus : kde/gnome/e17 ou des terminaux ou leur propres outils ?


      Ils ont laissé tomber KDE (pour GNOME, bien sûr) quand ils se sont aperçu que les machines n'étaient pas assez puissantes.

      ->[]

  • # La légende

    Posté par  . Évalué à -4.

    La légende dit que Seymour Cray, le père du super ordinateur CRAY I et de la plupart des Control Data a rentré aux clés le premier système d'exploitation du CDC-7600 quand celui-ci a démarré pour la première fois. Inutile de préciser que Seymour Cray est un VÉRITABLE.

    Dans « le manifeste du véritable programmeur. »

    • [^] # Re: La légende

      Posté par  . Évalué à 10.

      Bon puisque cette traduction veut rien dire :

      Legend has it that Seymour Cray, inventor of the Cray I supercomputer and most of Control Data's computers, actually toggled the first operating system for the CDC7600 in on the front panel from memory when it was first powered on. Seymour, needless to say, is a Real Programmer.

      Dans la légende, Seymour Cray, créateur des super calculateurs Cray et de la plupart des calculateurs de Control Data, a rentré en mémoire le premier système d'exploitation du CDC-7600 a l'aide des interrupteurs du panneau de controle, lors de sa première mise sous tension. Inutile de préciser que Seymour est un Vrai Programmeur.

      Je laisse les lecteurs s'amuser des Vrai Programmeurs ;)
      (merci, encore, de ton intervention, ciol)

  • # Faux

    Posté par  . Évalué à 6.

    Eh non, ce n'est pas le premier Cray entièrement sous Linux :

    http://en.wikipedia.org/wiki/Cray_XD1

    • [^] # Re: Faux

      Posté par  (site web personnel) . Évalué à 8.

      Le XD1 n'est pas un vrai Cray. C'est juste le superordinateur 12k (conçu par OctigaBay) et qui a été renommé Cray XD1 après le rachat de la société.
      Le XT5 est bien le premier vrai Cray a utiliser Linux.

      • [^] # Re: Faux

        Posté par  . Évalué à 4.

        Une petite precision: la Cray XT4 tourne aussi avec le noyau Linux de chez Cray (appelle Compute Node Linux, CNL : http://nccs.gov/wp-content/uploads/2007/08/wallace_paper.pdf ). Donc la XT5 n'est pas la premiere nachine Cray a faire tourner Linux, c'est la premiere a etre vendue de base avec Linux (legere nuance mais qui fait une difference pour les utilisateurs/acheteurs).

        A noter egalement qu'il se passe la meme chose pour la BlueGene, un portage de Linux est en cours depuis quelques temps et il semble que les utilisateurs pourront en beneficier bientot.

        • [^] # Re: Faux

          Posté par  (site web personnel) . Évalué à 5.

          Puisque tu as introduit IBM, j'en profites pour dire que les machines SGI ne tournent que sur Linux et cela depuis maintenant plusieurs années. Je ne parle pas des clusters de PC de SGI mais de la partie Itanium avec les Altix 450 et les Altix 4700.

          SGI annonce d'ailleurs que c'est une version non modifié de la Suse qui tourne dessus. C'est à moiité vrai car pour pleinement profiter de la machine, il conseille très fortement d'utiliser ce qu'il appelle le 'ProPack' et qui n'est pas libre...

          • [^] # Re: Faux

            Posté par  . Évalué à 9.

            Et au passage , SGI a presente en juillet avec la NASA une "petite" machine avec 2048 cores Itanium (1024 bi-core). Et ce n'est pas un cluster mais bien une seule machine avec un seul noyau qui gere tout ce petit monde. Bref, la machine Linux la plus puissante existante a 13 TFLOPs.

            http://www.linux-watch.com/news/NS7317694195.html

            • [^] # Re: Faux

              Posté par  (site web personnel) . Évalué à 3.

              Si j'ai bien compris, c'est une Altix 4700 avec un noyau modifié car pour la première fois, Linux dépassera les 1024 coeurs dans une seule machine.

              • [^] # Re: Faux

                Posté par  . Évalué à 1.

                Tout depend ce que tu consideres comme modifie... SGI travaille avec Suse pour que cette distrib puisse fonctionner correctement. Le noyau Suse est modifie par rapport a la version de Linus. Mais la, rien de nouveau, c'est pas propre a SGI/Altix/Itanium.

                A noter que toute tentative d'utiliser un noyau red-hat sur une telle machine sera catastrophique. Ce dernier noyau commence a avoir un certain ralentissement au dela de 32 coeurs. Il integre des fonctionalitees de debuggage (comprendre support) qui ont tenance a avoir un impact non negligeable sur la performance totale du system.

                Le paragraphe precedent est juste pour expliquer le choix de Suse par Sgi, pas pour faire une attaque gratuite sur RedHat.

                • [^] # Re: Faux

                  Posté par  (site web personnel) . Évalué à 2.

                  SGI propose d nouveau Rad-Hat ou Suse...Mais je suis d'accord, c'est un point de détail. Les debian n'ont plus ne tournent pas avec le noyau 'Linus'. L'important est qu'il est possible de reprendre le noyau Suse avec les optimisations SGI pour les remettre sur une autre distribution. Et cela n'a rien d'exceptionnel à faire puisque c'est ce que font les distributions entre-elles depuis longtemps.

                • [^] # Re: Faux

                  Posté par  (site web personnel) . Évalué à 4.

                  Le paragraphe precedent est juste pour expliquer le choix de Suse par Sgi, pas pour faire une attaque gratuite sur RedHat.

                  Protection anti-IsNotGood... [Ok]

  • # Modélisation climatique

    Posté par  . Évalué à 6.

    Je me demandais si dans leur modélisation ils comptent les superordinateurs qui consomme genre 42 kW.
    Suis-je le seul à trouver cela paradoxal de consommer 42 kW pour faire des calculs et finalement dire, "bah oui on est vraiment dans la merde hein, faut faire des économies d'énergie" ?

    • [^] # Re: Modélisation climatique

      Posté par  (site web personnel) . Évalué à 6.

      Surtout que 42 KW c'est pour un seul noeud de calcul et que tu a la possibilité d'en assembler des dizaines et des dizaines.
      Mais bon....au final cela ne représente rien par rapport aux reste.
      Y'a combien d'instituts sur terre qui font de la modélisation climatique avec des superordinateurs puissants ? Aller on va être très large et on va dire une trentaine. Si chacun d'entre eux (hypothèse improbable) a un superordinateur qui consomme 0,42 GW (soit 100 noeuds de calcul de XT5) alors on arrive à 0,42x30=12,6 GW

      Quand je vais sur http://www.manicore.com/documentation/equivalences.html je trouve l'équivalence suivante :
      1 MW.h électrique = 3,6 milliards de joules = 3,6 Gj = 0,086 tep

      Donc 12,6 GW=12600 MW=12600x0,086=1083 tonnes d'équivalent pétrole.

      Peanuts !

      • [^] # Re: Modélisation climatique

        Posté par  . Évalué à 3.

        je pense que tu voulais dire : 0,042 MW mais bon le reste du resonnement tiens, je laisse un autre benevole faire le calcul :)

        • [^] # Re: Modélisation climatique

          Posté par  (site web personnel) . Évalué à 1.

          Hum...c'est pas faux ;-)
          Cela réduit d'un facteur 10 le résultat final. Moins de 110 tonnes de pétrole donc.

          • [^] # Re: Modélisation climatique

            Posté par  . Évalué à 2.

            0.42 Gw -> 0.042 Mw ca me fait un facteur 10 000.
            Amha dark_star voulait dire
            0.042 Gw (enfin pe ?)

            bon une machine de 100 XT5 ca fait :
            100*0.042 Mw (donc 100*42kw) ca fait ... 4.2 Mw.
            Donc un facteur 100 pa rapport à 0.42 Gw (dans le calcul de patrick_g)

            Donc moins de 11 tep ;)

        • [^] # Re: Modélisation climatique

          Posté par  . Évalué à 2.

          Si le reste du calcul est bon cela donne 108 kilos de pétrole pour une heure d'utilisation. C'est loin d'être négligeable: il faut pas oublier de les éteindre le soir quoi ;)

          • [^] # Re: Modélisation climatique

            Posté par  (site web personnel) . Évalué à 6.

            Vu le prix de la babasse, permets-moi d'émettre quelques doutes sur le fait qu'elle ne fasse pas quelques petits calculs pendant la nuit... ^_^

          • [^] # Re: Modélisation climatique

            Posté par  . Évalué à 3.

            On doit pouvoir recycler la chaleur produite pour la réalimenter derrière non ?

            (
            Putain je sens qu'on tiens un concept : le calcul perpétuel !!

            .
            .
            .
            .


            Comment ça, "non, gros boulet" ?
            )

            • [^] # Re: Modélisation climatique

              Posté par  . Évalué à 3.

              C'est ce qui est fait pour les calculateurs du genre de Blue Gene, ou Earth Simulator : on essaie de récupérer l'air chaud, de le faire circuler dans le bâtiment où se trouve le calculateur, afin de le refroidir, et de le « réinjecter » afin d'économiser un peu en refroidissement.

              • [^] # Re: Modélisation climatique

                Posté par  . Évalué à 1.

                ???

                On essaie soit d'utiliser l'air extérieur quand il est froid, pour abaisser la puissance de climatisation nécessaire pour refroidir la salle de calcul.

                L'air réchauffé est ensuite utilisé pour chauffer le reste des installations : bureaux notamment. Une pompe à chaleur est parfaite pour ça, récupérer la chaleur et la rendre déplaçable.

                • [^] # Re: Modélisation climatique

                  Posté par  . Évalué à 3.

                  Dans le cas de Earth Simulator, le bâtiment était prévu exprès pour pouvoir récupérer l'air chaud et le refaire circuler dans mes souvenirs. Mais bien sûr, je peux me tromper.

                  • [^] # Re: Modélisation climatique

                    Posté par  . Évalué à 3.

                    Oui, d'accord, mais pas avec 2 passages dans les salles machines. Ca n'évacuerait pas la chaleur. Autant essayer d'aspirer l'air chaud rejeté par l'aspirateur avec ... le même aspirateur (attention les petits enfants, ne faites pas ça chez vous trop longtemps sinon ce week-end c'est visite chez dar*y)

                    Prélever la chaleur dans la salle machine pour chauffer une autre salle, c'est économique. Soit directement (prélèvement d'air) ou indirectement (pompe à chaleur)

                    • [^] # Re: Modélisation climatique

                      Posté par  . Évalué à 3.

                      pfuu c'est pas comme ça qu'il faut faire.
                      Tu fait ta babasse
                      tu "colle" les baies au plafond, et les processeurs sont lié a de grosses plaques métalliques en excroissance dans le plancher au dessus.

                      Tu enrobe à coté en mettant quelques four (à air pulsé ..; récup dans la salle machine)), et tu met la cuisine d'un resto 24/7.

                      Comment ça la porte ?

                      • [^] # HS, mais ça concerne les machines parallèles, quelque part

                        Posté par  . Évalué à 3.

                        Hep au fait, Briaeros007. Tu te souviens du long fil où nous étions empoignés à propos de l'attente active sur une variable volatile ? J'ai enfin eu le fin mot de l'histoire. Nous avions tous les deux raisons (enfin j'avais un peu plus tort, vu que je n'avais raison que sur mon cas particulier).

                        Donc, quand on déclare une variable « volatile » sur Itanium 2, en pratique le compilateur génère des instructions qui garantissent que l'ordre d'accès des lectures et écritures est conservé (en gros, il s'agit d'une sorte de « acquire » suivi d'un « release »), ce qui permet de faire du busy wait bête et méchant (évidemment, ça n'empêche pas d'affamer des threads en cas d'activation de l'hyperthreading sur montecito).

      • [^] # Re: Modélisation climatique

        Posté par  (site web personnel) . Évalué à 3.

        > Aller on va être très large et on va dire une trentaine

        A mon avis, tu es effectivement très large. Surtout que sur ce sujet la, en France par exemple, les équipes universitaires se partagent les deux machines de l'IDRIS et que ces machines font travaillent aussi pour d'autres thèmes de recherche.

        Par ailleurs, je ne connais pas la puissance électrique consommée à l'IDRIS mais ce que je suis sur, c'est que celle est très faible comparée à la puissance électrique consommée par les supercalculateurs que possèdent Total et qui tournent pour d'autres sujets...

        On peux aussi se poser la question de la puissance électrique consommée en mécanique quantique (CERN, IN2P3...)

        Bref, il faut ramener tes chiffres sur une base de comparaison peut être plus raisonable.

        • [^] # Re: Modélisation climatique

          Posté par  . Évalué à 2.

          > On peux aussi se poser la question de la puissance électrique consommée en mécanique quantique (CERN, IN2P3...)

          Qques infos sur les calculs en physique nucléaire et physique des particules faits par l'In2p3 à Lyon sont sur le site du Centre de Calcul :

          http://cc.in2p3.fr/rubrique126.html

          Le Centre de Calcul de l’IN2P3 dispose d’une puissance de calcul de plus de 11 millions de SpecInt2000 (25,7 Téraflops). Celle-ci est dispensée par une plate-forme matérielle sous le système d’exploitation Scientific Linux.

          A partir des processeurs indiqués, je vous laisse faire le calcul de la puissance électrique :) Cela n'inclut pas le gros des calculs et émissions/stockages de données qui seront émises depuis le CERN à partir de 2008... Qques machines sont accessibles en ssh pour pouvoir lancer des jobs en batch :

          http://cctools.in2p3.fr/mrtguser/info_bqs_generale.php

      • [^] # Re: Modélisation climatique

        Posté par  (site web personnel) . Évalué à 5.

        C'est moi ou il y a un problème d'unités ?

        Erreur de virgule et d'unité :
        42kW = 0.042MW

        Multiplié par 30 on a tout de suite une valeur plus raisonnable :
        0.042MW 30 = 1.26MW

        Acceptons la correspondance :
        1 MW.h = 0,086 tep

        Mais là il ne faut pas faire disparaître les heures sans rien dire :
        1.26MW * 0.086 tep/MWh = 0.10836 tep/h

        Soit la consommation sur une année :
        0.10836 tep/h * 365j * 24h = 949 tep


        Donc le calcul est faux, mais bizarrement le résultat est bon :-)

        • [^] # Re: Modélisation climatique

          Posté par  . Évalué à 1.


          Donc le calcul est faux, mais bizarrement le résultat est bon :-)


          J'ai eu tellement de profs qui m'ont dit la même chose ...

        • [^] # Re: Modélisation climatique

          Posté par  (site web personnel) . Évalué à 4.

          >>> Donc le calcul est faux, mais bizarrement le résultat est bon :-)

          La marque des génies !!!
          Trop fier je suis.....

        • [^] # Re: Modélisation climatique

          Posté par  (site web personnel) . Évalué à 2.

          Je me souviens que quand j'avais consulté des fournisseurs de clusters de calculs pour mon travail l'un d'eux m'avait vanté son dernier contrat avec le CEA. Il disait qu'une des difficultés techniques était l'alimentation électrique et la dissipation dans la salle des machines. Je ne sais plus exactement quelle était la valeur mais je suis sûr que l'unité était le MW pour de l'ordre de 1000 n½uds de calculs.

          Si on considère 30 centres de calcul de ce genre, ça ferait plutôt 30MW donc :

          30 MW * 0.086 tep/MWh = 2.58 tep/h

          Soit la consommation sur une année :

          2.58 tep/h* 365j * 24h = 22 600 tep

          Voilà qui est nettement moins réjouissant, surtout si l'on considère que l'unique intérêt de ces calculs est de convaincre tous ces politiques qui disaient que piller les ressources naturelles et rejeter n'importe quoi, n'importe comment, ça ne pose aucun problème car la Science est là et résoudra tout ça le moment venu...

          Sur ce sujet il y a un article récent qui rapporte que l'industrie des TIC génère autant de CO2 que l'industrie de l'aviation ( http://www.lemondeinformatique.fr/actualites/lire-les-tic-au(...) ) et d'autres qui expliquent que les économiseurs d'écran peuvent augmenter la consommation de votre machine ! (cf. par exemple http://www.ginjfo.com/Publics/Actualites/Act1-650-%5BGinjFo-(...) )

          • [^] # Re: Modélisation climatique

            Posté par  . Évalué à 2.

            En l'occurrence pour Tera 10, la consommation électrique est de l'ordre de 2MW uniquement pour le cluster, auxquels il faut rajouter 1,7MW pour le refroidissement si je ne m'abuse.

            Concernant ta remarque sur l'utilité des clusters : si on excepte les simulations d'explosion nucléaire (après tout, on parle du cluster du CEA/DAM - Direction des Applications Militaires), il ne faut pas oublier tout ce qui a trait à la sismologie et aux applications industrielles (le cluster sert quand même avant tout à faire de la simulation numérique, qu'on parle de machins nucléaires ou pas).

      • [^] # Re: Modélisation climatique

        Posté par  . Évalué à 5.

        Y'a combien d'instituts sur terre qui font de la modélisation climatique avec des superordinateurs puissants ?


        Il y a 19 systèmes qui font de la recherche en climatologie et de la prédiction météo dans le top 500. Certains sont bien plus gros qu'un XT5, et il y en a certainment une floppée de plus petit qui sont hors-liste.

        Le problème de ton calcul c'est qu'il fait abstraction de la clim et du stockage, ce qui n'est pas négligeable.

  • # Cool, c'est pour moi, ça !

    Posté par  (site web personnel) . Évalué à 5.

    Cool, je vais pouvoir en acheter un, alors !
    Je pourrai écouter un ogg en même temps que je lance OpenOffice facilement, encore mieux que quand le Pentium 4 est sorti.
    Mais bon, cette histoire de vente liée me reste quand même en travers de la gorge. Je vais essayer de contacter le revendeur pour me faire rembourser !

  • # Pour ceux qui les avaient remisés

    Posté par  (site web personnel) . Évalué à 2.

    C'est le moment de faire péter les t-shirts :
    http://www.zazzle.com/cray_shirt-235933563558219007

    Je me rappelle encore des stickers avec cette mention...
    Par contre, pas moyen de retrouver une image.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.