La course au pétaflops se déroule sous Linux

Posté par (page perso) . Modéré par Mouns.
Tags : aucun
0
25
mai
2008
Technologie
Avant la fin de cette année un superordinateur dépassera la barre mythique du pétaflops et cette machine fonctionnera avec le système d'exploitation GNU/Linux.

Alors que le franchissement du téraflops datait de 1996 avec le superordinateur Asci Red (4510 processeurs Pentium Pro cadencés à 200 MHz) nous voici, 12 ans plus tard, à la veille de franchir la marche supérieure, le pétaflops (un million de milliards de calculs par seconde).
Pour la première place au classement Top500 du mois prochain la course est donc engagée entre le Ranger du centre de calcul de l'université du Texas et le Roadrunner du laboratoire de Los Alamos. Les superordinateurs ont, depuis toujours, été la chasse gardée des systèmes d'exploitations exotiques spécialisés ou des Unix propriétaires. Par exemple ASCI Red utilisait un mélange de T O/S pour les entrées/sorties et de Cougar pour les noeuds de calcul. Cela signifie qu'ASCI Red reposait sur deux OS très spécialisés et non standards et qu'il était difficile de capitaliser sur une base commune de code quand il fallait changer d'architecture. Pourtant, à partir de 1999 et surtout depuis 2003, le système d'exploitation libre Linux a réussi une incroyable percée et il est en voie de remplacer complètement ses concurrents sur ce créneau très particulier. Lors du dernier classement Top 500 de novembre 2007 les machines fonctionnant avec l'OS libre représentaient plus de 85% du total ! On assiste donc à une standardisation de la composante OS dans les superordinateurs et, dans le rôle de ce standard, à un véritable plébiscite de Linux.
La course qui oppose le Ranger et le Roadrunner pour atteindre la première place du prochain classement sera donc, dans tous les cas, un succès pour Linux.

Ranger est une machine qu'on pourrait qualifier de classique puisqu'il s'agit d'un cluster de noeuds de calcul et qu'il n'y a qu'un seul type de microprocesseurs dans ces noeuds. Basé sur l'architecture Sun constellation, Ranger possède 15744 processeurs quadri-coeurs Barcelona cadencés à 2 GHz (cela représente donc 62976 coeurs de la famille Opteron d'AMD). Le système d'exploitation est basé sur la distribution CentOS, une Red Hat Linux rebaptisée et recompilée depuis les sources, et le noyau est le 2.6.18.8 en version x86_64. La vitesse de pointe est de 504 téraflops et cette machine est donc bien placée pour prendre la première place dans le prochain classement Top 500 du mois prochain...à moins que Roadrunner ne la coiffe au poteau !

Alors que Ranger est une machine vraiment traditionnelle on peut dire que l'architecture de Roadrunner est beaucoup plus intéressante. Au lieu de n'employer que des processeurs x86 classiques, Roadrunner mélange des opterons double-coeur d'AMD avec des microprocesseurs Cell d'IBM. C'est l'approche "Hybrid Computing" et cela consiste à coupler des noeuds d'Opterons qui se chargent des entrées/sorties, de la communication et des calculs légers avec des Cells qui s'occupent eux des calculs intensifs et répétitifs.

Comme vous le savez sans doute le Cell est lui-même doté d'une architecture très originale. Elle est divisée en deux grands blocs fonctionnels : Tout d'abord le PPE (PowerPC Processing Element) qui est une unité généraliste double-thread de type PowerPC classique. Ensuite on trouve les SPU (Synergistic Processing Units) qui sont huit unités vectorielles 128 bits possédant chacune une mémoire locale de 256 Ko accessible par le programmeur. Ce mode d'accès est insolite car d'habitude on trouve des mémoires caches qui sont gérées automatiquement par le processeur sans que le programmeur ne puisse avoir la main sur le chargement des données. La technique de la mémoire locale permet une bien plus grande souplesse et ouvre de grandes possibilités d'optimisations pour les auteurs des programmes.

Développé par une alliance entre IBM, Toshiba et Sony le microprocesseur Cell a tout de suite intéressé le milieu du calcul scientifique à hautes performances. Les chercheurs ont voulu savoir quel était le potentiel du Cell et une comparaison détaillée a été effectuée avec des microprocesseurs classiques comme l'Opteron, des microprocesseurs VLIW comme l'Itanium et enfin des microprocesseurs purement vectoriels comme ceux du Cray X1E. Le résultat de cette comparaison c'est que le Cell écrabouille ses concurrents mais que la précision du calcul des nombres à virgule à 32 bits (bien suffisante pour le marché du jeu vidéo) constitue une limitation sévère.
C'est pour résoudre ce problème qu'IBM a sorti en début d'année la version PowerXCell 8i qui propose une précision en 64 bits pour les nombres flottants. La page 12 de cette présentation détaille les améliorations supplémentaires du powerXCell 8i (passage à la mémoire DDR2, gestion de 16 Go de mémoire par puce au lieu de 2, réduction de la latence de 13 cycles à 9 cycles, etc). Le résultat brut c'est que la performance d'une puce Cell traditionnelle était de 25 gigaflops en double précision (64 bits donc) alors qu'avec le Cell 8i on passe à 102 gigaflops.
Pour construire Roadrunner la recette est donc simple: On prend une carte LS21 contenant deux Opterons dual-coeur cadencés à 1,8 GHZ et deux cartes QS22 contenant chacune deux Cell 8i cadencés à 3,2 GHz. Ces trois cartes forment une "TriBlade" et on en entasse 180 dans un gros rack nommé une "Connected Unit". Chacune de ces "Connected Unit" possède également 24 Opteron double-coeur à 2,6 GHz pour gérer les entrées/sorties ce qui fait qu'elle contient en tout 384 Opterons et 720 Cells.
Maintenant il n'y a plus qu'à relier 18 de ces "Connected Unit" pour avoir Roadrunner ! Si vous vous amusez à faire les multiplications cela représente 13824 coeurs Opteron et 12960 Cell 8i et, si on ajoute les noeuds de disques, on obtient un monstre qui consomme quand même la bagatelle de 3,9 mégawatts.
La puissance en pointe sera de plus de 1,6 pétaflops et, pour le test LINPACK qui conditionne le classement du Top500, la puissance soutenue sera de 1 pétaflops. La vitesse extraordinaire du Cell est bien illustrée par le fait qu'en dépit d'une quasi-égalité en nombre de coeurs la répartition de la capacité de calcul est très inégalitaire. Sur les plus de 1,6 pétaflops il y en a 1,3 qui viennent des Cell et seulement 0,4 qui viennent des Opterons.
Le Roadrunner est actuellement en phase de tests (on peut voir des photos de l'assemblage ici) et il ne serait pas surprenant qu'IBM lance un petit run de LINPACK afin d'essayer de figurer dans le Top 500 de juin en brisant le mur du pétaflops. Si ce n'est pas le cas alors il faudra attendre celui de novembre pour coiffer la couronne.

La présentation pdf de l'architecture de Roadrunner souligne en page 29 que la distribution Linux utilisée est basée sur une Fedora (avec bien entendu une compatibilité Red Hat Entreprise Linux). Cette même présentation annonce en haut à droite de la page 16 que le futur du microprocesseur Cell est d'ores et déjà défini. Cela va consister essentiellement à doubler le PPE (on aura donc 2 coeurs PowerPC gérant chacun 2 threads) et à quadrupler les SPU (32 unités vectorielles au lieu de 8) pour obtenir une puissance de calcul estimée à un téraflops en simple précision (5 fois la puissance du PowerXCell 8i).

Incidemment on peut noter que cette présentation du futur super-Cell nous dévoile aussi peut-être le coeur de la future console de jeu de Sony. En effet la si particulière architecture Cell a nécessité d'énormes investissements de la part des éditeurs de jeux. Après des débuts très difficiles et des sueurs froides devant la complexité de programmation, les moteurs de jeux arrivent maintenant doucement à maturité et on peut penser que Sony voudra préserver cet investissement. Il serait impensable que le géant japonais s'aliène les développeurs en basculant sur une architecture complètement différente et il ne faut donc pas être grand clerc pour subodorer que ce super-Cell est destiné à équiper la future Playstation 4 (sans doute dans une version simple précision). Cela permettrait de profiter facilement des acquis et du code qui ont été produits pour la Playstation 3.

Quoi qu'il en soit, le combat actuel pour la tête du Top 500 entre Ranger et Roadrunner fait rage et le suspense reste entier pour savoir qui va sortir vainqueur le mois prochain. La domination écrasante de Linux n'est donc pas prête de s'interrompre puisque maintenant pratiquement tous les constructeurs de superordinateurs utilisent l'OS libre (seules les machines purement vectorielles comme le NEC SX-9 résistent encore). Cray y est venu avec son XT-5 basé sur une distribution Suse Linux, IBM utilise également Suse Linux pour les noeuds d'entrées/sorties de son architecture BlueGene (mais pas encore pour les noeuds de calcul) et utilise Fedora Linux pour Roadrunner, SGI offre depuis longtemps Linux pour sa famille de superordinateurs Altix. Enfin Sun est obligé de manger son chapeau et de bâtir le superordinateur Ranger en utilisant Linux au lieu de Solaris, son propre système d'exploitation.

Dans le domaine du calcul scientifique l'avenir est donc rose pour l'OS libre et le rendez-vous est pris en 2019 pour le franchissement de la barrière symbolique suivante. Prochain arrêt l'exaflops !
  • # Comme d'habitude

    Posté par . Évalué à 6.

    Un excellent article de patrick_g.
    Il l'a promis, et il l'a fait.
    Merci bien ;)
    (ben voui, c'est au premier de dire ça, non ?)
    • [^] # Re: Comme d'habitude

      Posté par . Évalué à 4.

      ça devient pénible... dès la première ligne de la dépêche j'ai deviné que c'était patrick_g!

      Du coup comment voulez-vous rester objectif sur le contenu en sachant qui l'a écrit?

      Blague à part, c'est que du bonheur, comme d'hab'. Change rien ;)
      • [^] # Re: Comme d'habitude

        Posté par (page perso) . Évalué à 4.

        Par contre, niveau utilité de vos commentaires, ça frise le zéro absolu (le mien aussi, je sais..)

        Je pense qu'il n'y a pas besoin de faire la remarques à propos de la qualité des ses articles à CHAQUE FOIS qu'il y en a un. Non?
        • [^] # Re: Comme d'habitude

          Posté par . Évalué à 6.

          Ben si, moi, je trouve que c'est nécessaire, déjà parce que c'est vrai, les nouvelles proposées et rédigées par patrick_g sont toujours d'excellente facture, intéressantes et documentées, et ensuite parce que c'est aussi une façon de notre part de se montrer reconnaissant envers sont travail.
          Alors de là à dire que ce genre de commentaire sont inutiles, c'est certes vrai par rapport au sujet abordé, mais je pense qu'au minimum ça doit faire plaisir à l'auteur de voir son travail autant apprécié.
          Voilà, continue patrick !
          • [^] # Re: Comme d'habitude

            Posté par . Évalué à 5.

            Ouais, mais non, en fait, c’est que des jaloux parce que le(s) premier(s) qui dit « super ! continue gégé ! » se choppe(nt) automatiquement un +10 et que, eux, ils sont pas le(s) premier(s)…

            Bon, pas premier non plus ⟶[]
          • [^] # Re: Comme d'habitude

            Posté par (page perso) . Évalué à 3.

            Que dire ?
            J'ai découvert "patrick_g" avec l'article sur le "Big Kernel Lock". Je ne suis pas spécialiste, je n'ai ni base ni formation mathématique ou scientifique et pourtant... j'ai bien dû comprendre 85% de ce qui était écrit. Normalement, me rapport au kernel... c'est tous les 6 mois (voire moins) et que je le recompile pour l'excuse X ou Y. Là, j'ai trouvé l'article intéressant, bien écrit, bien vulgarisé mais pas trop. Ca m'a rappelé "e=m6" à se débuts (avant que ça devienne le cirque) ou "C'est pas sorcier" (sous mon clavier, c'est un compliment).

            Et euh ben voilà...
            -- END OF TRANSMISSION --
  • # PowerPC

    Posté par (page perso) . Évalué à 7.

    C'est quand même bien le power pc. Ou alors c'est le x86 qui n'est pas très bien, mais qui est choisis pour des raisons de coûts.

    Sinon, 3.9MW c'est la production d'une grosse éolienne dans des conditions optimales. Ils n'ont plus qu'à en planter autour du data-center.

    Envoyé depuis mon lapin.

    • [^] # Re: PowerPC

      Posté par . Évalué à 3.

      surtout le spe/vectoriel qui est bien ;)

      Sinon, 3.9MW c'est la production d'une grosse éolienne dans des conditions optimales. Ils n'ont plus qu'à en planter autour du data-center.
      ou alors faire comme google : mettre des panneaux solaires sur leurs différents building ;)
      • [^] # Re: PowerPC

        Posté par . Évalué à 4.

        Les panneaux solaires de google alimentent les serveurs ? Je croyais que ça n'alimentait que les bureaux.
      • [^] # Re: PowerPC

        Posté par . Évalué à 10.

        mouais, les panneaux solaires...
        pour rappel, 1000m² de panneaux solaires dans une région plutot ensoleillée, disons la vallée du rhone, ca produit 160 kw. rajoutez à cela que c'est amorti en 10 ans et que ca a une durée de vie de 10 ans et vous comprenez pourquoi c'est pas terrible, et encore je parle même pas du coüt écologique de la fabrication et du recyclage des panneaux.

        Pour préciser ce qui est dit au dessus sur les éoliennes, 3,9Mw ca commence à faire une bonne grosse éolienne. Une éolienne moyenne, type mat de 50m, pales de 12m, en pleine vallée du rhone toujours (==> mistral à gogo), ca produit en gros 700kw, 60% du temps. si sur les grosses on double cette production, on reste à ma connaissance loin des 4MW...

        pour rappel, à titre de comparaison et sans polémique, un réacteur nucléaire "classique" ca produit 900MW, ou 1300 pour les plus récents en France, et ils marchent par 2 ou par 4 suivant les centrales. Bon, par contre, y a des déchets et des risques, ca, c'est sur...
        • [^] # Re: PowerPC

          Posté par . Évalué à 2.

          et que ca a une durée de vie de 10 ans
          Moi j'avais plutot entendu parler de 20 à 25% avec 95% du rendement initial (par exemple ici : http://forums.futura-sciences.com/thread148985.html )

          sinon, ok pour le reste

          pour rappel, à titre de comparaison et sans polémique, un réacteur nucléaire "classique" ca produit 900MW, ou 1300 pour les plus récents en France, et ils marchent par 2 ou par 4 suivant les centrales. Bon, par contre, y a des déchets et des risques, ca, c'est sur...
          J'ai entendu dire que certains CEA avaient leur propre petit réacteur pour leur supercalculateur.
          • [^] # Re: PowerPC

            Posté par . Évalué à 9.

            « J'ai entendu dire que certains CEA avaient leur propre petit réacteur pour leur supercalculateur. »

            Euh. J'en doute fortement. Le CEA a des réacteurs mais ce sont des réacteurs de recherche, pas pour produire de l'électricité. Ils s'en servent pour faire plein de choses mais pas ça pour autant que je sache.
        • [^] # Re: PowerPC

          Posté par . Évalué à 8.

          Faut évoluer, on est plus en 1990!
          En plus l'article fr:Panneau_solaire de wikipedia est très bien fait:
          Dans l'état actuel des choses, un panneau photovoltaïque monocristallin au silicium électronique doit fonctionner deux ans pour « amortir » l'énergie qui a été nécessaire à sa fabrication[...]

          Tu aurais pu parler du problème du stockage de l'énergie par contre...
          • [^] # Re: PowerPC

            Posté par . Évalué à 4.

            D'autant plus que d'autres progrès sont à l'horizon dans ce domaine. En particulier sur le rendement énergétique. Il est à la louche autour de 10% pour le panneau de base commercialisé; bref pas terrible. Mais il existe des prototypes qui ont un rendement atteignant 40% et certains espèrent pouvoir dépasser 50%.

            Évidemment le passage du prototype au produit commercialisable n'est pas évident et rapide, mais on peut tout de même penser que les panneaux solaires vont devenir de plus en plus intéressants à moyen terme.
            • [^] # Re: PowerPC

              Posté par (page perso) . Évalué à 7.

              Si on utilise des prototypes pour faire des comparaisons, il faut utiliser des prototypes de tous les cotés. c'est à dire que si vous parlez des panneaux solaires qui vont sortir dans 20 ans, il faut comparer avec les technologies nucléaires (et autres) qui vont sortir dans 20 ans.
              Personnellement, je pense que tant que les panneaux solaires seront fait avec des matériaux du style silicium+métaux assez rares, les couts seront élevés par rapport à l'investissement, et ce d'autant plus que la quantité vendu sera importante, parce que si on essaye de faire de la production de masse de panneaux solaires, le cout des matières premières va devenir très cher.
              En revanche, il existe des projets de panneaux solaires à base de nanotubes de carbone. Vu que le carbone, c'est pas ça qui manque, ça me semble plus facile de passer à une production de masse, tout en restant dans des couts faibles. Bon, mais tout ça ce sont des hypothètiques prototypes, alors en attendant...
          • [^] # Re: PowerPC

            Posté par . Évalué à 3.

            Mes sources : la visite du barrage sur le rhone de Bollènes où la CNR est en train d'installer les 1000m² de panneaux, visite qui a eu lieu il y a 3 semaines, et le mec c'était le chef d'exploitation. Je pense qu'ils savent ce qu'ils font et disent vu qu'ils produisent déja 5% de l'électricité francaise.
            Pour les deux ans d'amortissement je parlais pas de cout écologique mais de cout tout court, ce qui est au moins aussi important...
        • [^] # Le mistral ? Pas bon pour les héolienne ça !

          Posté par . Évalué à 2.

          Contrairement aux idée reçus, la vallée du Rhône n'est pas le bon endroit pour les éoliennes.
          Entre les moments où le vent n'y est pas assez fort et ceux où le vent est trop fort, obligeant à bloquer les hélices, les éoliennes y passerait plus de temps à l'arrêt qu'en fonction.
          Enfin, les éoliennes sont quand même de moins en moins fragile (même si c'est pas encore ça), espérons que dans le futur on pourra en installer.

          Ah, et pour ce qui est des panneaux solaires, ils sont plus rentable désormais, mais hélas dans certains centre villes ont n'a pas le droit de les installer. « Ça ne respecte pas le style architecturale historique du coin » qu'ils disent. (En même temps c'est tellement récent, que forcément...)
    • [^] # Re: PowerPC

      Posté par (page perso) . Évalué à 3.

      Tu remarqueras quand meme que pour epauler les cell 8i, c'est des opterons et pas des powerpc. D'autre part, si tu prends un xeon quad-core à 3GHz, ses perfs crête en double precision seront de 4 cores * 3 GHz * 4 flop/cycle = 48 gflops, donc c'est pas totalement ridicule devant les 102 gflops du cell 8i, surtout si tu prends en compte la difficulté de programmation de ce dernier !
      • [^] # Re: PowerPC

        Posté par . Évalué à 0.

        C'est tout l'art des instruction RISC, plus performant mais plus compliqué à utilisé.

        Tous les contenus que j'écris ici sont sous licence CC0 (j'abandonne autant que possible mes droits d'auteur sur mes écrits)

        • [^] # Re: PowerPC

          Posté par . Évalué à 9.

          >C'est tout l'art des instruction RISC, plus performant mais plus compliqué à utilisé.

          Non! Quand on parle de RISC, on parle du jeu d'instruction du CPU qui est par certains coté *plus simple* a utiliser pour les compilateurs que le CISC: + de registres, registres orthogonaux, conception, etc.

          La ce qui est compliqué a utiliser dans le Cell, ce sont les unités vectorielles SPU, qui ne sont un concept qui n'a rien a voir avec le jeu d'instructions du CPU principal..
          D'ailleurs les future CPU hybride d'AMD et d'Intel qui "intégreront" un GPU se rapprochent de ce concept, et comme le Cell ils seront compliqués a programmer même si le coeur principal sera un x86: ce sont les unités vectorielles qui sont dure a utiliser efficacement, pas le coeur principal.
        • [^] # Re: PowerPC

          Posté par (page perso) . Évalué à 9.

          plus performant mais plus compliqué à utilisé

          Le goût du RISC !
          • [^] # Re: PowerPC

            Posté par (page perso) . Évalué à 5.

            En disant "l'amour", tu serais peut-être arrivé à 10 plutôt que 9. Amateur !

            P.S. : à l'heure où je poste ce commentaire hein :-)
      • [^] # Re: PowerPC

        Posté par . Évalué à 2.

        Oui, mais j'ai lu je ne sais plus où, qu'il était beaucoup plus simple de tirer la quintessence d'un Cell que d'un proc généraliste comme un Xeon, grace au cache local. Donc il est plus simple de s'approcher des 102 gflops du Cell que des 48 de ton Xeon.

        De plus, la consommation électrique d'un Cell n'est pas très élevé. Je crois que le Cell de la PS3 ne dispose "que" de 188 millions de transistor. Pour un cluster, c'est très important.
        • [^] # Re: PowerPC

          Posté par (page perso) . Évalué à 10.

          Je ne dirais pas qu'il est plus "simple de tirer la quintessence d'un Cell" car ça demande de réécrire pas mal de code avant d'avoir quelque chose qui marche. Par contre c'est vrai que si les dimensions du problème sont suffisamment grandes, la gestion manuelles des local stores des SPUs permet de faire du double buffering réglé au petits oignons et ainsi exploiter 99% des performances théoriques du CPUs. Cela a été validé empiriquement par des chercheurs sur des produits de grosses matrices creuses.

          Par contre si les dimensions des données du problème sont trop petites, la latence du bus de communication entre les cores SPU est rédhibitoire et dans ce cas un SPE sera bien bon qu'un processeurs généralistes avec son système de cache automatique.

          Pour ceux que la programmation sur Cell BE intéresse, j'ai fait une présentation lors du dernier fosdem. Vous trouverez les slides ainsi que la vidéo enregistrée par l'équipe de free-electrons.com ici : http://oliviergrisel.name/2008-02-24-fosdem-programming-with(...) (avec une liste de liens sur des tutoriels pour approfondir).
    • [^] # Re: PowerPC

      Posté par (page perso) . Évalué à 7.

      Dans le cas présent, si les x86 ne donnent pas beaucoup de puissance de calcul, c'est surtout parcequ'ils n'ont pas été mis en place pour ça: ils gèrent les entrées-sorties.

      C'est comme dire que le processeur intégré dans un disque-dur ne participe pas beaucoup aux calculs effectuées sur un ordinateur: il n'est pas là pour ça (alors qu'il a tout de même une certaine puissance).

      Les machines scientifiques sont faites pour mouliner des opérations en virgule flottante, et presque uniquement cela. Le CELL est fait pour cela. Les x86 sont fait pour mouliner du code et peu de virgule flottante. Donc un x86 n'a que moyennement sa place dans un supercalculateur.
      • [^] # Re: PowerPC

        Posté par (page perso) . Évalué à 4.

        Donc un x86 n'a que moyennement sa place dans un supercalculateur
        D'où le ranger ...

        Blague à part je suis un peu étonné des performances crètes cités pour les [[éolienne]]s dans ce fil de discussion. J'ai vraiment du mal à croire un truc pareil. Mais apparemment wikipedia est d'accord. En tout cas ce chiffre montre que les économies d'énergie ne sont pas d'actualités uniquement chez les pauvres ; si même les candidats numéros un du top 500 ne sont pas excessivement gourmants : la puissance de calcul suit sa courbe exponentiel, mais pas la consommation électrique. Le green500 (http://www.green500.org/) semble devenir très tendance.
        • [^] # Re: PowerPC

          Posté par (page perso) . Évalué à 2.

          D'où le Ranger: ce n'est pas parcequ'on fabrique quelque chose que c'est intelligent :-) Le Ranger est x86, ainsi que la plupart des autres supercalculateurs, car c'est "facile" à concevoir au niveau de l'OS et des programmes. Prends les vieux Cray, les processeurs étaient fabriqués sur mesure et personne ne pouvait rivaliser. Par contre personne non plus ne pouvait programmer à la maison et ensuite faire tourner son logiciel sur le bouzin (enfin si, mais non).

          Pour la consommation, je ne trouve pas ça particulièrement économe. 20.000 processeurs qui consomment 3,9 Mw, ça fait tout de même 200 watts par processeur (avec la mémoire et les disques). C'est plus que pour un ordinateur "normal" sans carte vidéo ultra-gourmande. Un AMD 4200+ avec 4 Go de mémoire et deux disque de 160 Go consomme un peu moins de 100 watts, alimentation comprise et à pleine charge (sans écran). Avec un gros Opteron on est je crois à 30 watts de plus. Donc ce supercalculateur est TRES gourmand en énergie, surtout qu'avec 20.000 processeurs on est sensé optimiser les choses de ce côté, pas comme un "simple" ordinateur de bureau. Je pense que la mémoire doit beaucoup consommer: très rapide, très chère, très gourmande.
          • [^] # Re: PowerPC

            Posté par (page perso) . Évalué à 7.

            As tu pris en compte dans tes calculs les besoins en énergie pour le refroidissement ?
            • [^] # Re: PowerPC

              Posté par (page perso) . Évalué à 2.

              + le réseau.
              + les UPS
              (si je me souviens bien tout ces trucs sont pris en compte en général dans les chffres de consommation. Mais sans que ça garantisse que ce soit bien le cas ici.)
              Au final il me semble que c'est super économique au contraire. Quand je pense qu'il fallait à peu près la même chose pour la première machine tera du CEA (~2001-2002) et ces ~3000 alpha... Il me semble que les progrés sont consiérables.
              On peut aussi comparer avec une machine faite maison : qui oserait mettre une alimentation de ~300 W pour un biproc de nos jours ? Les différents tests que j'ai pu voir l'année dernière avec des barcelona (par exemple) semblaient plutôt indiquer qu'il fallait copmpter dans les 500 W min pour faire tourner ce genre de bécanes.
              • [^] # Re: PowerPC

                Posté par . Évalué à 1.

                + la clim.
              • [^] # Re: PowerPC

                Posté par . Évalué à 4.

                qui oserait mettre une alimentation de ~300 W pour un biproc de nos jours ?

                Les gens raisonnables. ;)
                J'ai un CPU pas tout neuf (AMD BE2300 => 2 coeurs, 1,9 Ghz, TDP de 45 W, acheté l'année dernière). On peut monter une config complète autour de ce CPU qui ne dépassera pas 100 Watts en charge. C'est le cas de la mienne par ex.

                Même avec un CPU moins économe en énergie, une station de travail (comprendre sans carte graphique energivore) quel que soit le CPU, ne demandera pas 300 W.

                Ces dernières années ont vu l'augmentation démesurée et complètement inutile de la puissance des alimentations. A ma connaissances, il existe des alims de plus de 1500 W, alors que rares sont les configs de joueurs qui dépassent les 500 Watts.

                La seule façon de les dépasser largement c'est d'utiliser un SLI (ou plus) de cartes graphiques de compétition.
              • [^] # Re: PowerPC

                Posté par (page perso) . Évalué à 6.

                C'est une idée très répandue et très fausse ces alimentation qui débutent toutes à 300 W.
                J'ai pris l'exemple de nos serveurs. Ce sont des serveurs hein, pas des PDA, qui ont 2 disques-dur, un lecteur CD-ROM, un processeur AMD 4200+, 4 Go de mémoire en 4-4-4-12 800 Mhz (donc bien rapide), 5 ventilateurs (plus celui pour le processeur, donc 6 ventilateurs). Le tout ne dépasse pas les 100 Watts à pleine charge.

                En remplaçant l'AMD par un Core2Duo E6600 (et la carte-mère qui va bien, et la mémoire), on a à peine plus à pleine charge. Par contre le processeur étant nettement plus puissant, la pleine charge en question dure moins longtemps "dans la vraie vie".

                Donc j'insiste: 200 watts par processeur, c'est beaucoup. Surtout pour un monstre de puissance qui permet en principe de rationnaliser cela nettement mieux qu'avec un ou deux processeurs.
    • [^] # Eolienne de ouf !

      Posté par (page perso) . Évalué à 4.

      Ce type de puissance est très théorique et n'existe qu'en offshore. En conditions optimales comme tu l'indiques.

      Pour avoir 3.9MW il va falloir que le data-center soit en pleine mer :-)
      Ca va résoudre en même temps les problèmes de refroidissement.
  • # Pour être exhaustif...

    Posté par (page perso) . Évalué à 6.

    il faudrait citer Bull qui fournit aussi ses supercalculateurs à base de linux (notamment celui du CEA).
    • [^] # Re: Pour être exhaustif...

      Posté par (page perso) . Évalué à 7.

      Tous les clusters HPC vendus par Bull sont basés sur GNU/Linux et pas seulement celui du CEA (Tera-10), que ce soient pour les noeuds de calcul ou tous les noeuds de services (IO, logins, backbones, administration).

      En fait, aujourd'hui, c'est une demande de la part des clients HPC (monde universitaire et scientifique principalement) de se baser sur du standard et de l'open source.

      C'est d'ailleurs pour cette raison que IBM fait évoluer son offre vers SLED/xCAT/Perceus et on le voit avec RoadRunner.
      • [^] # Le petaflop est déjà explosé....

        Posté par . Évalué à 10.

        ...par des organisations qui ne souhaitent pas en faire la publicité.

        cf: http://securisphere.blogspot.com/2007/01/la-nsa-du-mal-boucl(...)

        Regardez comme la ville de Baltimore s'est plainte récemment de la conso. d'electricité des services secrets américains (donc uniquement sur le site attaché à Baltimore): 75 MégaWatts..... à côté "Ranger" ça fait petite maquette..... La NSA ils doivent avoir tout un bataillon de Rangers :-)

        Faites le calcul avec n'importe qu'elle architecture de processeur, le pétaflop est déjà du passé pour ces gens là..... et il ne s'agit que d'un seul site et d'un seul pays.....

        En fait le top500 devrait s'appeller top600.... et commencer à la 100ème position. Dommage qu'on ne puisse pas prendre de paris....

        pour ce qui est des architectures Cells versus x86, moi je n'ai plus aucun doute, c'est Intel qui a gagné, et c'est avec le x86 qu'il va continuer..... pas la peine de perdre son temps avec les autres architectures, elles sont plus que jamais exotiques même si techniquement elles avaient un quelconque coté sexy. Et pour le système d'exploitation c'est Linux.

        Une remarque sur ce dernier point, le HPC est loin d'être un domaine examplaire pour le libre, parceque mis-à-part linux pour le kernel, les stacks sotftware utilisées dans la majorité de ces machines sont propriétaires de chez propriétaire, batchs schedulers, applications, debuggers parallèles, profileurs, middlewares (comme MPI), drivers, logiciels de managements.....

        Peut-être qu'un jour on verra plus souvent des vraies machines HPC à base de libre mais pour le moment c'est le dernier souci de cette industrie et à la limite ce n'est pas étonnant mais je voulais le mentionner.

        PS: merci pour l'article, il est très intérressant.
        • [^] # Re: Le petaflop est déjà explosé....

          Posté par . Évalué à 2.

          > architectures Cells versus x86, moi je n'ai plus aucun doute, c'est Intel qui a gagné, et c'est avec le x86 qu'il va continuer

          Certes mais les architectures futures d'Intel se rapprocheront fort probablement du Cell..
          Donc les futures CPU hybrides d'Intel seront autant des x86 qu'un Cell est un PowerPC: c'est pas faux, mais pas tout a fait vrai non plus (ça doit être mes origines Normandes qui reviennent :-) ).
        • [^] # Re: Le petaflop est déjà explosé....

          Posté par (page perso) . Évalué à 7.

          >>> le HPC est loin d'être un domaine examplaire pour le libre, parceque mis-à-part linux pour le kernel, les stacks sotftware utilisées dans la majorité de ces machines sont propriétaires de chez propriétaire

          Tu a raison mais on peut quand même citer la librairie OpenMPI (Message Passing Interface) qui est sous licence BSD et le système de fichiers distribués Lustre qui est sous GPL. Je crois que ces deux softs sont très utilisés dans le monde du calcul scientifique.

          Quand à la problématique de la NSA c'est sûr qu'il faut être conscient que le top 500 ne recense que les ordis de ceux qui veulent bien passer le test LINPACK et soumettre leur résultat. Donc il doit manquer pas mal de machines.
          • [^] # Re: Le petaflop est déjà explosé....

            Posté par . Évalué à 4.

            oui oui et oui, pour openMPI et lustre (au passage tu peux ajouter, mpich/mvapich, la stack OFED pour infiniband, tu peux ajouter slurm dans une autre catégorie, openipmi.....) mais si tu regardes le coeur du métier, on utilise trop peu gcc et beaucoup trop (à mon goût) les compilos intel par exemple.

            On parle de performance là, donc les compilos c'est de la techno centrale (core) et il me semble que les 'investissements' des industriels sur gcc sont trop légers.

            alors que sur linux par contre il s'est passé des tonnes de choses interessantes (par exemple sur les gros SMPs mais pas uniquement) que les gros acteurs de l'HPC ont contribué.
        • [^] # Re: Le petaflop est déjà explosé....

          Posté par (page perso) . Évalué à 5.

          Je parierais bien le contraire de toi : je serais étonné qu'il y ait 100 clusters plus gros que le BlueGene/L du LLNL. Aujourd'hui, IBM ne peut grimper que jusqu'à 3PF avec le BlueGene/Q en Power6 + Cell et je ne suis pas certain qu'il soit possible de faire beaucoup mieux qu'eux.

          À propos du hardware, je suis de l'avis que rien ne remplacera du multicore x86 sur InfiniBand dans les prochaines années même si les accélérateurs (Cell, CUDA et futurs Larabee) ont leur place pour certaines applications.

          En revanche, sur la pile logicielle, je n'ai pas la même vision de la chose. AMHA, elle sera libre : c'est bientôt reglé pour les logiciels de management, les drivers sont en général remontés sur la LKML par les constructeurs, les batchs schedulers les plus prometteurs sont libres et le middleware devient trop complexe pour continuer à le développer en interne.

          Et le phénomène s'accentue quand on parle de grilles.

          L'industrie est loin de ne pas s'en soucier. Il n'y a qu'à voir les personnes que Ian Foster a rassemblé à l'OSGC.

          Encore une fois, ce marché est à la carte pour les clients, et les clients veulent de plus en plus de l'open source. Sans ça, je ne vois pas pourquoi IBM irait investir dans une offre alternative 100% libre.
          • [^] # Re: Le petaflop est déjà explosé....

            Posté par (page perso) . Évalué à 1.

            les batchs schedulers les plus prometteurs sont libres

            À propos de ceci : j'ai passer quelques jours à chercher vainement des batch scheduler au début de l'année sans rien trouver qui me semble bien documenté et libre (mauvaises techniques de recherche probablement). Quelques un aurait-il des suggestions ?
            • [^] # Re: Le petaflop est déjà explosé....

              Posté par (page perso) . Évalué à 1.

              • [^] # Re: Le petaflop est déjà explosé....

                Posté par . Évalué à 3.

                Ca c'est une belle usine à gaz dont le coeur est écrit en Java (1 proc "monopolisé" par le thread central du soft car meme si en ram la JVM ne fait pas beaucoup en CPU ca pèse, encore difficilement installable sur des archis exotiques : RISC, PPC, même ia64) et avec un système de BDD trop compliqué (pourquoi aller chercher un Oracle ou MySQL pour un cluster alors qu'un fichier texte ou un SQLite suffisent amplement!!).
                De plus, après avoir lu la doc du produit, il me semble manquer de fonctionnalités essentielles pour un Job Scheduler : personnalisation des start/stop job, mise en place de ressources pour la gestion des licences, intégration des codes de calcul.
                Bref, un produit qui n'apporte rien et qui manque de fonctions.
                • [^] # Re: Le petaflop est déjà explosé....

                  Posté par (page perso) . Évalué à 2.

                  et tu recommandes quoi donc ?
                  • [^] # Re: Le petaflop est déjà explosé....

                    Posté par . Évalué à 6.

                    Ben SGE est un bon soft libre, multi-plateformes, qui marche bien avec la plupart des noeuds qu'on peut acheter actuellement (dell PE, altix, bluegene, les bull, ...) et qui a toutes les fonctionnalités utiles dans un job scheduler. Comme je le disais le plus difficile avec SGE c'est d'intégrer des codes de calcul proprio (Abaqus, Fluent, Nastran, Radioss, etc ...) d'une marnière propre (le but étant que le scheduler puisse arrêter un job, libérer la license puis reprendre ce job; le tout sans intervention humaine sur les fichiers d'entrée). Là, il faut commencer à perdre des jours pour faire des scripts shell ...
                    Ensuite si on a un minimun de moyens (de l'ordre de 25euro par core/proc) je recommande PBS Pro qui est très complet; pas la peine d'aller chercher LSF (ok c'est très complet aussi, ca marche sur toutes les plate-formes mais ca coute énormément plus cher).
                    Après sur des plus gros systèmes de tout de facon votre vendeur de hard essayera de vous vendre son soft (je pense notamment à IBM ou SGI) mais je trouve que PBS comme d'ailleurs SGE marchent très bien sur des grappes d'Altix ou de Bleugene si on les configure correctement (en faisant des virtual nodes par lames, ...)
              • [^] # Re: Le petaflop est déjà explosé....

                Posté par . Évalué à 1.

                Evidemment le rédacteur de la news poste un commentaire sans aucun intéret en ayant foutu 3 mot clés dans Google et il est mieux noté que les gens qui apportent vraiment qqchose, meci linuxfr...
                • [^] # Re: Le petaflop est déjà explosé....

                  Posté par (page perso) . Évalué à 3.

                  Je trouve que tu accorde peut-être un peu trop d'importance à la notation des commentaires. Après tout quelle importance que tu sois plussé ou moinssé ? La majorité des gens, je pense, surfent en mode -42 et voient tous les commentaires. Ne me dis pas que c'est une puérile question d'égo non ?
                  Pour ce qui est de ton apport il est indéniable puisqu'à la suite de mon post tu a argumenté et tu m'a expliqué pourquoi Open Source Job Scheduler n'était pas un bon choix. Donc merci pour tes informations.
                  • [^] # Re: Le petaflop est déjà explosé...

                    Posté par . Évalué à 0.

                    Biensur que ce n'est pas une question d'égo; je ne lis pas tous les commentaires, je cible en regardant la note... Et franchement je pense que la plupart des lecteurs DLFP font pareil, non ?
                    • [^] # Re: Le petaflop est déjà explosé...

                      Posté par (page perso) . Évalué à 2.

                      Moi je pense que personne ne le sait mais tout le monde en parle...

                      Pour avoir cette info, il faudrait connaître la valeur (ou son absence) du cookie de seuil, par visite (ou par visiteur mais ça promet d'être plus difficile pour les anonymes). Et cette info n'est pas actuellement stockée côté serveur DLFP, donc on n'en a aucune idée...

                      38% des visiteurs actifs utilisent la barre d'outils du site. Je suppose que le pourcentage d'utilisation du seuil de filtrage est encore inférieur.

                      En même temps le bon lieu pour discuter de cela est le système de suivi...
            • [^] # Re: Le petaflop est déjà explosé....

              Posté par . Évalué à 3.

              Il n'y a qu'une solution à ton problème : SGE (Sun Grid Engine), c'est du OpenSource by Sun. Pour l'avoir testé sur une 40aine de noeuds (i386 et x86_64) je peux dire qu'il est plutôt complet au niveau "concepts généraux" et les dev sont prompts à te répondre sur les ML. Par contre là où j'ai vite atteint les limites c'est pour l'intégration de codes de calcul proprio : rien n'est prévu de base, il faut tout scripter.
              La déclaration de ressources dynamiques (c'était pour des licences logicielles qui n'étaient pas entièrement gerées par SGE) m'a aussi posé problème : impossible sur la version que j'avais d'appeler un script pour lire le nombre de licences restantes....
              Sinon le meilleur rapport qualité/prix d'aujourd'hui c'est PBS Pro (qui se base sur OpenPBS, que je ne conseille pas car vieux et non maintenu :) ); très complet, avec interface HTTP permettant de soumettre les jobs, intégration de beaucoup de codes, intégration des lib MPI, fairshare, etc.
              • [^] # Re: Le petaflop est déjà explosé....

                Posté par (page perso) . Évalué à 2.

                Mon principal problème est de trouver un truc bien documenté que je puisse mettre en place en pas trop de jours de travails. J'avais bien entendu regardé SGE (softs le plus connu). Mais je n'ai pas trouvé (pas assez cherché ?) de doc abordable.
                Pour PBS: je n'ai pas vraiment trouvé de doc sur openPBS non plus. Quant à une solution payante : pas de crédit dans l'éducation national pour des trucs comme ça. Les gens préfèrent mettre l'argent dans des licences word et windows. Et moi je n'ai pas du tout l'intention de faire du travail non rémunérer (heures sup gratuite comme tous les fonctionnaires) et hors de mes attributions pour apprendre à manipuler des codes propriétaires non libres...
              • [^] # Re: Le petaflop est déjà explosé....

                Posté par . Évalué à 3.

                Et que penses-tu de Torque (souvent couplé avec Maui qui s'occupe de la gestion des ressources d'après ce que j'ai compris), qui est lui aussi basé sur OpenPBS ?

                Je n'ai pas vu quoi que ce soit pour gérer l'intégration de code propriétaire (mais je dois avouer que c'est un problème auquel je n'avais même pas songé), mais pour le reste les fonctionnalités me semblent correctes, et pour le voir fonctionner quotidiennement sur un cluster d'une centaine de noeuds il a l'air de bien tourner :)
                • [^] # Re: Le petaflop est déjà explosé....

                  Posté par . Évalué à 2.

                  Torque est un bon produit, comme tu le dis c'est une souche OpenPBS; de plus on trouve pas mal d'infos sur les ML Torqueusers (et pas seulement des infos clustering mais aussi pour des soucis MPI ou autre).
                  Comme tu le dis aussi il faut Maui pour faire la gestion de ressources ce qui prouve à mon goût que le projet n'est plus vraiment actif au niveau dév.
                  Oui, il doit "bien tourner", après tout dépend de ta politique de scheduling : dans la plupart des cas que j'ai rencontré l'idéal était de classer ses jobs par type de code, walltime, memory used et priorité puis d'organiser soit en suspendant des jobs longs (donc forcément peu prioritaires), ou/et en priorisant les utilisateurs qui ont moins consommé de ressources que d'autres (fairshare); après on peut affiner en créant des queues prime et non prime (queues qui tournent le jour ou la nuit), etc ... Ce genre de politique de scheduling n'était pas implémentée (ou du moins pas en changeant 1 seule ligne de conf) dans OpenPBS donc je ne pense pas qu'on puisse le faire facilement avec Torque.
                  Si vous devez faire une étude comparative pour votre cluster, vous pouvez considérer Torque et/ou OpenPBS dans votre liste de soft, mais les fonctions de ces derniers se retrouvent dans SGE ou PBS Pro avec pas mal d'autres truc sexy (j'ai fait l'exercice plusieures fois avec différentes contraintes à chaque fois et le couple SGE / PBS Pro a toujours été gagnant et pour pas chèr).
  • # un truc qui fait peur

    Posté par . Évalué à 10.

    je travaille dans un labo de recherche (pour situer le contexte) et nous avons quelques clusters de calcul (notamment un récent basé sur des noeuds altix de sgi, faisant tourner des Suse SLES).
    cela fait quelques temps que microsoft nous harcèle (un coup de téléphone par jour en moyenne, mais rien à voir avec notre achat récent) pour essayer de nous caser leur solution. Vu que nous avons ce qu'il faut pour l'instant, microsoft se donne les moyens, c'est à dire qu'ils nous proposent de nous mettre à disposition, dans nos locaux, la machine et le système gratuitement, pour une durée illimitée. C'est pas beau ça ?

    Il parait que leur OS est pourri (je dis bien il parait !), mais vu les moyens qu'ils ont, il vont finir par faire quelque chose de potable. Et ça peut faire très mal...

    comme dirait l'autre, la première dose est gratuite... ;)

    PS: linux a été validé sur leur machine ? :D
  • # Bonne nouvelle

    Posté par . Évalué à 5.

    Avant la fin de cette année un superordinateur dépassera la barre mythique du pétaflops

    On va enfin pouvoir faire tourner Vista dans emacs en gardant sa machine en vi !

    Trop gros, m'a échappé ->[]
  • # Moore, c'est trop lent!

    Posté par (page perso) . Évalué à 2.

    Considérons la loi de Moore:
    "Les processeurs doublent de puissance tous les 18 mois".

    A présent, un peu de math (étant fatigué, j'espère que je fais pas d'erreur).

    12 ans, c'est 12*12/18=8 * 18 mois, on est donc sensé avoir doublé 8 fois de puissance par rapport à l'Asci Red, ce qui veut dire qu'on doit avoir multiplié la puissance par 2 ^ 8 = 256.

    Le facteur pour passer du téraflop au pétaflop, est de 1000, soit environs 256*2*2, ce qui nous donne 2*18 mois = 3 ans d'avance pour parvenir à ce résultat.

    Si on considère les incertitudes sur la date qu'on peut majorer à 1 an sur la différence (l'un au premier janvier, l'autre le 31 décembre, j'ai pas regardé la date de sortie de l'Asci Red), ceci fait entre 2 et 4 ans d'avance, soit entre 16.67% et 33.33% d'avance par rapport à cette loi.

    Les super calculateurs sont donc toujours, relativement à cette loi, de plus en plus gros par rapport à leur prédécesseur, bref la course à la puissance s'accélère!

    Mais bon, si l'on fait des super calculateurs à base de carte graphique, si l'on en croit wikipedia ( http://en.wikipedia.org/wiki/FLOPS ) , on devrait exploser facilement le nombre de FLOPs, puisqu'en 2007, une carte NVidia 8800 Ultra pouvait faire 576 gigaflops tandis qu'un quadriprocesseur haut de gamme sortait 30 gigaflops. Pour autant, d'apres l'article, la carte graphique ne fait pas les memes "flops" qu'un processeur, elle est limitée à 32 bit de précision dans ce cadre.

    [troll]
    De toute façon, les CPU, c'est has been ( http://www.lesnumeriques.com/news_id-5127.html ). A quand un GIMP qui exploite réellement la carte graphique ?
    [/troll]
    • [^] # Re: Moore, c'est trop lent!

      Posté par . Évalué à 5.

      en réalité, la loi de moore ne parle pas de "puissance" (pourquoi flops et pas calcul flottant pour calculer la "puissance"), mais du nombre de transistor sur une surface donnée.

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.