Le trente-deuxième Top 500 des super-ordinateurs

Posté par (page perso) . Modéré par Christophe Guilloux.
Tags :
16
17
nov.
2008
Technologie
Le 32ème top 500 des supercalculateurs mondiaux est sorti aujourd'hui à l'occasion de la Supercomputing Conference 2008 qui a lieu à Austin au Texas.

On constate que la vitesse continue d'augmenter à un rythme très rapide puisque l'agrégation des puissances individuelle des 500 machines totalise 16953 téraFLOPS alors qu'elle n'était que de 6970 téraflops il y a six mois et 4920 téraflops il y a à peine un an. Si vous vouliez que votre dernier joujou fasse partie de la liste, il aurait fallu qu'il se hisse au minimum à 27,4 téraflops (seulement 18,8 téraflops lors du dernier classement). La première place reste occupée par la machine Roadrunner (décrite dans une dépêche précédente) mais son score a légèrement augmenté puisqu'il passe de 1026 à 1105 téraflops en pointe. Il fallait bien ça pour rester en tête, puisque le score du supercalculateur Jaguar a bondi de 205 à 1059 téraflops ! Cette spectaculaire augmentation s'explique par l'ajout de 200 nœuds de calcul Cray XT-5 aux 84 nœuds XT-4 déjà présents. Cette mise à jour conséquente permet à la machine d'être la seconde de l'histoire à franchir la barrière symbolique du pétaflops. Bien entendu son architecture traditionnelle (des AMD Opteron quadri-cœurs) ne lui permet pas de lutter à armes égales avec Roadrunner (architecture hybride à base d'IBM Cell) sur le plan du ratio puissance/consommation. Alors que les puissances en téraflops sont très proches, il existe un véritable gouffre en terme de kilowatts consommés : 2483 kW pour Roadrunner mais 6950 kW pour Jaguar !

La domination étatsunienne en terme de machines, qui semblait en voie de réduction lors des dernières éditions, s'accroît de nouveau dans cette trente-deuxième liste. Dans la liste des 500 machines on retrouve 291 super-ordinateurs américains, alors qu'ils n'étaient "que" 257 en juin dernier. Plus important encore : sur les 10 plus puissantes machines du monde les 9 premières sont aux États-Unis (et la dixième est un supercalculateur chinois installé à Shanghai).
La France quant à elle, passe de 34 à 26 machines et l'Europe passe de 185 à 152. C'est une mauvaise nouvelle pour ceux qui avaient repris espoir en analysant les derniers classements et cela démontre que l'effort doit s'accentuer si l'Europe ne veut pas se faire décrocher par ses concurrents. On note toutefois que la France place trois machines dans les 20 premiers de la liste : le supercalculateur Jade à 128 téraflops en quatorzième place, la machine Babel de l'IDRIS (un BlueGene/P à 112 téraflops qui est seizième) et enfin le supercalculateur de la firme Total qui fournit 106 téraflops en pointe et qui est dix-septième du classement.

En terme de processeurs, c'est la firme Intel qui domine largement avec 75,8% des systèmes (et même 87,5% quand on ne retient que les quadri-processeurs). Les architectures évoluent également vers une domination toujours plus grande du classique x86-64 (passage de 82% à 85,8%). Les Itanium ne percent toujours pas (on tombe de 16 à 9 machines en six mois) et les Power régressent également (de 68 à 60 machines). Cette « monoculture » du processeur x86-64 s'appuie bien évidemment sur l'effet de masse qui est atteint en produisant cette architecture pour la plupart des serveurs et la quasi-totalité des machines du grand public. On peut tout de même remarquer que le haut du classement reflète une plus grande diversité que la liste complète.

En ce qui concerne les statistiques par système d'exploitation on observe une petite progression dans l'écrasante domination de GNU/Linux (on passe de 85,4% à 87,8% des ordinateurs de la liste soit de 427 à 439 machines). Windows reste à 5 machines (1%) et les Unix continuent à mourir à petit feu (passage de 25 machine à 23). Il est à noter que Microsoft a initié une grosse campagne marketing pour soutenir son nouveau système Windows HPC 2008. On peut noter à ce sujet que la dixième machine du classement (l'ordinateur chinois qui atteint 180 téraflops en pointe) fonctionne sous Windows HPC 2008 ce qui constitue un bon argument publicitaire pour la firme de Redmond. Les prochaines éditions du Top 500 nous en apprendront plus sur le succès éventuel de ce nouveau produit et nous pourrons alors évaluer si s'agit ou pas d'une réelle concurrence pour GNU/Linux.
  • # Comme d' hab' :)

    Posté par . Évalué à 4.

    Comme d' hab :
    Merci Patrick.

    ps : puisque tu demandais il y a quelque temps, sur un commentaire, ce que deviennent certains projets financés par l' Europe ( d' un manière générale, soit par la commission, soit des labos), et que j' avais essayé de répondre humblement, brièvement et partiellement, voici des nouvelles d' un autre projet [que ceux déjà cités) :

    Le projet XtreemOS est présenté à la Supercomputing Conference 2008 de Austin. (sous forme de démo, seul XtreemFS ayant été publié 'publiquement')

    http://iebms.heiexpo.com/iebms/oep/oep_p2_details.aspx?sessi(...)
    http://www.xtreemos.eu

    Cordialement ;)
    • [^] # Re: Comme d' hab' :)

      Posté par (page perso) . Évalué à 10.

      Merci pour la news et pour les différents liens.

      Je n'aurais qu'une remarque à faire à Patrick, je pense qu'il y a sûrement un GNU de trop :
      En ce qui concerne les statistiques par système d'exploitation on observe une petite progression dans l'écrasante domination de GNU/Linux

      La page du top500 annonce juste Linux et je pense que pour ce coup là elle a raison. Les noeuds de calculs utilisent très souvent un système très dépouillé avec un petit noyau personnalisé, il est vrai assez souvent sur une base linux.
      Mais les bibliothèques et outils utilisés ne sont pas si souvent que ça des outils GNU. En général, MPI et les compilateurs sont des versions propriétaires (PGI notamment est très populaire aux USA).
      • [^] # Re: Comme d' hab' :)

        Posté par (page perso) . Évalué à 8.

        >>> je pense qu'il y a sûrement un GNU de trop

        Oui à la réflexion je crois que tu a raison. Je retiens la remarque pour le prochain classement ;-)
  • # Des raisons pour le recul de l'Europe ?

    Posté par (page perso) . Évalué à 4.

    Merci pour l'info

    Est-il possible d'expliquer le recul de l'Europe (et tant qu'à faire de la France) ?
    Est-ce plutôt lié à un manque de crédit pour ce genre d'équipement (je suppose que ça coûte, autant à l'achat qu'à l'usage) ?
    Est-ce plutôt lié à un manque de volonté, politique ou autre, de s'équiper ? Un absence de vision de l'utilité de telles machines ?
    Autres ?
    • [^] # Re: Des raisons pour le recul de l'Europe ?

      Posté par . Évalué à 4.

      Peut être un peu de tout ?

      Une absence de budget (colossaux) et une envie d' anticipation ?
      Donc une mutualisation des ressources (par exemple, il est courant de voir louer des plages de calculs. Et les supercalculateurs ne sont pas nombeux : Météo France, CERFACS, CERN, CEA...).

      Peut être qu' ils anticipent en se disant qu' une mutualisation de "super calculateurs de secondes pages" sont aussi efficaces (en regard du coût, et de l' évolutivité : on peux changer un 'bloc d' ordi' plus facilement dans une grid que dans un cluster il me semble)

      Grosso modo l' avenir est aux GRID et non aux Clusters en eux mêmes. Des GRID de petits clusters et mutualisés sont plus efficaces que de gros clusters localisés et individualisés.
      Cela n' enlève rien à l' importance d' apparaitre dans ce classement. (disons que ce classement devrait à l' avenir peut être ne référencer que les constructeurs de Clusters... Et un autre le compléter par l' utiolisation de ces clusters en grid, par les clients)

      ;)
      • [^] # Re: Des raisons pour le recul de l'Europe ?

        Posté par . Évalué à 4.

        Des GRID de petits clusters et mutualisés sont plus efficaces que de gros clusters localisés et individualisés.
        Si je ne m'abuse, ça dépend en GRANDE PARTIE des problèmes traités.
        Suivant certains, une architecture en mode cluster sera a privilégier, dans d'autres des GRID sera a privilégier.

        Il y en a pas de "celui la est mieux que l'autre", ils sont différents.
        • [^] # Re: Des raisons pour le recul de l'Europe ?

          Posté par (page perso) . Évalué à 4.

          toutàfé...

          J'ai bossé sur un cluster bien plus petit que ceux-la (à côter on dirais un MO5...) mais j'en aurais eu 200 mis en drille queça n'aurait pasété plus rapide...

          Il y a de gros problèmes de latence et de partage de données.Ily a grossièrement trois marches sur l'échelle :
          1/ Les multi-processeurs:la latence en très faible et les resources peuvent être plus ou moins partagées ;
          2/ Les clusters ou la latence est "raisonable" et la bande passante est suffisament importante pour permettre de gros échanges de données ;
          2/ Les grilles ou la latence est abominable et ou il est difficile d'envisager de gros échange de données.

          Sachant que pour la même puissance de calcul brute le 1/ est beaucoup plus cher que le 2/ qui est lui même beaucoup plus cher que le 3/. Mais pour la complexité de codage c'est souvent l'inverse...

          Il faut prendre ce qui est le plus adapté à une tâche donnée. Dans mon cas les volumes était énormes mais un cluster était déjà disponible, donc on allait pas (et on ne pouvait pas...) racheter un multi-processeur de puissance équivalente.

          Et il y a aussi le problème que ces technologies ont des limites. On ne peut pas faire un multiprocesseur aussi puissant que les meilleurs cluster ou un cluster aussi performant que les meilleures grilles.

          Et à mon avis, l'idéal est une grille de bon clusters. Ce genre de trucs est en général utilisés par plein de monde avec des besoins différent, donc quand une personne à un algo qui s'adapte à la grille, il utilise un max de puissance, quand ce sont des tâche qui sont plutôt orientées clusters, on en fait tourner une sur chaque clusters. Ça permet d'utiliser au mieu les ressources sans que ça coute trop cher. (enfin, tout est relatif....)
  • # le top500 n'est pas la liste des machines les plus puissantes du monde

    Posté par . Évalué à 8.

    même si cette liste reste un formidable outil analysé sous toutes les coutures permettant aux uns et aux autres de dégager des 'tendances', il reste un _échantillon_ de la réalité.

    Une partie des industriels qui produisent autrechose que des benchmarks préfèrent garder secret l'existence de ces machines (sans parler des organisations gouvernementales dont le métier est le secret...) pour de simples raisons de compétitivité.

    cette course au top500 est soutenue/organisée par les grands constructeurs qui poussent leurs clients à publier leurs linpacks....

    je radote un peu mais je pense que c'est important
    • [^] # Re: le top500 n'est pas la liste des machines les plus puissantes du mon

      Posté par (page perso) . Évalué à 3.

      Pour les organisations gouvernementales (type NSA) je partage ton point de vue et il est évident qu'elles possèdent des très grosses machines qui ne sont pas soumises au top 500.
      En revanche sur ta phrase "Une partie des industriels qui produisent autrechose que des benchmarks préfèrent garder secret l'existence de ces machines" quel serait l'intérêt de ces industriels de cacher ainsi leurs produits ?
      A mon avis le Top 500 leur fait une bonne pub donc cela me semblerait bizarre qu'un fabricant cache délibérément les performances de ses produits non ?
      • [^] # Re: le top500 n'est pas la liste des machines les plus puissantes du mon

        Posté par . Évalué à 4.

        Un mec qui a acheté un supercalculateur ne tient pas forcément à ce que ça (et notamment les performances du-dit calculateur) se sache. Parce qu'il pense que ça peut donner des idées à ses concurrents, par exemple. Et je doute que les fabricants soient toujours en position de forcer leurs clients à révéler ce genre de choses.
      • [^] # Re: le top500 n'est pas la liste des machines les plus puissantes du mon

        Posté par . Évalué à 6.

        il y a des industriels qui considèrent leur puissance de calcul comme secret stratégique , comme il y a des industries où les stocks ( de matières première par exemple) sont stratégiques.

        le moins d'information tu donnes à ta concurrence, le mieux.

        Et puis y'a une troisième catégorie, ce sont les industriels qui ont autrechose à faire que remplir les formalités pour être TOP500, ceux dont le métier n'est pas de crâner avec linpack :-) mais de faire avancer leur production.

        exemples du premier type: google, yahoo, facebook, flickr, des providers IT, certains pétroliers, les grosses banques

        exemples du deuxième groupe: certains pétroliers, certaines écuries de F1, les grosses banques.....
        • [^] # Re: le top500 n'est pas la liste des machines les plus puissantes du mon

          Posté par . Évalué à 3.

          le cluster de BMW/Sauber était dans le classement il y a un ou 2 ans.

          Le notre n'y est pas. Il est la pour faire de la CFD, pas du linpack. En meme temps, il n'est pas si gros que ca, il me semble.
        • [^] # Re: le top500 n'est pas la liste des machines les plus puissantes du mon

          Posté par (page perso) . Évalué à 1.

          yahoo, facebook, flickr, des providers IT
          Le top500 est focalisé calculs flottants sur des gros calculateurs, et je doute franchement que ça soit utile à facebook ou flickr etc ... Pour ces entreprises, une grille d'ordis classiques me paraît plus appropriée. Pour google, même si les algos de type pagerank peuvent être décrits de manière matricielle, je doute que cela nécessite une puissance de calcul vraiment monstrueuse, une gestion astucieuse de la structure creuse des matrices étant autrement plus importante.

          Pour les pétroliers, je ne vois pas trop l'utilité de tenir ça secret étant donné que l'on sait qu'ils ont besoin de ce type de machine.

          Pour la NSA, il n'est même pas évident que leurs calculateurs puissent figurer dans le top500, je doute que leurs machines soient optimisées pour LINPACK.

          Ensuite il est évident que ce classement est à relativiser car il est extrêmement difficile d'exploiter correctement une architecture comme Roadrunner ou dans une moindre mesure BlueGene L ou P sur de nombreuses applications. Les 3 applications que j'ai vu portées sur RoadRunner avaient été sélectionnées sur leur abscence de communications et les calculs massifs par rapport au volume de données qu'elles utilisent.
          • [^] # Re: le top500 n'est pas la liste des machines les plus puissantes du mon

            Posté par . Évalué à 1.

            > Le top500 est focalisé calculs flottants sur des gros calculateurs, et je doute franchement > que ça soit utile à facebook ou flickr etc ... Pour ces entreprises, une grille d'ordis >classiques me paraît plus appropriée. Pour google, même si les algos de type pagerank >peuvent être décrits de manière matricielle, je doute que cela nécessite une puissance de >calcul vraiment monstrueuse, une gestion astucieuse de la structure creuse des matrices >étant autrement plus importante.

            hors sujet,
            google pourrait être dans le top500, y'a _AUCUN_ doute là dessus (même si eux ne font pas de calcul flottant, ils achètent des tonnes de procs qui peuvent en faire). Seulement, premièrement google a mieux à faire qu'installer linpack et, que pour des raisons de compétitivité , google ne dévoilera pas combien et quels serveurs il achète chaque mois: c'est un secret industriel.

            >Pour les pétroliers, je ne vois pas trop l'utilité de tenir ça secret étant donné que l'on sait qu'ils ont besoin de ce type de machine.

            et pourtant c'est bien un secret industriel également chez certains (pas chez TOTAL qui est bien placé dans le TOP500).... pour te convaincre, cherche les pétroliers dans la liste..... tu verras, il n'y sont pas ou alors ils se cachent derrière un nom générique..... même remarque pour les 'IT providers'.....
            • [^] # Re: le top500 n'est pas la liste des machines les plus puissantes du mon

              Posté par (page perso) . Évalué à 3.

              ils achètent des tonnes de procs qui peuvent en faire
              Ben j'aimerai bien voir ce que donne linpack sur un réseau pourri... Sérieusement, il n'y a pas que les processeurs, et souvent linpack est utilisé pour vérifier si la machine fonctionne, ce n'est pas que de l'amusement. Après, pour je suis d'accord, le tuning linpack n'est pas toujours l'idéal mais ça donne déjà une idée.

              Ensuite, je ne dis pas que Google ne pourrait pas être dans le top500 mais je pense néanmoins qu'ils n'ont pas forcément besoin de ce type de machines. Et pour le raisonnement sur les processeurs qu'ils achètent, t'as vu le nombre processeurs qu'ont Carrefour, Walmart, Darty ou la FNAC, ils pourraient être dans le top500 aussi grâce à leur stock en magasin.

              Pour les pétroliers, tu as peut être raison (mais je ne vois toujours pas l'intérêt d'un tel "secret") mais il faut quand même noter que 10% des machines du TOP500 sont utilisées pour la géo-physique.
            • [^] # Re: le top500 n'est pas la liste des machines les plus puissantes du mon

              Posté par . Évalué à 0.

              google pourrait être dans le top500, y'a _AUCUN_ doute là dessus (même si eux ne font pas de calcul flottant, ils achètent des tonnes de procs qui peuvent en faire). Seulement, premièrement google a mieux à faire qu'installer linpack et, que pour des raisons de compétitivité , google ne dévoilera pas combien et quels serveurs il achète chaque mois: c'est un secret industriel.

              Tu divagues ? Ils manquent sacrément de discrétion alors ... parce que vu le nombre de news sur des achats de serveurs et sur le nombre qu'ils possèderaient, sans parler des photos des emplacements ... le secret industriel est très mal gardé !

              De plus, leurs employés, ils enfreindraient le contrat de confidentialité, oh oui ...

              Et on sait très bien que leur concept leur coute un paquet de fric parce qu'il est très gourmand en ressource. Il y a des moteurs pensés qui vont faire concurrence à google sur cette économie là mais de la à ce que ça devienne célèbre un jour ...c'est une autre histoire.
      • [^] # Re: le top500 n'est pas la liste des machines les plus puissantes du mon

        Posté par . Évalué à 4.

        quel serait l'intérêt de ces industriels de cacher ainsi leurs produits ?
        A mon avis le Top 500 leur fait une bonne pub donc cela me semblerait bizarre qu'un fabricant cache délibérément les performances de ses produits non ?


        Pour les fabricants peut-etre mais il faut malgre tout l'autorisation des clients. Il n'est pas difficile d'imaginer que, dans un secteur competitif, la non divulgation d'information sur les moyens mis en place soient strategiques.
  • # Point de comparaison

    Posté par . Évalué à 4.

    Merci pour cette dépêche bien fournie, mais pour un non-initié comme moi, une réponse demeure : pour avoir un point de comparaison, mon ordinateur de base (disons un P4 2GHz), il fait combien de FLOPS ? Je dois vous avouer qu'une rapide recherche internet ne m'a pas donné ne serait-ce qu'un semblant de réponse.
    • [^] # Re: Point de comparaison

      Posté par (page perso) . Évalué à 0.

      Un vieux P4, genre mon ancien 530 faisait environ 230 MFLOPS.
      Le core 2 duo que j'ai maintenant fait un petit tera flops.

      J'avais testé ça avec la version applet java du linpack mais bon, ça donne quand même un ordre de grandeur.
      • [^] # Re: Point de comparaison

        Posté par . Évalué à 4.

        Euh c'est quoi ton core 2 duo ? Parce que je rappelle que la puissance la puissance crête (le Rpeak du top 500) c'est : nombre de coeur * fréquence * nombre d'opération flottante par cycle.

        Sur les procs récents le nombre d'opération flottante par cycles est 4. Bref un quadri pro quad-core à 3 Ghz fait du 192 GFlops en puissance max _théorique_.
      • [^] # Re: Point de comparaison

        Posté par . Évalué à 2.

        Tu es sur que ce n'est pas GigaFlops seulement ... car un tera c'est quand même énorme ... sinon c'etait l'applet de test qui n'etait pas au point ...

        [quote] 500 machines totalise 16953 téraFLOPS alors qu'elle n'était que de 6970 téraflops il y a six mois et 4920 téraflops[/quote]
        Sinon ta machine est digne de faire partie de la liste :p
        • [^] # Re: Point de comparaison

          Posté par . Évalué à 1.

          Si tu compare avec la puissance de calcul des carte graphique ça devient plus crédible (qui sont nettement plus doué pour les flottants).
          Pour info le pc de bureau le plus rapide du monde à une puissance de calcul graphique de 2,4 Teraflops.
          C'est un pc de chez Yoyo tech, basé sur un core i7 965 overclocké avec une double carte graphique HIS 4870 qui ne coute que 5000euros.
          • [^] # Re: Point de comparaison

            Posté par (page perso) . Évalué à 2.

            Oui mais ces téraflops issus de cartes graphiques ne portent que sur des nombres 32 bits. La très grande majorité des applications scientifiques exigent des calculs sur 64 bits et dans ce cas les cartes graphiques actuelles sont beaucoup moins performantes.
            • [^] # Re: Point de comparaison

              Posté par . Évalué à 2.

              et en plus, ce n'est pas du tout la même architecture avec un cpu (vu qu'on comparait des cpu grand publics ;)) (processeur scalaire vs vectoriel)
            • [^] # Re: Point de comparaison

              Posté par . Évalué à 2.

              Les GPU GT200 de Nvidia permettent maintenant de travailler avec des flotants sur 64 bits. Je sais pas encore ce que ca donne en terme de performances, vu que je ne vais probablement pas avoir ce type de carte avant janvier pour mes développement...

              Plus que la différence 32/64bits, le fait est que les GPU ne valent le coup que pour certains types d'opérations. Et meme quand c'est le cas, c'est beaucoup de boulot pour obtenir le maximum possible (facteur 3 juste en changeant la zone mémoire utilisée dans mon cas).
              • [^] # Re: Point de comparaison

                Posté par . Évalué à 3.

                Au fait sait-on ce qu'il en est de ATI poru le calcul sur GPU ? Apparemment AMD a récemment fait des annonces prometteuses (framework et pilote permettant de faire du calcul sur n'importe quelle carte ATI, pas seulement les plus récentes), mais en pratique qu'est-ce qui marche à l'heure actuelle ?

                désolé si la question un peu hors sujet, mais ce serait pour satisfaire une curiosité bien légitime :)
                • [^] # Re: Point de comparaison

                  Posté par . Évalué à 3.

                  Dans mon cas, le choix est simple, CUDA existe et fonctionne, les machines au boulot ont du nvidia, et mon développement doit etre pret et testé pour le Grand Prix d'Australie fin mars, pas le temps d'attendre la release de Stream pour commencer a bosser.

                  Pour ce qui est du "n'importe quelle carte ATI, pas seulement les plus récentes", la doc chez AMD parle de carte HD2000+ minimum, donc il faut quand meme du relativement récent, a peu pres du meme niveau que Nvidia en fait (une simple Geforce 8400 a 30€ marche avec CUDA).

                  A l'arrivée, les 2 semblent se baser plus ou moins sur les memes principes, donc a vue de nez, je dirais que le gros du boulot est de porter pour faire du "many-thread" plus que vers un produit spécifique.
                  • [^] # Re: Point de comparaison

                    Posté par (page perso) . Évalué à 2.

                    Donc t'a pas besoin des flottants 64 bits pour ton job et les cartes NVidia un peu anciennes te suffisent ?

                    Sinon le KERS ça va ? Y'aura pas de mécano électrocuté en Australie ?
                    • [^] # Re: Point de comparaison

                      Posté par . Évalué à 2.

                      Donc t'a pas besoin des flottants 64 bits pour ton job et les cartes NVidia un peu anciennes te suffisent ?
                      Ca dépend de quels aspects de mon job on parle... :)

                      Quand a KERS, euh, j'ai l'impression qu'il n'y a pas grand monde qui l'utilisera en Australie tel que c'est parti.
                • [^] # Re: Point de comparaison

                  Posté par . Évalué à 1.

                  Pour compléter... En 29eme position du classement, on trouve une machine japonaise a laquelle ils ont intégré 170 Tesla S1070 (rack 1U avec 4 cartes a base de GT200)
        • [^] # Re: Point de comparaison

          Posté par (page perso) . Évalué à 2.

          Zut j'ai effectivement parlé trop vite, désolé.

          Sur le P4 c'était bien 200 MFLOPS.
          Sur le Core2duo c'est 1,1GFLOPS et pas tera bien sur.

          Le core2duo est un P7350 donc deux coeurs à 2ghz.
  • # photo de vacances ;-)

    Posté par (page perso) . Évalué à 2.

    J'ai pris en photo le 14ème super-ordinateur du TOP 500 pour ceux que ça intéresse :
    http://rootix.info/?p=103

    Christophe - https://guides-serveur.ovh

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.