Le classement Top 500 de juin 2009 est disponible

Posté par (page perso) . Modéré par patrick_g.
Tags :
28
23
juin
2009
Technologie
Le trente-troisième Top 500 des supercalculateurs mondiaux est sorti aujourd'hui à l'occasion de l'International Supercomputing Conference (ISC'09) qui a lieu à Hambourg en Allemagne.

L'ordinateur Roadrunner, déjà tenant du titre depuis deux éditions, continue de dominer le classement. Rappelons que cette machine fonctionne avec une version modifiée de la distribution Linux Fedora. En terme de puissance agrégée le total se monte maintenant à 22,6 pétaflops (contre 16,95 il y a six mois et 11,7 pétaflops il y a à peine un an).

Enfin si vous voulez que votre dernier joujou puisse s'ébattre dans la cour des grands il vous faudra atteindre la respectable puissance minimum de 17,1 téraflops pour postuler à la cinq-centième place (12,64 lors du dernier classement). Le sommet de ce nouveau classement Top 500 semble à première vue un peu décevant. Est-ce un effet de la crise ? En tout cas on ne peut que constater la stagnation des scores des deux machines de tête. Roadrunner reste à 1,105 pétaflops et Jaguar (une machine Cray XT5 sous SUSE Linux) reste à 1,059 pétaflops. Il est à noter que cette apparente stagnation n'est sans doute qu'une illusion puisque Jaguar a été amélioré récemment mais il est tellement utilisé qu'il n'a pas eu le loisir de lancer des benchmarks Linpack.

Derrière ces deux monstres le classement évolue quelque peu puisqu'on trouve maintenant deux machines allemandes dans le top 10. Ainsi la troisième place est occupée par Jugene avec 825 téraflops et la dixième par Juropa avec 274 téraflops. A l'exception de ces deux machines allemandes toutes les autres jusqu'à la quatorzième place se trouvent aux États-Unis. Cette quatorzième place est tenue, c'est assez inhabituel, par une machine IBM BlueGene/P se trouvant en Arabie Saoudite. C'est la "King Abdullah University of Science and Technology" qui s'est offert ce supercalculateur de 185 téraflops. En ce qui concerne les autres statistiques nationales la France passe de 26 machines dans la liste précédente à 23 tandis que l'Allemagne la dépasse puisque son compte évolue de 25 machines à 29. Le Royaume Uni est toujours devant avec 44 machines. La machine française la plus puissante (vingtième position) est le Jade de 128 téraflops qui utilise des Intel Xeon avec un système d'exploitation SUSE Linux Enterprise.

En terme de fabricants des processeurs c'est toujours la firme Intel qui domine largement avec 79,8% des systèmes (75,8% il y a six mois). Les architectures évoluent également vers une domination toujours plus écrasante du x86-64 (436 machines en tout contre 429 il y a six mois). Les Itanium continuent leur lente descente aux enfers (on tombe de 9 ordinateurs à seulement 6) et les Power régressent également (de 60 à 55 machines). Les processeurs de type x86-64 bénéficient à plein de l'effet de masse commercial et financier puisqu'ils équipent la plupart des serveurs et la quasi-totalité des machines du grand public. Les investissement se concentrent donc sur cette architecture et son évolution en terme de puissance est très rapide. La liste du Top 500, quand on la suit depuis plusieurs éditions, laisse bien apparaître cette tendance à la monoculture matérielle Intel/x86-64 qui tourne au monopole de fait.

En ce qui concerne les statistiques par système d'exploitation on constate que la gigantesque domination des systèmes GNU/Linux commence à plafonner sérieusement. On passe de 87,8% des ordinateurs de la liste à 88,6% (soit de 439 machines à 443). Il est vrai qu'il est difficile de faire mieux à moins de faire main basse sur la totalité de la liste. Windows ne semble pas réaliser la percée que la firme de Redmond avait envisagée (du moins en ce qui concerne le Top 500). Le score reste à 5 machines soit un tout petit 1% des machines de la liste. La machine la plus puissante sous Windows HPC, l'ordinateur Magic Cube de l'Université de Shanghai, glisse de la dixième à la quinzième place. Si le Top 500 est bien représentatif des évolutions du monde des supercalculateurs, alors le pari de Microsoft d'utiliser auprès des entreprises le facteur "terrain connu" de Windows ne semble pas fonctionner... du moins pour l'instant.
  • # On est pas vendredi mais ça me démange

    Posté par (page perso) . Évalué à 10.

    Et combien y a t'il de cluster personnel servant à des utilisateurs gentoo pour recompiler tout leur environnement chaque semaine ?
    • [^] # Re: On est pas vendredi mais ça me démange

      Posté par . Évalué à 3.

      Aller, je rentre dans le troll :)

      Honnêtement, avec une machine correcte, ça compile relativement brièvement :

      Bi-quad core xeon avec 8Go de ram : Installation de Firefox (téléchargement, décompression, compilation, copie, nettoyage) en 1 minute.

      C'est un bon système pour apprendre et maintenant je me dirigerais bien vers une distribution tout binaire qui marche toute seule, mais du coup, je ne sais pas quoi utiliser car on s'y fait à Gentoo ;)

      Et puis il existe des dépôts binaires, il suffit d'être d'accord avec les USE de l'auteur.
      • [^] # Re: On est pas vendredi mais ça me démange

        Posté par (page perso) . Évalué à 10.

        J'aimerais bien avoir une machine correcte comme la tienne.

        Envoyé depuis mon lapin.

        • [^] # Re: On est pas vendredi mais ça me démange

          Posté par . Évalué à 3.

          La machine est un serveur MacPro. Elle n'est pas mienne, mais appartient à l'école d'ingé.

          J'aimerais bien une machine perso comme ça aussi ;)
        • [^] # Re: On est pas vendredi mais ça me démange

          Posté par . Évalué à 1.

          Bavez bande de geeks
          free -g
          total used free shared buffers cached
          Mem: 62 49 13 0 0 38

          cat /proc/cpuinfo |grep bogo
          bogomips : 6032.07
          bogomips : 6027.80
          bogomips : 6028.03
          bogomips : 6027.91
          bogomips : 6027.82
          bogomips : 6028.01
          bogomips : 6027.90
          bogomips : 6027.86


          Et j'en ai 500 des comme ça :)

          (En les regroupant ça permet de rentrer dans la liste. cool)
          • [^] # Re: On est pas vendredi mais ça me démange

            Posté par . Évalué à 2.

            Rigolo va...

            Bon je ne peut pas aujourd'hui mais demain je te posterai le résultat de mon free et de mon /proc/cpuinfo...

            Ça devrait en donner 8 moi aussi mais j'en ai pas 500, j'en ai 18,688 :)

            A bientôt les geeks,

            Laurent
      • [^] # Re: On est pas vendredi mais ça me démange

        Posté par (page perso) . Évalué à 9.

        >>> Bi-quad core xeon avec 8Go de ram : Installation de Firefox (téléchargement, décompression, compilation, copie, nettoyage) en 1 minute.

        0_o
        Avec un monstre pareil tu compiles Firefox plus vite que je ne récupère le binaire avec Synaptic !
        • [^] # Re: On est pas vendredi mais ça me démange

          Posté par . Évalué à 2.

          c'est pas non plus un monstre, c'est un serveur d'entrée de gamme si tu visites un peu les catalogues des grands constructeurs.

          Les modèles d'entrée/milieu de gamme x86 sont déjà disponible avec des quadri-xeon octocore upgradable jusqu'à 128Go de mémoire.
      • [^] # Re: On est pas vendredi mais ça me démange

        Posté par (page perso) . Évalué à 5.

        Bi-quad core xeon avec 8Go de ram

        Tu appelles ça une machine correcte !?!, c'est une très bonne bonne machine pour moi.

        « Rappelez-vous toujours que si la Gestapo avait les moyens de vous faire parler, les politiciens ont, eux, les moyens de vous faire taire. » Coluche

      • [^] # Re: On est pas vendredi mais ça me démange

        Posté par (page perso) . Évalué à 3.

        en 1 minute ? j'ai du mal à y croire, t'es sur que t'as pas des caches qui recuperent le resultat de compiles precedentes ?
        • [^] # Re: On est pas vendredi mais ça me démange

          Posté par . Évalué à 4.

          Et pourtant, le make -j17 aide à faire en sorte que ça pulse pas mal.

          Honnêtement, lorsque j'ai eu la machine en main c'était pour faire du LTSP sur 18 postes en même temps et j'ai été bluffé par les capacités de la machine. En gros, c'est très fluide avec un switch gigabit et une utilisation simultanée de type bureautique par les utilisateurs. Je n'ai pas réussi à obtenir l'accélération vidéo dans le temps imparti.

          Pour la petite histoire, j'ai dû quitter Gentoo pour Ubuntu à cause de l'intégration LTSP, mais cela n'a été que du bonheur, je n'avais jamais vu des compilations aussi rapides. Au début, je croyais même que j'installais des paquets binaires tellement ça allait vite. Et plus question d'avoir le temps de lire les lignes de compilation qui défilent ;)

          Au niveau matériel, la machine Apple était de très grande qualité au niveau intégration des composants et matériaux employés.
          Note très positive : AUCUN BRUIT.
        • [^] # Re: On est pas vendredi mais ça me démange

          Posté par . Évalué à 1.

          Compilez un kernel en 1 minute ?
          Tu utilises le ""parser"" de Mr Bellard ?? :p :p
          • [^] # Re: On est pas vendredi mais ça me démange

            Posté par . Évalué à 3.

            Un kernel en une minute c'est beaucoup plus faisable qu'un firefox dans le même temps. Sur une machine "bas de gamme" (2x2,5GHz) d'aujourd'hui (bon ok avec 4Go de RAM), un kernel pas trop bloaté se fait en 3min environ chez moi.
      • [^] # Re: On est pas vendredi mais ça me démange

        Posté par . Évalué à 5.

        Et hop un coup de pub : une distro binaire qui pourrait te convenir, c'est bien Arch Linux, qu'on qualifie justement parfois de "Gentoo binaire".

        Malgré tout, j'aimerais bien avoir une "machine correcte" pour ma pitite Arch aussi :'(
        • [^] # Re: On est pas vendredi mais ça me démange

          Posté par . Évalué à 2.

          je suis passé de Gentoo a Archlinux aussi et j'aime bien. Des fois ca manque un peu de flexibilité (genre installer un package de testing et le maintenir à jour, mais pas les autres package de testing) mais c'est rapide, clean etc. Je garde.
    • [^] # Re: On est pas vendredi mais ça me démange

      Posté par . Évalué à 3.

      Pfffff.

      Pour info, j'ai une machine correcte : Phenom X4 Quad-Core 9850 avec 4Go de RAM. Et je ne fait des update que une fois par semaine. Ca prend rarement plus d'une demi-heure. Après, lors d'une mise à jour complète de KDE... ça peut prendre un temps certain.
      Dans le cas spécifique à KDE, ils ont splitté les packages en paquet par application. Du coup, on décompresse plein de fois le même gros tbz2. Ce qui fait une grosse perte de temps, pour un gros gain de granularité.
      Gentoo est un choix. J'ai vraiment du mal avec les distrib binaire maintenant. Manque de configurabilité.
      L'idéal serait que les paquets les plus courant avec les options les plus courante soit compilé sur des serveurs est mis à jour en binaire pour le plus grand nombre.
  • # Dans Juropa, il y a du Bull

    Posté par (page perso) . Évalué à 8.

    A noter que Bull est 10ième avec Juropa [http://www.top500.org/system/10147] ...
    • [^] # Re: Dans Juropa, il y a du Bull

      Posté par . Évalué à 10.

      Bull vit donc encore...
    • [^] # Re: Dans Juropa, il y a du Bull

      Posté par . Évalué à 10.

      80 000 Go de ram… j'espère qu'ils n'auront pas besoin de lancer un Memtest.
      • [^] # Re: Dans Juropa, il y a du Bull

        Posté par (page perso) . Évalué à 3.

        Ce ne sont pas pour la plupart des machines à mémoire partagée donc celle-ci ne s'additionne pas réellement. Ce chiffre de 80000 Go est donc l'agrégation de centaine de machine.

        Les x86 ne savent pas encore faire du vrai SMP sur des centaines de coeurs (technologie NUMA). Cela va arriver et si mes souvenirs sont bons pour 2010.
        • [^] # Re: Dans Juropa, il y a du Bull

          Posté par . Évalué à 5.

          Euh, l'aspect NUMA n'est absolument pas lié au fait d'avoir des « centaines de cœurs ». NUMA = « Non-Uniform Memory Access », qui permet d'avoir un seul espace d'adressage même si on a différents modules physiques de mémoire, et c'est tout. C'est à opposer à des DSM (« Distributed Shared Memory ») par exemple, où là les nœuds de calcul ont eux aussi chacun des modules mémoire physiquement séparés, mais où le transfert de donnée d'un nœud à l'autre doit se faire explicitement car l'espace d'adressage est privé à chaque nœud.

          Pour info, la technologie d'Hypertransport d'AMD et récemment QPI d'Intel sont des technos ccNUMA, c'est à dire que la cohérence des caches est assurée au niveau matériel. Mais sur une carte SMP de Nehalem par exemple (avec 2 processeurs Nehalem, soit 2x4 cœurs, soit 16 threads matériels en tout), on a 2 jeux de barrettes mémoire (un par processeur), 2 bus, etc., et chaque processeur est relié à l'autre par un lien QPI qui permet d'accéder de façon transparente à la RAM de l'autre processeur.

          Évidemment, dans le cas de machines réellement massivement CMP, on va se retrouver avec des architectures NUMA, mais certainement pas ccNUMA (car trop compliqué à câbler).
  • # C'est dommage...

    Posté par (page perso) . Évalué à 8.

    Je m'étais habitué à annoncer que 75% des supercalculateurs fonctionnent sur un système libre.
    Et bien, maintenant, je ne peux plus.

    PS : linux + BSD = 89%
  • # L'Amééériqueuuuuu !

    Posté par . Évalué à 5.

    Quand meme les States, ils explosent tout le monde : ils en ont plus de la moitié à eux seul : 291 !

    Au passage, la France est pas ridicule avec sa 4e place.
    • [^] # Re: L'Amééériqueuuuuu !

      Posté par . Évalué à 2.

      La France est loin d'être ridicule. La France de part sa myriade de petites institutions de recherche, d'écoles et d'universités a toujours été assez mal représenté dans ce type de classement qui privilégie les grosses installations donc les grosses structures.
      • [^] # Re: L'Amééériqueuuuuu !

        Posté par . Évalué à 4.

        Hum. Je suis d'accord avec toi concernant les classements sur la recherche en règle générale. Par contre concernant les calculateurs, il n'y a rien à dire. Soit on en a une grosse, soit pas. Bon ben, on a la 4è plus grosse. Machine, hein.


        Maintenant il faut garder à l'esprit que Linpack permet d'avoir une idée des perfs crête d'un calculateur (car les calculs sont indépendants, et nécessitent très peu de communication entre les cœurs), mais qu'en pratique, sur une application parallèle, le problème vient de la contention sur la mémoire, des parties intrinsèquement séquentielles, etc.
        • [^] # Re: L'Amééériqueuuuuu !

          Posté par (page perso) . Évalué à 3.

          >>> oit on en a une grosse, soit pas. Bon ben, on a la 4è plus grosse. Machine, hein.

          Non. La France est quatrième dans le classement par pays du nombre de machines dans le Top 500. Mais la plus puissante machine française se classe seulement en vingtième position.
  • # Modifiée à quel point ?

    Posté par . Évalué à 4.

    "Rappelons que cette machine fonctionne avec une version modifiée de la distribution Linux Fedora."
    La Fedora utilisée est modifée dans quelle proportion ?
  • # césar

    Posté par . Évalué à 2.

    Rendons à Cesar ce qui est à Cesar :p

    Fedora ronronne sur le numéro 1, très bien :)
    Mais c' est bien les SuSe qui trustent la quasi totalité des places, et ce depuis belle lurette.



    A noter le départ de Mac osX.. fini, il n' est plus...
    A noter le maintien de OpenSolaris, qui avec une unique machine est toujours présent (et donc semble donner satisfaction)

    Enfin à noter que Windows ne gagne aucune machine : il passe à 5 de part le départ de la version Windows Compute Cluster Server qui avait 1 machine jusqu' à présent. Ce sont 5 Windows HPC 2008.

    Enfin on peux toujours regretter l' absence de la catégorie "Customers"... parceque je voudrais bien savoir à qui exactement appartiens les 5 machines windows hpc 2008 ;) ;) ;) A Microsoft ?
    • [^] # Re: césar

      Posté par . Évalué à 10.

      "je voudrais bien savoir à qui exactement appartiens les 5 machines windows hpc 2008 ;) ;) ;) A Microsoft ?"

      Oui, y'en a 3 qui servent à agreger tous les rapports de bugs.
      Les 2 autres sont occupés à envoyer des auto-reply 'en effet, y'a un problème, on regarde ca et on vous envoie un patch dans un an'
    • [^] # Re: césar

      Posté par (page perso) . Évalué à 4.

      >>> Mais c' est bien les SuSe qui trustent la quasi totalité des places, et ce depuis belle lurette.

      Si on regarde ici http://www.top500.org/stats/list/33/os on voit qu'il n'est pas évident que ce soit SUSE qui truste toutes les places.
      On a quand même 387 machines identifiées seulement par un "Linux" anonyme.
      Cela peut être n'importe quoi...aussi bien c'est Ubuntu qui gagne !!!
      • [^] # Re: césar

        Posté par . Évalué à 8.

        ela peut être n'importe quoi...aussi bien c'est Ubuntu qui gagne !!!
        Donc Ubuntu c'est du grand n'importe quoi, CQFD.
      • [^] # Re: césar

        Posté par (page perso) . Évalué à 3.

        Suse a réussit a s'associer aux constructeurs pour vendre un tout. Mais pour en avoir, Suse est de la me... et je regrette vraiment de ne pas avoir de debian sur ces machines de calcul.
        • [^] # Re: césar

          Posté par (page perso) . Évalué à 2.

          tu te vois dépenser quelques millions de dollars pour un ordinateur sans avoir de support logiciel ?

          Et puis bien souvent sur ce genre de machine même si tu vois fedora ou suse il s'agit bien souvent d'une recompilation complète basé sur une distro.
          • [^] # Re: césar

            Posté par (page perso) . Évalué à 3.

            Et puis bien souvent sur ce genre de machine même si tu vois fedora ou suse il s'agit bien souvent d'une recompilation complète basé sur une distro.

            Ce qui ne garanti donc pas du tout le support logiciel, donc, tu peux prendre ce que tu veux pour mettre dessus.

            « Rappelez-vous toujours que si la Gestapo avait les moyens de vous faire parler, les politiciens ont, eux, les moyens de vous faire taire. » Coluche

          • [^] # Re: césar

            Posté par (page perso) . Évalué à 1.

            « tu te vois dépenser quelques millions de dollars pour un ordinateur sans avoir de support logiciel ? »

            Parce que RedHat fait la maintenance de Fedora sous le Manteau ? C'est pas vraiment ce que j'avais compris…
          • [^] # Re: césar

            Posté par (page perso) . Évalué à 3.

            Ma machine tourne sous Suse donc j'ai le support... Mais enfin, faut voir le support et faut voir ce qu'il y a dans la distrib ! J'ai du mettre des paquets venant d'ailleurs tellement elle est a poils !

            Effectivement, le constructeur rajoute ses paquets, bien crade d'ailleurs puisqu'il y a des logiciels RPM qui mettent des fichiers dans /usr/local et dans /opt ! Bref, je ne peux même pas partager /opt par NFS avec cette daube.

            Enfin, avec tous les réglages que fait le constructeur pour que ca marche et qui ne sont pas vraiment documenté, on ne sais pas vraiment s'il faut ou pas faire les mises a jour...

            Bref, je préfère 1000 mes debian sans support et qui sont bien mieux gérer.
    • [^] # Re: césar

      Posté par . Évalué à 2.

      Je voudrais bien savoir à qui exactement appartiens les 5 machines windows hpc 2008
      [http://www.top500.org/static/lists/2009/06/TOP500_200906.xls]
    • [^] # Re: césar

      Posté par . Évalué à 1.

      sur la mienne, facon de parler hein, les Suze sont utilisées sur les services nodes. Les computes nodes ont des CNL.
    • [^] # Re: césar

      Posté par (page perso) . Évalué à 3.

      « le pari de Microsoft d'utiliser auprès des entreprises le facteur "terrain connu" de Windows ne semble pas fonctionner »

      Ben justement c'est pas ça l'explication du fait que ça ne décolle pas ? ;-)
  • # Taux d'utilisation ?

    Posté par . Évalué à 4.

    C'est bien beau cette course à la plus grosse.

    Mais est-ce qu'il existe encore des universités qui achètent des clusters de 200 PC pour dire qu'ils ont de la puissance de calcul mais ne l'utilise quasiment pas ? (mais cela fait bien de dire avoir un cluster de calcul)

    J'imagine que les machines du top 500 sont bien occupé mais que les machines moins puissante, en tout cas en France, le soit un peu moins...

    "La première sécurité est la liberté"

    • [^] # Re: Taux d'utilisation ?

      Posté par . Évalué à 2.

      Concernant g5k en France, vu les temps dont tu as besoin pour obtenir des nœuds, je suppose que c'est aussi bien occupe...
      • [^] # Re: Taux d'utilisation ?

        Posté par (page perso) . Évalué à 1.

        Ah bon, sur quel cluster et quel jour ?
        • [^] # Re: Taux d'utilisation ?

          Posté par . Évalué à 2.

          Si mes souvenirs sont bons, car je suis aux US cette année, c'était sur le cluster de Nice ou un truc dans le coin car c'était (peut être que ça a changé) un des rares a permettre des images Kadeploy grâce auxquelles on faisait tourner des Xen.

          Peut être aussi que ma perception est biaisée car la ou je suis, pour obtenir 6000 nœuds j'ai besoin de moins de quelques minutes :)
          • [^] # Re: Taux d'utilisation ?

            Posté par (page perso) . Évalué à 1.

            > la ou je suis, pour obtenir 6000 nœuds j'ai besoin de moins de quelques minutes :)

            Ce qui prouve que les clusters sont plus utiliser en France qu'aux USA !
            • [^] # Re: Taux d'utilisation ?

              Posté par . Évalué à 1.

              Ce qui prouve surtout que j'ai accès a un gros cluster... Car sur g5k par exemple, su tu réserves 6000 nœuds tu as réservé toute la grille...
              • [^] # Re: Taux d'utilisation ?

                Posté par (page perso) . Évalué à 1.

                Alors cela veut dire que tu avais un mauvais "chef" en France ! Si tu fait un dossier correct, tu as des heures tant à l'IDRIS qu'au Cines...
                • [^] # Re: Taux d'utilisation ?

                  Posté par . Évalué à 1.

                  et toc !!
                • [^] # Re: Taux d'utilisation ?

                  Posté par . Évalué à 1.

                  Surement mais en France je travaillais sur des grilles. J'avais donc accès a g5k. Pas besoin des machines de l'IDRIS ou autre.

                  Aux USA, ils m'ont embauché pour travailler sur la prochaine génération de cluster. J'ai donc accès aux clusters.

                  Ce n'est pas plus compliqué que ça, mon chef, au demeurant très bon, n'a jamais eu besoin de faire un dossier pour des clusters vu que notre domaine était la grille :)
                  • [^] # Re: Taux d'utilisation ?

                    Posté par . Évalué à 0.

                    de toute façon, le grid c'est grillé comme concept !!

                    Bon d'accord c'était un troll un peu facile, mais il fallait bien réveiller tout le monde !!

                    C'est la chaleur ou quoi ?
          • [^] # Re: Taux d'utilisation ?

            Posté par (page perso) . Évalué à 1.

            Ah, mais ça a changé, maintenant on peut déployer du Xen sur plusieurs sites et d'ici quelques semaines sur l'ensemble de la grille. Et mettre les noeuds dans des vlans dynamiquement configurables. On travaille dur à améliorer l'outil ;)
            • [^] # Re: Taux d'utilisation ?

              Posté par . Évalué à 1.

              Super :)

              Je rentre en septembre, ça me tarde de voir ça.

              Et sinon, ssh est toujours inutilisable au profit de oarsh ? :(

              Laurent
              • [^] # Re: Taux d'utilisation ?

                Posté par (page perso) . Évalué à 1.

                De ce que j'en sais, il a toujours été possible d'utiliser SSH sans wrapper, on perd juste des fonctionnalités d'isolation pour le partage des machines (cpuset). C'est toujours très utilisé, notamment pour le déploiement de jobs avec certaines implémentations MPI qui dépendent fortement de SSH.

                C'est juste un type de job spécifique à paramétrer lors des réservations.
          • [^] # Re: Taux d'utilisation ?

            Posté par (page perso) . Évalué à 3.

            Grid'5000 évolue, et assez rapidement ;)

            Aujourd'hui, on peut déployer du Xen partout, et du KVM sur pas mal de clusters. On a même un environnement et une infrastructure en cours de déploiement pour faire ça avec des scripts de quelques lignes, sur toute la grille. Dans des horizons proches, ce sera même interfacé avec une API en web services REST, pour faire un truc qui ressemble à ce que certains appelent du «cloud computing».

            Il n'y a pas 6000 noeuds sur la plate-forme, il y en a environ 1500. Mais si j'en crois ton commentaire[1], si tu bosses sur une configuration de 18688 noeuds, je suppose que c'est une BG. On est d'accord pour dire que la définition de «noeud» dans la terminologie BG n'est pas comparable à celle de la terminologie cluster x86_64 ? ;) Donc non, on ne peut pas réserver 6000 noeud BG en quelques minutes sur g5k, mais on peut réserver plus de 1000 serveurs pour après demain et installer la distrib qu'on veut dessus, avec tous les droits root et un accès à des réseaux sympathiques.

            Pour être plus précis, il ne faut pas comparer grid'5000 à une grille informatique de calcul. On pourrait appeler ça un plateforme expérimentale distribuée, dédiée et reconfigurable, où l'une des formes possibles est une grille informatique de calcul ;) C'est pour cette raison que la plate-forme est notamment utilisée pour prototyper des codes de calcul de production.

            Pour finir, aujourd'hui en France et AFAIK en Europe, je ne connais pas d'instrument scientifique informatique de cette échelle qui soit aussi simplement accessible ; ie. on demande un compte, on peut réserver plusieurs centaines de noeuds le lendemain. Mais je m'avance peut-être.

            Voilà, c'était juste pour éclaircir les choses ;)

            [1] https://linuxfr.org/comments/1042761,1.html
            • [^] # Re: Taux d'utilisation ?

              Posté par . Évalué à 1.

              Raté, je ne bosse pas sur une BG mais sur Jaguar.

              Mais c'était une boutade, je ne compare pas Jaguar a g5k et j'ai toujours trouvé g5k vachement sympa comme outil !

              En tout cas je préfère, et de loin, travailler sur g5k que sur Jaguar...
              • [^] # Re: Taux d'utilisation ?

                Posté par (page perso) . Évalué à 1.

                Ah, le gros Jaguar de l'ORNL :) Il y a autant de noeuds que ça dans cette machine ?

                Si il y a des infos sur l'archi de la config ça m'intéresse :) Même si j'ai peur qu'avec Cray, il y ait beaucoup de bidules propriétaires autour des CPU AMD...
                • [^] # Re: Taux d'utilisation ?

                  Posté par . Évalué à 2.

                  Voici la doc publique ce de cluster:

                  The XT5 partition contains 18,688 compute nodes in addition to dedicated login/service nodes. Each compute node contains two quad-core AMD Opteron 2356 (Barcelona) processors running at 2.3 GHz, 16GB of DDR2-800 memory, and a SeaStar 2+ router. The resulting partition contains 149,504 processing cores, more than 300TB of memory, over 6 PB of disk space, and a peak performance of 1.38 petaflop/s (1.38 quadrillion floating point operations per second).

                  Bon ça tue quand même...

                  Cette machine et ses copines d'à cote consomment, si je me rappelle bien, 12.7 MW et 400 litres d'eau par seconde pour le refroidissement...

                  Concernant l'archi si ça t'intéresse j'essaierai de récupérer la doc publique et je te poserai des liens... Mais sinon tu trouves pas mal de chose ici: http://www.nccs.gov/computing-resources/jaguar/
                  • [^] # Re: Taux d'utilisation ?

                    Posté par (page perso) . Évalué à 2.

                    Plus de 12MW, ça commence à faire, en effet. AFAIK, ce sera probablement le triple des gros clusters petascales français prévus pour 2011, qui auront approximativement la même puissance de calcul théorique.

                    Pour la doc, ça pourrait m'intéresser, mais je voudrais être sûr de ne pas avoir d'ennui avec les gens du DoE... ;)

                    Et sinon, il y a des codes autre que le Linpack qui utilisent la config avec un pourcentage convenable de sa puissance théorique ?
                    • [^] # Re: Taux d'utilisation ?

                      Posté par . Évalué à 6.

                      En fait, la majorité de la doc est publique. Simplement elle est un peu éparpillée partout entre le site de l'ornl, de cray et du nccs.

                      Donc en gros l'archi est un XT4 couplé a un XT5 par Infiniband, ça donne en tout 181 000 cores et un peu plus de 362 To de RAM.

                      Du cote XT5, un nœud est composé de 2 quad core opteron a 2.3 montes en NUMA et du cote XT4 d'un seul quad core a 2.1.

                      Le tout est relié en tore 3d sur un reseau SeaStar2(+).

                      Il y a en gros 3 types de nœuds:
                      - login (Suse),
                      - IO (?, Suse je pense),
                      - compute node (CNL).

                      Concernant les calculs qui tournent, on peut réserver plus de 90 000 cores mais avec un wall time inférieur a 24h. Je ne sais pas si beaucoup de gens le font.

                      Généralement les applis qui tournent sur ce cluster (sauf les miennes :) ) sont des applis MPI donc qui passent facilement a l'échelle (en principe) et qui doivent donc pouvoir exploiter la totalité de la machine. Maintenant est-ce que ça exploite réellement tous les Mhz ? C'est dur a dire... Mais es-tu sur que Linpack les exploite ?

                      Il y a beaucoup de problème sur ces machines, en particulier des problèmes de bruit et de résonance. Des tests ont été fait sur un cluster avec 3000 nœuds quad cores (pas chez nous mais je ne me rappelle plus ou). Ben en fait tu t'aperçois que tu vas plus vite en tournant ton appli sur 3 cœurs que sur 4, juste a cause du bruit. Bon maintenant, CNL est censé être noiseless...
                      Donc dire que une appli exploite réellement la puissance de la machine, je ne pense pas.

                      Voila en gros ce que je peux dire...

                      Laurent
                      • [^] # Re: Taux d'utilisation ?

                        Posté par (page perso) . Évalué à 1.

                        Ca marche vraiment bien grid5000, ca restera un tres bon souvenir de l'INRIA pour moi.
                        J'adorais le fait de pouvoir deployer son propre OS sur plein de noeuds, tu etais
                        vraiment libre de faire ce que tu voulais des machines.
                    • [^] # Re: Taux d'utilisation ?

                      Posté par . Évalué à 1.

                      Effectivement, quand la première machine petaflopique française verra le jour, sa consommation ne sera propablement pas de 12 Mw. Les machines ont tendances naturellement à consommer moins pour une puissance accrue.
                      Notez que les machines consomment leur pic d'énergie quand elle calculent à leur pic CPU. L'utilisation de la mémoire joue aussi beaucoup. Donc, une application déployée sur la totalité de la machine, mais qui ne fait pas grand chose (et il y en a), ne poussera pas la consommation électrique à fond.
    • [^] # Re: Taux d'utilisation ?

      Posté par (page perso) . Évalué à 4.

      Il y a tout le temps des clusters non utilisés... ou alors utilisés de temps en temps par une équipe de recherche dans son coin. Et il y en aura toujours, car certains utilisateurs ne supportent pas l'idée du partage, et certaines expériences nécessitent du matériel dédié.

      Mais plusieurs projets de fédération existent, au niveau mondial (*lab...), européen (par exemple : http://www.eu-egee.org/ ) ou français (https://www.grid5000.fr) pour partager les ressources d'équipes entre des communautés d'utilisateurs.
      • [^] # Re: Taux d'utilisation ?

        Posté par . Évalué à 2.

        Il ne faut pas dire non utilisés. Les chercheurs ne peuvent pas être présent 24h/24, donc, la recherche suit le rythme des chercheurs. L'idée du manque de partage n'est pas complètement faux, certains labo sont jaloux de leurs ressources...
        La notion de grille n'est pas mauvaise en théorie, mais de la théorie à la pratique .... Pour le moment les grands centres comme le CINES, le ccrt ou l'idirs supportent seuls les gros codes.
        • [^] # Re: Taux d'utilisation ?

          Posté par (page perso) . Évalué à 2.

          Parfois, on n'utlises pas pendant l'été car les locaux ferme avec aucun accès possible... Donc on arrête les clusters par précaution. Parfois, c'est pas utilisé à 100% par manque d'informaticien capable d'expliquer comment s'en servir. Tu ne mets pas un thésard tout fait devant un cluster en lui disant demerde toi !

          Il y a aussi le problème d'accès aux données. Lorsque tu as plusieurs téra de données et que tu fait du calcul parallèle, je ne sais pas comment lancer ce calcul sur une machine distante en ayant les données chez moi et réciproquement... Du coup, on passe son temps (ses nuits) a transférer des giga de données sur le net. Il est donc pratique d'avoir son propre petit cluster sous la main.
          • [^] # Re: Taux d'utilisation ?

            Posté par . Évalué à 2.

            «Tu ne mets pas un thésard tout fait devant un cluster en lui disant demerde toi !»
            Moi qui pensais que ça servait à ça les thésards !!! J'ai encore rien compris à le recherche ;-)

            Pour l'accès aux données, en général, elle ne navigue pas en permanence, elle sont soit dans la machine de calcul, soit dans une machine de post traitement (genre visu). Mais il ne fat pas (et bien souvent on ne peut pas) transférer les données (surtout quand comme tu dis cela représente plusieurs giga voire tera octets).
            • [^] # Re: Taux d'utilisation ?

              Posté par (page perso) . Évalué à 3.

              Justement, on a de plus en plus besoin de faire du post-traitement de données 3D et la problèmatique de ou sont les données posent alors un soucis. Il y a des solutions comme VirtualGL qui arrivent petit à petit mais c'est pas encore ca.
          • [^] # Re: Taux d'utilisation ?

            Posté par (page perso) . Évalué à 4.

            En effet, les infrastructures mutualisées, ça mutualise le matériel mais ça mutualise surtout les ingénieurs et les infrastructures. C'est en général largement sous-estimé pour ceux qui achètent des clusters dans leur coin, en pensant principalement à leur petit égo. Malheureusement, il faut pas mal de savoir faire pour maîtriser tout ça, et l'expérience d'une équipe qui tourne depuis plusieurs années est très précieuse pour garantir un certain niveau d'utilisabilité.

            J'en connais un certains nombre de clusters qui ont été acheté en oubliant la clim, les installations électriques, et les gens compétents pour faire tourner tout ça. À la fin, ça fait du pognon gaspillé dans du matériel qui sert pas à grand chose.

            Pour le problème du transfert des données, il est tout relatif en France. On a la chance d'avoir Renater, et c'est pas vraiment difficile de trouver une connexion réseau inter-labos qui carbure à 1Gb/s. Et dans ce cas là, c'est rarement le réseau le bottleneck.

            Pour l'excuse des clusters non utilisés la nuit et pendant les vacances faute de chercheurs qui travaillent en permanence, c'est notamment pour cette raison qu'on utilise des batchs schedulers. Et il y en a qui seraient ravis de pouvoir utiliser toutes ces ressources machines en balançant des trucs automatiquement dessus quand personne ne s'en sert.
            • [^] # Re: Taux d'utilisation ?

              Posté par (page perso) . Évalué à 2.

              Même avec un réseau gigabit, lorsqu'il faut rapatrier plusieurs téra, on arrive au limite de la connexion Renater...

              Sinon, je n'ai pas parlé des clusters non utilisés la nuit. Dans ce cas la, les schedulers règles la question et marchent globalement bien. En pratique, je parlais des vacances d'été. Lorsque l'université t'impose plusieurs semaines de vacances l'été avec interdiction de rentrer dans des locaux fermé à clefs (et dont tu n'as pas la clef), il n'est alors pas raisonable de faire tourner tous ces kilowatt/heure sans controle humain.

              Le point faible des salles serveurs autour de moi sont les clim... Je ne suis pas super inquiet pour les machines elles-même, ce sont les baies de stockage disques qui m'inquière en cas de monter de la température sur plusieurs jours !
              • [^] # Re: Taux d'utilisation ?

                Posté par . Évalué à 2.

                Il faut le faire à la OVH, en mettant chaque baie dans un frigo indépendant :)

                "La première sécurité est la liberté"

  • # Super ... calculateurs

    Posté par (page perso) . Évalué à 1.

    Je suis entrain de lire l'article et vos commentaires, j'en parle à mes collègues en même temps, et il faut qu'il y en ait un qui me demande comment ça se fait qu'il existe un classement des 500 plus grands magouilleurs (j'en ai pleuré de rire tiens)

    bien, je ---»[] :D

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.