Top-500 (385 !) pour un super cluster sous Linux

Posté par . Modéré par Yann Hirou.
Tags :
0
5
oct.
2001
Linux
Un article très intéressant de CNET nous apprend comment HP et une équipe de l'INRIA ont mis au point un super-ordinateur s'inscrivant au Top-500 des machines les plus puissantes du monde, en l'occurence à la place 385 ! Constitué uniquement à partir de PCs de bureau (HP e-PC à base de PIII 733) qui n'ont même pas été ouverts, le i-Cluster - c'est son petit - nom a aussi la particularité de tourner sous Linux-Mandrake 7.0, ce qui est quand même à souligner et prouve la capacité de notre distro nationale à dépasser sa réputation de système Linux pour débutants ! Le projet complet a couté dans les 1,5 MF ce qui est assez faible pour un cluster de classe Top-500. Il est également dit dans cet article que le choix de Mandrake 7.0 a permis des modifs bas-niveau qui n'auraient pas été possible avec un OS Microsoft sans un accord spécial. Article complet à lire absolument !

Aller plus loin

  • # mdk

    Posté par . Évalué à 9.

    comme quoi la mdk est une distro stable et sure .. comme beaucoup d autres distro (debian, etc.)
    • [^] # Re: mdk

      Posté par . Évalué à -10.

      A mon avis c'est surtout que l'inria a ainsi pu s'equiper d'un nouveau supercalculateur a moindres frais (certainement offert par HP/Mandrake, pour la publicité de leur services).
      Ca ne refuse jamais de la capacité de calcul :)
    • [^] # Re: mdk

      Posté par . Évalué à 10.

      Ouais c'est clair que ça risque de choquer certaine personne. Une mdk pour ce genre d'appli ....

      Un jour peut-étre que ces gens ( les trolleurs de base qui apprecie defequer sur une distro ... ) comprendront que à la base, ben ... c'est du linux.

      Du linux packagé d'une certaine façon ou d'une autre ça reste du linux !!!

      DavS qui utilise une debian mais qui en a un peu marre de la gueguerre entre utilisateurs fanatique de distro.
    • [^] # Re: mdk

      Posté par . Évalué à -9.

      Halte au pipotage : la stabilité se mesure dans le temps, je dis pas que Mandrake c'est nul mais ce n'est pas parce qu'une fois on a réussit à l'installer sur un système complexe mais jetable que c'est stable.
      Faudra voir ce qu'ils en passe si après quelques dizaines d'upgrade de softs sur les 200 machines.
      • [^] # Re: mdk

        Posté par . Évalué à 7.

        Si le cluster est bien fait, il n'y a pas 200 machines d'installées. Il y en a une, et les autres démarrent via bootp ou un truc du genre.

        De toutes façons, il n'y a pas d'intérêt d'avoir 200 machines installées. Si c'est la puissance de calcul que tu veux, le boot via bootp et un montage root via NFS est très bien.
        • [^] # Re: mdk

          Posté par . Évalué à 5.

          Pour le I-cluster au fait du clonage, ca prend 12 minute pour 225 machines. Un montage root NFS n'est pas super conseillé dans un cluster ca provoque des super HopSpot sur le serveur.
        • [^] # Re: mdk

          Posté par . Évalué à 7.

          Houla non, surtout pas de root en nfs !

          Il ne faut pas oublier que dans un cluster, où l'on effectue des calculs en les répartissants sur différentes machines, il y a un grand besoin de communication.

          Exemple simple: imaginons que l'on désire effectuer une multiplication de matrices. Bien souvent, ce ne sont pas des matrices 4*4 qui sont utilisées... alors on réparti des bouts de chaque matrice sur chaque noeud. Ensuite chaque noeud calcul un bout de la matrice résultat. Eh bien il va falloir faire transiter des données pour avoir les bonnes lignes et les bonnes colonnes sur la bonne machine.

          C'est ce qu'on appelle le "message passing". Beaucoup on dû entendre parler de pvm utilisé avec povray (pvmpov) pour calculer des rendus sur plusieurs machines. Eh bien c'est en réalité une bibliothèque qui permet de faire du message passing. Les deux plus connues sont pvm ( http://www.epm.ornl.gov/pvm/pvm_home.html(...) ) et mpi ( http://www-unix.mcs.anl.gov/mpi/(...) ).

          Tout ça pour dire qu'en réalité la ressource "réseau" est extrêmement importante dans un CoW, et que c'est pour cela qu'en général les technologies utilisées ne sont pas "banales" (myrinet & co.)
  • # Même /. en parle

    Posté par . Évalué à 3.

    Allez voir les réactions là bas..
    Forcément avec "Mandrake" le troll accourt à grands pas.
  • # Lien vers la liste top500

    Posté par . Évalué à 10.

    http://www.top500.org/list/2001/06/(...)

    Voilà. Il est là, en 385ème position. Juste devant un autre cluster Linux il me semble.
    • [^] # Re: Lien vers la liste top500

      Posté par (page perso) . Évalué à 1.

      On y voit en 386eme position, un cluster de machine IBM Netfinity basé sur 160 PIII 833MHz
      Le delta de puissance de compense pas le nombre.
      AMHA, C'est dommage... Il aurai du optimiser leur cluster !
      • [^] # Re: Lien vers la liste top500

        Posté par . Évalué à 2.

        optimiser les calculs avec des bibliothèques de calcul aux petits oignons, je peut te garantir que ca a été fait (sans compter les routines de calcul en assembleur filées par intel) !!!
        Après faut surtout voir le reseau qui est derrière. (gigabit ethernet dans ce cas)
  • # La 7.0.

    Posté par . Évalué à 10.

    Il faut dire que toute guerre inter-distrib mise à part, la 7.0 a été particulièrement bien réalisée.

    Je m'en suis déjà servi au travail pour monter un firewall-passerelle qui me servait aussi de poste de travail et de console VNC pour administrer des Win2000. Sur quelle machine ? P233 32Mega de RAM !

    J'avais en outre le temps de relancer deux fois Linux, le temps que NT4 soit utilisable sur la même machine mais avec 128M.

    J'étais déjà plus décu par la 7.1, et depuis les 8.x, les 64 megas de ma machine perso ne suffisent plus (PII/350).


    Je n'encense pas une distribution plus qu'une autre, mais je pense que quiquonque veut faire des démonstrations de Linux aux néophytes devrait avoir un CD de la Mandrake "7.0" à coté de Debian, et éventuellement de Suse, puisque je sais que beaucoup de personnes affectionnent cette dernière :-) C'est la plus adaptée à la catégorie de machine autour du PII, je trouve.

    Amitiés
    • [^] # Re: La 7.0.

      Posté par . Évalué à -6.

      13:17 Salut tout l'monde ! j'ai un p'tit soucis : j'ai installé MDK 8
      pour tester, et puis j'ai voulu jouer avec le MDK control center...
      et pis j'ai modifier la souris... et elle marche plus.. help!
      13:25 suite 13:17 --> J'ai bien essayé d'annuler la modif en utilisant le
      Control Center avec le clavier, mais c'est tellement graphique
      qu'on peut même pas utiliser le clavier >:-(
      • [^] # Re: La 7.0.

        Posté par . Évalué à -3.

        hello,
        j'ai un collegue qui avait le mm problem avec sa souris USB,
        on a essayer de configurer tt au clavier mais y'a en effet qq bugs.
        pareil en utilisant harddrake en console, ca coince a un moment.
        Il lui a suffit de redemmarer sans la souris (comme ca kudzu a detecte quand y'en avait plus,puis rebooter avec et kudzu l'a detecte a nouveau, donc il a pu la configurer. Ok c'est bourrin mais quand on connait pas la syntaxe exacte de XF86Config...
        bon encore du -1 car ca n'a rien a foutre la....
      • [^] # Re: La 7.0.

        Posté par (page perso) . Évalué à -1.

        Passe à une console virtuelle, log toi en root, lance mousedrake, et oublie le control center.
    • [^] # Re: La 7.0.

      Posté par . Évalué à 6.

      je suis plutot d'accord avec tout ca, et je me pose aussi des questions.

      j'ai une suse 7.0 qui tourne pas mal, une redhat 6.2 alpha Firewall, et apres avoir teste avec succes des mdk 7.x, je teste la mdk 8.0 et suse 7.1 et l'une comme l'autre sont un peu lente et produisent des choses bizarre. Du genre voila l'etat de la mem apres avoir ferme X (y'a pas enorme de services qui tournent) sur ma becane (k6II 350 + 256 M RAM):

      total used free shared buffers cached
      Mem: 255800 233416 22384 0 96456 62916
      -/+ b/c: 74044 181756
      Swap: 257032 12 257020

      alors c la faute a quoi ces 233 M de RAM used !!!
      la machine est a environ 30 M utilise apres boot.
      j'ai le mm pb si je lance juste E comme gestionnaire de fenetre, que je bricole un peu et que je repasse en console uniquement.

      du coup les copains qui veulent essayer, je leur file des rh 6.2, mdk 7.0 et suse 7.0 (je n'ai pas encore eu le temps de plonger dans debian)

      si d'autres personnes rencontrent ces pbs, j'suis interesse.
      bon j'ai toujours pas tout compris dans les scores et les points and co., mais je crois qu'il faut mettre -1 quand on fait du hors sujet, alors va pour -1 mais je tenais quand mm a partager mes interrogations sur mes pbs de memoire.

      a+
      Gino
      • [^] # Re: La 7.0.

        Posté par . Évalué à 6.

        Il faut pester contre le noyau 2.4 qui est une merde à ce niveau ( gestion VM ). La distribution n'est pas en cause.

        http://kt.zork.net/kernel-traffic/back-issues.html(...)
      • [^] # Re: La 7.0.

        Posté par . Évalué à 4.

        Il me semble qu'en fait il n'y a pas de probleme...
        Si tu regardes la taille du buffer et du cache, tu consommes presque 155Mo avec. Si tu rajoutes la memoire libre, tu trouves 177Mo. En fait la memoire "cache" et "buffer" sont utilisees pour accelerer les I/O, un peu comme la memoire cache du processeur et la memoire vive.Ces memoires sont allouees et desallouees par le noyau. Si tu lances une application qui bouffe de la memoire, il va commencer par desallouer ces zones memoires pour les rallouer a ton appli.

        Ca ralenti legerement le systeme de temps en temps.
    • [^] # Re: La 7.0.

      Posté par . Évalué à 4.

      C'est vrai que la 7.0 est bien. C'est avec ca que j'ai demarre sous Linux il y a plus de 2 ans, et tout tournait bien sous mon PII 400 avec 64 Mo de RAM. Et puis la distrib a evolue, et j'ai installe la 7.2, la 8.0 et la 8.1 (sr laquelle je tourne en ce moment). J'ai essaye la Suse 7.0, 7.1, la RedHat 7.1 et Debian 2.2r0 et r3.
      Et bien apres tous ces tests, je constate que la Mandrake a enfle comme pas possible. Le fait que des qu'on parle de Mandrake ca trolle a fond provient de ca : a chaque release, la Mandrake grossit. Avec la 8.0, mon PC etait un 486 compare a ce que ca donnait sous Win98. Avec la 8.1 ca va mieux, mais je ne retrouve pas la rapidite de la 7.0. En plus, je ne peux pas acheter de RAM parce que j'ai un PC Dell et que 64 Mo coutent 800 balles !!! Je me suis dit que la Debian me sauverait la vie, mais comment upgrader vers Woody avec un modem RTC ?
      Enfin bon, tout ca pour dire que la Mandrake est (etait ?) de bonne qualite mais avec sa politique de "je me tourne vers les anciens utilisateurs de Windows", et bien elle ne devient utilisable que sur du matos (trop ?) recent. Et ca me saoule.
      De toutes facons, des que j'aurai l'ADSL, ca sera Debian et point barre.
      • [^] # Re: La 7.0.

        Posté par . Évalué à 8.

        Analysons ce qui a changé entre la 7.1 et la 8.x :

        + on est passé au 2.4 qui a une VM de merde et qui swappe à tout bout de champ => la distro n'est pas en cause. Tu installes kernel2.2 et tu oublies les scripts qui utilisent iptables et des fois la DRI ( vive nvidia ).
        http://kt.zork.net/kernel-traffic/back-issues.html(...)

        + kde 1.x -> 2.x : et oui, KDE est aussi devenu plus lourd avec les nombreuses features ajoutées et l'emploi massif de Kparts et Cie.
        tu peux optimiser le chargement avec objrelink sinon ensuite ...
        Peut être que KDE 3.x sera plus léger si ils continuent à vouloir optimiser car cela devient chiant.

        + peut être plus de services lancés. Pour un :
        chkconfig --del service
        ou
        drakxservices

        et le problème est réglé.

        + gnome 1.1 -> 1.4 : lui aussi est devenu plus lourd notamment avec cette merde de gconf et cie. Quand a Nautilus n'en parlons pas.

        + plus de polices, notamment si on ajoute celle de windows avec drakfont. Même si XFree 4 à amélioré la gestion du cache cela reste cependant problématique. Il faut alors modifier le fichier à la main pour enlever certaines entrées qui ne servent à rien mais qu'il scan quand même. Ces entrées étant ajoutées pour que si tu installes un soft qui utilise ces propres polices, qui plus est un soft commercial tu n'ai pas à te plonger dans XftConfig.

        + XFree 3.x -> XFree 4.x : semble lourd que XFree 3.x même si il est meiux en perf pure ( OpenGL, DRI, Render, XVideo, etc ... ). Tu peux toujours lui dire de remettre XFree 3x mais tu perdras niveau fonctionnalités.
        XFdrake --expert

        + Netscape 4.x -> Mozilla
        Rien à dire, Mozilla est beacoup plus lourd et galeon a quelques fuites de mémoire. Netscape 4.x reste disponible.

        Donc ce n'est pas vraiment la distribution qui est plus lourde. ce sont surtout les applications qui le sont devenues du fait des ajouts de nouvelles features. le problèmes des services lancés par défaut est un faux probleme vu qu'il suffit de les arréter et que do this is a piece of cake !
        • [^] # Re: La 7.0.

          Posté par . Évalué à 3.

          Ca me rassure de voir que je suis pas le seul a affronter ce genre de pbs.
          j'avais entendu que le 2.4 et la vm ca faisait deux mais je suis pas encore assez hacker pour faire le parallele avec mes 233 Mo de RAM used alors qu'il n'y a plus rien qui tourne. Au bout de combien de temps le noyau afficherait a nouveau un truc comme 34 Mo used ? sur ma RH alpha 6.2 (32 Mo de RAm) c'est vrai "qu'au repos" j'suis autour de 30 Mo used et que j'explose en lancant X mais une fois X arrete, je retombe rapidement autour de 30 Mo.
          comme je disais aussi,le probleme est aussi vrai sans passer par Kde ou Gnome, en lancant juste E.

          tu dis aussi de rester en 2.2, mdk 8.0 le permet ??? ou faut revenir a mdk 7.x

          a+
          Gino

          ps : bon d'accord la jolie signature que je voulais utiliser est un peu longue, mais n'est-ce pas un bug quelle soit coupee (pas de limite lors de la saisie)??
          la voila au complet : " Il y a quatre cents milliards d'étoiles là-haut, uniquement dans notre galaxie.
          Si seulement une sur un million était une planète,
          et enfin si seulement une sur un million avait la vie,
          et si une sur un million avait une vie intelligente,
          ca signifie qu'il y aurait des millions de civilisations dans le ciel.
          Et si ce n'était pas le cas ? ...
          ce serait un beau gâchis d'espace... "
          • [^] # Re: La 7.0.

            Posté par . Évalué à 0.

            [root@bastard X11]# urpmf --summary kernel
            libax25:summary:Libraries for Amateur AX25 (kernel >= 2.2)
            emu10k1-tools:summary:The emu-tools work with the emu10k1 driver include in the kernel.
            kernel-mosix:summary:The Linux kernel with the MOSIX patch (process migration).
            knetfilter:summary:KNetFilter - A GUI for configuring the 2.4 kernel IP Tables
            perf:summary:Perf - report kernel statistics visually
            tux:summary:User-space component of TUX kernel-based threaded HTTP server
            modutils:summary:The kernel daemon (kerneld) and kernel module utilities.
            kernel:summary:The Linux kernel (the core of the Linux operating system).
            kernel-enterprise:summary:The Linux Kernel compiled with options for Enterprise server usage.
            kernel-linus2.4:summary:The Linux kernel (the core of the Linux operating system).
            kernel-smp:summary:The Linux Kernel compiled for SMP machines.
            sysklogd:summary:System logging and kernel message trapping daemons.
            kernel-headers:summary:Header files for the Linux kernel.
            kernel22:summary:The Linux kernel (the core of the Linux operating system).
            iptables:summary:Tools for managing Linux kernel packet filtering capabilities
            acpid:summary:ACPI kernel daemon and control utility
            adjtimex:summary:A utility for adjusting kernel time variables
            kernel-doc:summary:Various documentation bits found in the kernel source.
            kernel-linus2.2:summary:The Linux kernel without patch (the real core of the Linux operating system).
            kernel-pcmcia-cs:summary:The daemon and device drivers for using PCMCIA adapters.
            kernel-source:summary:The source code for the Linux kernel.
            kernel22-secure:summary:The Linux Kernel compiled for SMP machines.
            kernel22-smp:summary:The Linux Kernel compiled for SMP machines.
            kernel22-source:summary:The source code for the Linux kernel.
            ksymoops:summary:Tool for decoding Ooops from the kernel
            xsysinfo:summary:An X Window System kernel parameter monitoring tool

            Comme tu peux le voir les packages sont là. Il suffit de les installer et booter dessus après azvoir modifié lilo/grub -> http://perso.wanadoo.fr/linux_wizard/howto_migration.html(...)

            Bien sûr il faut éviter d'avoir des partoches en xfs/jfs ( non supporté dans le 2.2 ) voire reiserfs.
        • [^] # Re: La 7.0.

          Posté par . Évalué à 0.

          C'est vrai que la lourdeur de KDE2.0 a fait mal à mon PC je trouve que ca va mieux avec la 2.2.1 (dans Mdk 8.1).

          On peut encore augmenter les perf de KDE avec objprelink, et le patch low latency si on veut.

          Il y a un gars de Suse qui bosse sur la diminution de l'occupation mémoire de KDE: un problème lié au linker pour le C++.

          Pour le coup du cache, il me semble que XFree4.x ne lisait plus la liste des répertoire que au démmarage? Donc à part au boot, les entrées en trop ne devraient pas trop géner..
          Même si c'est vrai que ce n'est pas très propre..

          Je n'ai jamais compris pourquoi Mandrake était censé être plus lourd que Debian ?
          Mandrake est compilé pour 586 par défaut..
          Debian c'est pour 386 il me semble, non ?

          A part que Mandrake a tendance a être un poil généreux dans la liste des services lancés par défaut (ce qui prend environ 30s a corriger comme tu disais), à mon avis c'est plutot une réputation injustifiée.

          Quand j'aurait la place disque suffisante, je ferait la comparaison..

          reno
        • [^] # Re: La 7.0.

          Posté par . Évalué à 1.

          -Pour le kernel 2.4.x :
          c'est vrai que ca rame a fond pour mon swap et je sais que le probleme vient de ce kernel
          -Pour KDE :
          je n'utilise pas KDE parce que justement c'est trop demandant en ressources
          -Pour les services :
          j'ai deja resolu le probleme, j'ai mis le minimum de services
          -Pour Gnome et Nautilus :
          Je suis tout a fait d'accord
          -Les polices :
          c'est vrai, j'ai trop de polices mais j'en ai besoin pour bosser avec Gimp !
          -XFree :
          Mon XFree marche tres bien, et je ne pouvais pas mettre 1152 X je sais plus quoi avec le 3.3.6
          -Les browsers :
          ca va, Galeon marche bien et puis les polices sous Netscape sont pas belles

          Tout ca pour dire que j'ai resolu la plupart de mes problemes et que pourtant mon Linux est toujours assez lent... Je ne critique pas la Mandrake : une fois configure, c'est vraiment genial, mais je n'aime pas leur politique de surequipement (le kernel fait 1 Mo sur la 8.1!!!)

          Enfin bon, merci pour ta reponse.
  • # ca va troller chérie ...

    Posté par . Évalué à -4.

    1.5 MF ... punaise c'est pas cher ! ca fait 6600 francs le PC ... pas cher vu la config et la marque !
    bon cicie dit on voit tout de même que MDK n'est effectivement pas que pour le newbie ... mais bon ils ont pas mis la dernière version non plus. Je comprend pas trop le choix (à moins que ceux-ci aient été fait il y a déja longtemps).
    • [^] # Commentaire supprimé

      Posté par . Évalué à 2.

      Ce commentaire a été supprimé par l'équipe de modération.

      • [^] # Re: ca va troller chérie ...

        Posté par . Évalué à 1.

        :)))))

        A un detail pres:
        apres verification, c'est des mandrakes 7.1 !!! pas 7.0

        PS: les machines ont été installées il y a deja quelques temps et à l'époque c'était 7.1.
    • [^] # Re: ca va troller chérie ...

      Posté par . Évalué à 4.

      ouais mais attention, c est hors taxe et la config e-pc est vendu sans ecran ...
      • [^] # Re: ca va troller chérie ...

        Posté par (page perso) . Évalué à 1.

        et la config e-pc est vendu sans ecran

        Les écrans ne leur auraient pas servi à grand chose, par contre ont-ils demandé à ne pas avoir de carte son ou bien prevoient-t'ils de composer un morceau pour 900 enceintes et 225 caissons de basse ?

        bon ca vaut pas plus que -1...
        • [^] # Re: ca va troller chérie ...

          Posté par . Évalué à 1.

          avec 225 lecteurs de CDrom qu'on peut ouvrir automatiquement, il est prevu de faire faire une << ola >> aux machines.
          Le seul probleme est qu'on ne peut pas les refermer automatiquement...

          PS: y a bien 225 cartes sons integrées aux CM.
          Pour ces machines, on ne demande pas que ce dont on a besoin... ca coute plus cher a enlever qu'a garder.
  • # English

    Posté par (page perso) . Évalué à -4.

    Ils sont chiants les américains, ils sont incapables d'écrire des mots français ?
    Je trouve ça débile d'écrire : "INRIA (France's National Institute for Research in Computer Science)"
    • [^] # Y'a pire

      Posté par . Évalué à -5.

      Dans la news, c'est écrit INIRIA
    • [^] # Re: English

      Posté par . Évalué à -1.

      ... et l'automatique ?
  • # ^_^

    Posté par . Évalué à -1.

    Encore dans le classement l'université de Lille (485ieme). Je connais un prof d'architecture qui va pas se gener pour nous en parler (peut etre qu'il pourra nous la montrer durant un TP...)


    k`
    -1
  • # Cluster CGG

    Posté par . Évalué à 8.

    Juste pour info le cluster installé il y a quelque mois par Adequat de 512 machines pour la Compagnie Generale de Geophysique .. va etre doublé et va donc passer a 1024 machines bi-pro .. nous passerons les test du top 500 dès la fin de l'install ..
    Je pense que le classement au top 500 ne sera pas mal du tout :)

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.