Journal Un ordinateur sous Linux à 500 000 $

Posté par  . Licence CC By‑SA.
11
10
mai
2013

Cray, la société spécialisée dans la conception de supercomputers, apporte sur le marché une nouvelle gamme de machines, toutes équipée du système d'exploitation Linux.
Cray
Nom de code : XC30-AC

Cette jolie machine a une puisse de calcul de 20 à 176 teraflops (en fonction de la gamme, qui va de 500 000 $ à 3 000 000 $).
Basée sur la technologie Intel Xeon 5400.

Bien que dédiée aux DataCenters, cette machine pourrait bien être utile à faire fonctionner des jeux 3D en provenance de Steam ou Desura, tout en laissant tourner Firefox et LibreOffice en arrière-plan.

C'est un peu cher, mais la liberté n'a pas de prix non ? Et en plus c'est vendu avec Linux, pas besoin d'un formulaire pour demander un remboursement d'une licence Windows…

  • # wow

    Posté par  (site web personnel) . Évalué à 9.

    C'est fort impressionnant, quelle distribution Linux a les reins assez solides pour faire tourner une telle machine de course ?

    • [^] # Re: wow

      Posté par  (site web personnel) . Évalué à 3.

      L'article du lien indique "SUSE-based Cray Linux Environment also used in Titan"

      wind0w$ suxX, GNU/Linux roxX!

      • [^] # Re: wow

        Posté par  (site web personnel) . Évalué à 10.

        Même pas besoin d’aller voir le lien, il suffit de regarder l’auteur du journal. :-)

        • [^] # Re: wow

          Posté par  . Évalué à -1.

          J'avais lu 500 euros… Je me dis chouette.

    • [^] # Re: wow

      Posté par  . Évalué à 8.

      N'importe quelle distrib Linux supporte ce genre de grosse machine.

      La machine est décomposé en sockets (=carte mère) qui contiennent des GPU et/ou CPU. Chaque socket fait tourner un Linux, les différents Linux coopère entre eux grâce à un job scheduler. Le job scheduler décide quel logiciel tourne à quel endroit.

      Donc si votre distrib est capable de faire tourner un job scheduler (comme Slurm, qui est libre), vous pouvez l'utiliser sur votre machine. Slurm (souvent appelé slurm-llnl) est dans les dépôts de Debian, Ubuntu, RedHat, Suse, Archlinux…

      • [^] # Re: wow

        Posté par  . Évalué à 10.

        Ce que tu décris est une grappe (cluster).
        Cette grosse babasse n'est donc pas un ordinateur mais une « grappe » ?

        Dans ce cas je vois sur le lien donné que rack de 128 processeurs coûte 500.000 $.
        Ce qui fait 64 cartes-mères bi-processeur pour 7800 $ chaque (coût de la mémoire inconnu).
        Même en comptant le stockage de 30 To et la connexion rapide entre les cartes-mères, ça fait un poil cher.

        Soit tu te trompes.
        Soit les acheteurs sont idiots.
        Soit quelque chose m'échappe.
        Les trois hypothèses sont cumulables.

        • [^] # Re: wow

          Posté par  (site web personnel) . Évalué à 1.

          Ce n'est peut être pas la même qualité de processeur, ni de carte mère.
          Même si il y a des ressemblances entre un PC Frakass de chez aile dé aile cé à 200 €.
          Ce genre de bécane est faite pour durer et donc il vaut mieux mettre des composants de qualité (ou vérifié ou garantie …)

          • [^] # Re: wow

            Posté par  . Évalué à 4.

            Comparons ce qui est comparable : des gammes serveurs d'entreprise.

            En admettant que les CPU soient de E5-2680, ce qui se fait de plus gros chez Intel en HPC, dans un serveur IBM, tu en mets deux et 128GB de RAM pour environ 6000€. Soit 384'000€ pour arriver à la plus petite conf de Cray qui est en gros à 420'000€.

            Donc si c'est pas plus qu'une simple grappe, ça n'est pas intéressant.

            • [^] # Re: wow

              Posté par  . Évalué à 2.

              Soit 384'000€ pour arriver à la plus petite conf de Cray

              Et même moins car si on achète 64 machines, le prix sera moins élevé.

              • [^] # Re: wow

                Posté par  . Évalué à 3.

                En fait j'ai pris une grosse ristourne sur le prix public qui est plutôt autour de 10'000€ pièce. Mais en effet, en volume, les constructeurs baissent assez vite les prix.

                • [^] # Re: wow

                  Posté par  (site web personnel) . Évalué à 2. Dernière modification le 13 mai 2013 à 11:12.

                  Le prix public ne veut rien dire chez certain constructeurs, j'ai vu des ristourne de plus de 50% sur du matos.
                  ET ce n'est pas qu'un question de volume, c'est plus une question de client …
                  Il suffit qu'un constructeur veuille rentrer sur un gros compte historiquement fourni par un concurrent.

                  Mais bon la on dérape vers les abîmes innommables du plus noir du coté obscur
                  très très loin de la logique et du bon sens propre à la technique
                  => le monde du commerce

        • [^] # Re: wow

          Posté par  . Évalué à 10.

          L'interconnexion coûte plus cher que tu l'imagine (c'est un des points les plus importants de se genre de système, tu peux toujours essayer de refaire ça chez toi, c'est ce point là qui posera problème), et puis, il y a le refroidissement qui ne peut pas se faire comme sur un bête PC.

          « Rappelez-vous toujours que si la Gestapo avait les moyens de vous faire parler, les politiciens ont, eux, les moyens de vous faire taire. » Coluche

          • [^] # Re: wow

            Posté par  . Évalué à 3.

            L'interconnexion coûte plus cher que tu l'imagine

            Probablement. L'interconnexion, c'est quoi matériellement et logiciellement ?
            Je pensais à du Infiniband, accédé via des sockets avec une pile IP simplifiée.

            Pour le refroidissement, c'est plus ou moins le même coût que pour une (grosse) salle de serveurs. Dans le cas présent le système est probablement quasi tout fait. Il ne reste plus qu'à mettre une bonne grosse clim, les chemins d'airs sont déjà faits.

            • [^] # Re: wow

              Posté par  . Évalué à 5.

              L'interconnexion, c'est quoi matériellement et logiciellement ?
              (chez SGI (interconnexion NUMAlink), chez Cray ça doit ressembler)

              Matériellement, c'est :
              * des câbles particuliers (beaucoup de brins parallèles dans les versions anciennes, par exemple 200 lignes parallèles sur les vieux HP AlphaServer, le câble lui-même coûtant plus de 10k€) ou type infiniband dans les versions récentes)
              * un chip d'interconnexion sur les cartes mères, relié au CPU par un lien hypertransport (ou équivalent)
              * une topologie d'interconnexion particulière (toutes les cartes mères ne sont pas reliées à toutes les autres… facteur NUMA différent suivant l'éloignement du nœud distant)

              Logiciellement :
              * le chip est vu par le CPU comme un contrôleur mémoire supplémentaire, qui adresse la mémoire non locale (les accès locaux se font par le contrôleur mémoire classique du CPU) de manière transparente (donc chaque CPU voit toute la mémoire)
              * le chip gère l'accès aux pages mémoires situées sur les autres cartes mères (éventuellement en relayant à un autre chip sur le chemin vers le nœud distant)
              * il dispose d'accélérateurs MPI (par exemple, certaines opérations de réduction sont aidées par le matériel : il est capable de calculer certaines opérations arithmétiques et logiques, ce qui permet de laisser le CPU bosser à d'autres tâches)
              * enfin tous les accès distants se font par taille de ligne de cache (et le chip gère la cohérence de cache ! sinon ce ne serait pas du vrai SMP).

            • [^] # Re: wow

              Posté par  . Évalué à 3.

              Probablement. L'interconnexion, c'est quoi matériellement et logiciellement ?

              C'est une bonne question, un commentaire donne une piste mais c'est tout. On sait que ce n'est pas du Infiniband.

              Pour le refroidissement, c'est plus ou moins le même coût que pour une (grosse) salle de serveurs.

              C'est plus dans le style serveur blade que rack de serveur. Donc il y a des coût de R&D plus important pour que ça marche correctement.

              « Rappelez-vous toujours que si la Gestapo avait les moyens de vous faire parler, les politiciens ont, eux, les moyens de vous faire taire. » Coluche

      • [^] # Re: wow

        Posté par  . Évalué à 4.

        Non, je me rappelle avoir lu il y a quelques années des articles comme quoi les fabricants de supercalculateurs (Cray, SGI) avaient travaillé sur le noyau pour qu'il puisse supporter des milliers de CPU sans perte de performance de l’ordonnanceur. Je me rappelle le chiffre de 4096 mais je ne retrouve plus la source. Comme gimf, j'ai trouve ça mais ça a peut être encore progressé.

      • [^] # Re: wow

        Posté par  . Évalué à 5.

        Visiblement pas : "No matter how many nodes you have you can actually treat it as if it's a shared memory machine, every node can talk to every other node, directly into the memory of that compute node"
        C'est visiblement du shared memory (NUMA), pas du cluster. Un seul noyau tourne sur l'ensemble de la machine.

        • [^] # Re: wow

          Posté par  (site web personnel) . Évalué à 0.

          Je ne suis pas d'accord.

          Ce n'est pas parce que tu peux écrire directement dans la mémoire d'une autre machine que c'est le même noyau. Il y a le Firewire qui permet ça (mais je ne pense pas que ça soit le protocole utilisé ;)), et d'autres protocoles réseau, genre Myrinet et Infiniband.

          • [^] # Re: wow

            Posté par  . Évalué à 3.

            Tu penses peut-être à des solutions type ScaleMP. Dans ce cas, l'écriture distante est gérée par le noyau, pas par le matériel (qui n'est jamais qu'une sorte de carte réseau finalement). C'est intermédiaire entre une machine cluster et une machine SMP/NUMA.

  • # Liberté ?

    Posté par  . Évalué à -2.

    C'est un peu cher, mais la liberté n'a pas de prix non ?

    Titan uses a mix of AMD Opteron and Nvidia processors for a total of 560,640 cores, and uses Cray's proprietary Gemini interconnect.

    Pas si libre que ça, dommage.

    • [^] # Re: Liberté ?

      Posté par  . Évalué à 4.

      "Gemini interconnect", ce n'est pas du software

      • [^] # Re: Liberté ?

        Posté par  . Évalué à 0.

        Autant pour moi.

        Je me doutais que le hard n'était pas libre, mais je pensais que Gemini désignait la partie soft.

      • [^] # Re: Liberté ?

        Posté par  . Évalué à 0.

        Juste pour chipoter : ce genre de cartes ont un firmware… qui pourrait être libre.

        Et pour remplacer le GPU Nvidia (qui utilise surement un driver proprio (CUDA…)), ils pourraient utiliser les MIC d'Intel avec OpenCL.

  • # Moué...

    Posté par  . Évalué à 2.

    En même temps, 93% des PC du top500 tourne sous Linux, et ces machines coutent bien plus que 500k€.

    Bien que dédiée aux DataCenters, cette machine pourrait bien être utile à faire fonctionner des jeux 3D en provenance de Steam ou Desura, tout en laissant tourner Firefox et libreOffice en arrière-plan.

    Impossible, comme expliqué plus haut, ces machines ne font pas tourner un seul Linux mais plusieurs. Il faut donc que ces applications soient conçus pour utiliser plusieurs machines en parallèle, en utilisant MPI par exemple.

    De plus les "carte graphiques", ne sont pas comme celle du commerce. Elles sont dédiées au calcul, elles ne savent exécuter que du CUDA ou de l'OpenCl.

    • [^] # Re: Moué...

      Posté par  . Évalué à 10.

      Donc en gros, t'es en train de nous dire que même une machine à 500 000 € n'est pas capable de faire tourner des jeux 3D sous Linux en faisant du Firefox et libreOffice ? Qu'on vienne pas me dire que les dev libres savent préserver les ressources après ça !

      Hop, je pars trèèèèès loins -->[]

    • [^] # Re: Moué...

      Posté par  (site web personnel) . Évalué à 2.

      De plus les "carte graphiques", ne sont pas comme celle du commerce. Elles sont dédiées au calcul, elles ne savent exécuter que du CUDA ou de l'OpenCl.

      C'est faux. D'abord, ce sont des cartes graphiques du commerce - de la gamme professionnelle et non grand public.
      Ensuite, les cartes professionnelles y compris celles dédiées exclusivement au calcul (nVidia Tesla) savent faire l'accélération OpenGL dans l'écrasante majorité des cas (et sans perte de performances).
      Le marketing et la réalité diffèrent…

  • # Un ordinateur sous Linux à 500 000 $

    Posté par  (site web personnel) . Évalué à 10.

    Enfin on va nous prendre au sérieux.

  • # Radin ?

    Posté par  . Évalué à 6.

    500 000 $ pour la machine et même pas les moyens d'y mettre du vrai logiciel professionnel ?
    Être obligé de se rabattre sur du logiciel libre gratuit… quelle pitié…

  • # La station ISS sous Debian, ça me parle plus :)

    Posté par  . Évalué à 0.

    Vers l'infini et au delà!
    Décidement, le choix des noms de personnages de Toy Story a été somme toute visionnaire!

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.