Forum Linux.général cherche solution clustering (réél hein... donc pas de conneries spécifiques)

Posté par .
Tags : aucun
0
20
avr.
2012

salut,

Je cherche une solution de clustering réel, donc de calcul, pour faire quelques essais, et bidouiller…

C'est à dire du vrai cluster de puissance, équivalant donc à ce que fut OpenMosix en son temps donc n'importe quelle application threadée se voyait ses threads dispersés dans la ferme pour profiter de toute la puissance disponible sans avoir à écrire des applications spécialisées…

J'arrive pas à en retrouver…
Je trouve des merdes façon fake-cluster où il faut ecrire chaque application spécifiquement et seules celles là bénéficient du cluster… les autres tournent en local.

Merci …
Si vous avez un lien, ou un document… ou mieux de la connaissance sur le sujet…

  • # Grid engine

    Posté par . Évalué à 0.

    Tu peux regarder du coté de Open Grid Scheduler : http://gridscheduler.sourceforge.net/

    Ça marche pas mal chez nous. Nous n'utilisons pas de mémoire partagée, et nos jobs sont scalaires. J'imagine avec MPI, ça devrait fonctionner - si tant est que ton appli le supporte, évidemment.

    Aurel.

    • [^] # Re: Grid engine

      Posté par (page perso) . Évalué à -3.

      Le monsieur cherche du VRAI cluster, pas de la merde !

      Le problème, c'est qu'aujourd'hui, tout cluster qui se respecte tourne sur de la merde…

      A mon avis, il faut qu'il revoit sa stratégie de développement car je ne vois pas le retour des cluster SSI avant longtemps ! Si monsieur a de l'argent, la seule solution performante que je connaisse est la machine UltraViolet de SGI. Mais j'avais cet argent, je porterais plutôt mes codes sous MPI !

      http://www.sgi.com/products/servers/uv/

  • # Kerrighed ?

    Posté par (page perso) . Évalué à 2.

    peut être Kerrighed

    • [^] # Re: Kerrighed ?

      Posté par (page perso) . Évalué à 2.

      La dernière demo que j'ai vu, leur cluster a planté en moins de 15min… Depuis, le site a l'air complètement mort. Je ne sais pas ou en est le projet.

  • # et merde....

    Posté par . Évalué à 0.

    le probleme c'est que
    OpenSSI
    OpenMosix
    Kerrigeg
    LinuxPMI
    etc… sont tous morts….
    seuls exitent encore des faux-cluster ou seul l'application spécialement écrite pour etre prise en charge est gérée tout le reste tournant en local… je voulais précisément l'inverse, moins optimisé de façon unitaire mais 10000* mieux (_façon de parle bien sur
    _) en général car toute application threadée était gérées…

    Ducoup j'ai remonté un vieux ClusterKnoppix, avec OpenMosix mais c'est super vieux et ducoup je peux jouer avec mais que sur des vieilles versions de gimp/blender/jeux/office/etc…etc…

    j'ai resorti 3 vieux PIII 600, 1 carte réseau pour le cluster 1Gb/s, une pour le réseau normal et hop là forcement ça marche je vois bien les process naviguer/s'echanger entre les noeuds même avec des applis "standard"…
    Seulement j'aurai voulu faire de même avec des versions recentes…. dommage…

    Dommage, encore une fois une technologie disparait parce qu'elle devient gratuite, et surtout facile a metre en oeuvre meme pour le grand public resultat tous ces messieurs decideurs de merde abandonnent cette technologie en pretextant "c'est gratuit c'est facile en plus, donc c'est de la merde on en veut plus"….

    Il en a été de même avec les SMP, terminé on fait 8 coeurs plustot que 4*2 coeurs alors que c'est bien mieux puisque les caches ne sont pas partagés mais dédiés… idem pour les bus d'I/O….

    Plus ça va plus on fait en sorte de ralentir les ordis…. et après on fait semblant d'améliorer le truc avec des technologies plus rapide sur les disques dur, la frequence et la quantité de ram…. mais au final le ressentit utilisateur des performances ne fait que baisser lui !!!!

    Je crois que je vais revenir aux bons vieux serveurs hardware……ah bha non ça aussi ca disparait …. Alpha fini, Sparc fini, T2 en fin de vie, RS/6000 a plus, power y'a plus de time line sur l'avenir, HPPA et HP9000 plus d'evolution annoncé…

    ah y'a le ARM qui a le vent en poupe ? à oui mais non… le ARM depasse pas encore le Ghz….sur ordi…. le CELL …. ha non impossible, il est abandonné aussi…

    L'époque ou on vivait l'évolution de l'informatique par vagues régulières est bel et bien définitivement perdue… c'est fini… l'evolution positive (_donc assez visible pour s'en rendre compte en tant que ressenti par l'utilisateur), est fini….Il n'y a plus que régression …. et ça me fait chier… Dans 50 si on continue dans cette voie on vit tous dans des grottes, vivant que de chasse de peche et de cueuillette…. heureusement la fin du monde arrive en decembre… pour regler le problème… d'ailleurs c'est peut etre un signe de plus ce ralentissement voir cette regretion technique….
    _

    • [^] # Re: et merde....

      Posté par . Évalué à 3.

      regarde les modifs qui sont fait sur ta knoppix, c'est un derivé de debian
      puis regarde si tu ne peux pas mettre ces modifs sur debian.

      bon evidemment si les modifs pour le cluster se joue dans l'ordonnanceur du noyau, ca va pas etre simple…

    • [^] # Re: et merde....

      Posté par . Évalué à 3.

      As-tu essayé XtreemOS ?

    • [^] # Re: et merde....

      Posté par (page perso) . Évalué à 3.

      Aucune technologie SSI logicielle n'a réussi à suivre le développement du noyau et l'intégrer…

      Par ailleurs, on voit que dans le même noyau, le checkpointing avance lentement… Il faut dire qu'arrêter un processus pour le relancer plus tard dans le même état est bien plus complexe qu'il n'en a l'air…

      En parallèle, avec les technique de grille et de virtualisation, l'idée est à terme de lancer non pas un programme mais une machine toute entière.

      Bref, le SSI qui marche pour le moment est matériel comme je l'ai déjà dis plus haut. Mais il est cher et au final, il s'est fait complètement dépassé sur les grosses puissances par les clusters tout bête.

  • # et en vrai

    Posté par . Évalué à 3.

    quel est le cas d'usage ?

    si c'est pour lancer une application classique, tu vas choisir un membre du cluster pour l'exécuter en remote. Vu la puissance des machines actuelles, tu aura mieux fait de l'exécuter en local.

    si c'est pour lancer une application nécessitant vraiment du HPC, ce n'est pas déconnant qu'elle est dû être un peu adaptée pour tirer partie d'une solution de clustering particulière.

    bref, quel est le cas d'usage ?

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.