Je voudrais mettre en place un cluster global sur mon réseau local histoire d'utiliser au mieux toutes les ressources de mes différents ordi s. Ceci afin d'essayer de voir s'il y a une différence au niveau rapidité d'exécution d'une appli bien lourde ou pas.
J'ai entendu parler d'OpenMosix de Linux Virtual Server et de Beowulf.
Je voudrais donc savoir si des gens ici les ont déjà testés ou s'il y a d'autres alternatives, ce que ca vaut....bref votre expérience à ce sujet si vous en avez une me serait grandement utile ;)
Journal Clustering avec Linux
6
mar.
2003
# Re: Clustering avec Linux
Posté par Anonyme . Évalué à 4.
[^] # Re: Clustering avec Linux
Posté par Slaanesh . Évalué à 2.
[^] # Re: Clustering avec Linux
Posté par free2.org . Évalué à 7.
[^] # Re: Clustering avec Linux
Posté par Slaanesh . Évalué à 1.
sinon niveau vitesse réseau tu conseillerais quelle vitesse ?
[^] # Re: Clustering avec Linux
Posté par Slaanesh . Évalué à 1.
[^] # Re: Clustering avec Linux
Posté par free2.org . Évalué à 1.
[^] # Re: Clustering avec Linux
Posté par Stephane Marchesin (site web personnel) . Évalué à 2.
Il y avait les problèmes suivants :
- un processus migre en entier (avec toutes ses pages mémoire) ou rien du tout.
- 10 Mbps, c'est effectivement pas beaucoup, je suis passé en 100 c'etait largement mieux (tes machines ralentissent de manière conséquente pendant la migration d'un processus, autant que ca soit court).
- les processus qui font beaucoup d'I/O, ou qui ont ouvert un périph local (ca inclut de l'opengl accéléré, par exemple) ne peuvent pas être déportés
- les processus utilisant les threads ne peuvent pas migrer non plus. Donc on perd beaucoup de la transparence (puisque la plupart des progs paralleles sont faits avec des threads pour le smp)
- il faut compiler un noyau avec smp, même sur des machines mono processeur
- ca oblige à avoir une version bien précise du noyau
- c'est en utilisant mosix que j'ai planté linux, jamais autrement (pricipalement si la machine fait du X en même temps).
- si une machine du cluster tombe, les autres machines qui avaient des processus migrés sur cette machine ne pourront plus s'éteindre (ça bloque au moment où il envoie kill à tous les processus).
- en utilisation "normale" du pc, le seul processus qui migrait était xfs. Les autres rien du tout.
Dans les bont côtés
- c'est vrai que c'est sympa de voir migrer les processus sans se fatiguer: si tu as écrit un programme en mpi et que tu veux pas t'embêter à coder la répartition de charge, tu en lances en gros 2* le nombre de cpu et tu les laisse se répartir ;)
- c'est sympa aussi de pouvoir ajouter/enlever dynamiquement des machines au cluster
- on peut controler la migration de processus à la main
- il y a le "mfs", mosix file system, qui permet de voir les fs des autres machines, sans faire de nfs ;)
- enfin c'est pratique pour frimer avec mtop genre "j'ai plein de cpu" ;)
Maintenant, tout ca ne s'applique peut-être plus à openmosix, mais je sais que la plupart des inconvénients sont toujours là.
A la fin, je m'en servais plus que pour compiler du code (mais maintenant avec distcc j'ai laissé tomber !).
[^] # Re: Clustering avec Linux
Posté par Vivi (site web personnel) . Évalué à 1.
meuh non
[^] # Re: Clustering avec Linux
Posté par Fabien . Évalué à 1.
tu y trouveras pas mal d'infos
# Re: Clustering avec Linux
Posté par Nicolas Boulay (site web personnel) . Évalué à 1.
Sinon, on m'a parlé "d'openPPS" mais impossible de trouver son site web qui est un répartiteur de charge. Cela serait plus efficace que mosix lorsqu'il y a beaucoup d'IO.
Mais il faut voir que OpenMosix a beaucoup évolué par rapport à Mosix, il me semble qu'il propose maintenant un nouveau système de fichier pour améliorer les IO.
"La première sécurité est la liberté"
[^] # Re: Clustering avec Linux
Posté par jiceb . Évalué à 1.
Les commandes sont envoyées via un script, ou une console interactive sur une file avec des propriétés (durée de temps de calcul max, nbre/type de cpu disponible, memoire dispo, ...) correspondantes à celles demandées. Le processus est alors envoyé sur une machine du cluster qui dipose de ces propriétés ou mis en attente si il n'y a pas de machine prete.
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.