L'une des principales caractéristiques de OSCAR est d'offrir un mécanisme de paquets (paquets OSCAR) qui étend la notion de gestion de paquets traditionnelle (par exemple la gestion de paquets RPM ou DEB) au niveau de la grappe, afin de faciliter l'installation et la maintenance des clusters.
Cela permet d'administrer simplement un cluster, sans avoir à gérer l'ensemble des détails techniques. De plus, OSCAR est fondé sur une architecture modulaire permettant une extension simple. Par exemple, SSS-OSCAR, SSI-OSCAR et HA-OSCAR utilisent OSCAR comme "outil de base" afin de fournir des fonctionnalités telles que respectivement un système de gestion des clusters de grande taille, un système à image unique et des mécanismes de haute disponibilité.
OSCAR a pour objectif d'être multi-distributions et multi-architectures. Les distributions actuellement supportées sont Fedora Core, Red Hat Entreprise Linux, CentOS, Scientific Linux, Suse et Mandriva (un portage sous Debian est en cours). Les architectures supportées sont x86 et x86_64. Le site du projet détaille les couples Linux distributions/architectures supportées.
Pour finir, OSCAR permet entre autre d'installer automatiquement MPI (Open MPI, MPICH ou LAM), SGE, Torque, ganglia, etc.
Aller plus loin
- OSCAR (72 clics)
- SSI-OSCAR (17 clics)
- HA-OSCAR (10 clics)
- SSS-OSCAR (12 clics)
- OSCARonDebian (15 clics)
- Liste des changements (7 clics)
# SSI-OSCAR
Posté par netchaiev . Évalué à 2.
[^] # Re: SSI-OSCAR
Posté par Sytoka Modon (site web personnel) . Évalué à 2.
http://www.kerrighed.org/
Il est clair que le site ne changent pas. On ne peux pas dire dire que cela communique beaucoup... Bref, ca a l'air d'être un projet fermé, c'est à dire n'ayant pas de communauté autour de lui qui développerait toute l'année.
Vu les annonces pasées, j'ai toujours eu l'impression que ce projet marchait à coup de stagiaires. En effet, les sorties étaient plus ou moins faites en juin - juillet, au moment de la fin des stages.
Malheureusement, je ne suis pas sur qu'un projet d'une telle ampleur puisse seulement se faire à l'aide de stagiaire INRIA.
Peut être que j'ai tout faux, dans ce cas là, tant mieux. C'est juste une impression.
[^] # Re: SSI-OSCAR
Posté par Sytoka Modon (site web personnel) . Évalué à 2.
http://openmosix.sourceforge.net/
J'ai l'impression que le passage aux noyaux 2.6 à été très difficile voir fatale pour ces projets.
Le seul qui semble actif est le projet OpenSSI
http://openssi.org/
qui fait des annonces régulières.
PS : la 'com', c'est aussi important pour un projet communautaire ;-)
[^] # Re: SSI-OSCAR
Posté par Renaud Lottiaux . Évalué à 6.
Les principaux développeurs du projet viennent de créer une entreprise, spin-off de l'Inria, dont l'objectif est de faire de Kerrighed un véritable produit de qualité industrielle, tout en gardant le code en open source.
D'autre part, un projet Européen de grande ampleur vient de démarrer (XtreemOS). Celui-ci utilise Kerrighed comme base pour certaines parties de son infrastructure.
Le portage en 2.6 n'est pas le point qui a réellement posé problème. L'année 2006 a été passée à faire un très gros travail de refactoring pour rationaliser le code, le rendre plus cohérent afin de poser les bases des futurs développements. C'est cette partie qui a demandé beaucoup de temps. Des versions devraient sortir beaucoup plus fréquemment durant l'année à venir.
Nous posterons bientôt (début janvier) une news ici même pour annoncer la sortie de la prochaine version et donner plus d'informations autour de ce projet.
[^] # Re: SSI-OSCAR
Posté par Sytoka Modon (site web personnel) . Évalué à 3.
J'avoue que j'étais déçu par le peu de nouvelles. Idem pour OpenMOSIX même si je vois régulièrement Moshe Bar autour de XEN (et pour cause).
D'ailleurs pour rebondir sur ce dernier point, je me dis, en complet candide, qu'il doit y avoir par mal de points (lignes de code) communs entre un projet comme Xen et un projet comme OpenMOSIX (ou Kerrighed). Je pense notament au déplacement d'une machine virtuelle d'un ordinateur à un autre automatiquement en fonction de la charge.
La virtualisation et les clusters de type SMP (SSI - Single System Image) auraient-ils plus de points communs qu'on ne pourrait le penser au premier abord ?
[^] # Re: SSI-OSCAR
Posté par gvallee . Évalué à 2.
Autre difference Xen gere la memoire a la granularite d'une machine virtuelle, pas d'un processus, ce sont donc des choses differentes (et au final plus simple a mon sens dans le cas d'une machine virtuelle).
Bref, d'apres moi le seul point commun est que les deux codes sont des codes "noyau" et necessitent donc le meme genre de competences.
Apres cela, je pense que beaucoup de gens font du Xen ou Xen-like parce que c'est a la mode et qu'il y a de l'argent a recuperer facilement; chose plus difficile a faire actuellement avec un SSI.
[^] # Re: SSI-OSCAR
Posté par RedIsDead . Évalué à 1.
openMosix 2.6 est en développement actif :
4 releases ce mois ci en pre-alpha, nouveau wiki, bientôt nouveau maintaineur, et 122 mails rien que ce mois ci, juste sur la ML dev.
openSSI en revanche, hélas, ... est actif pour ... IA64 seulement :( (parceque sponsorisé par HP qui veux vendre son proc et on les comprends...) mais n'offre aucain support pour, par exemple, AMD64 (enfin, si y a une semaine ils ont "peut-être" commencé le portage ... mais rien n'est vraiement confirmé de ce côté là ...
Sinon, openMosix 2.6 devrait arriver en alpha fin novembre mi decembre (a voire selon les corrections de bugs), et on espere beta (on espere j'ai dit!) fin de l'année...
Voila
Source: le développeur principal d'openMosix (il était un peu ennervé).
[^] # Re: SSI-OSCAR
Posté par Sytoka Modon (site web personnel) . Évalué à 3.
Bref, s'il faut aller sur la ML pour savoir si le projet est actif, c'est pas bien bon. La page principale du site web est là pour rappeller les choses essentielles. Dans un développement communautaire, l'état du projet est essentiel.
Donc, oui, je vais voir plus loin que cela et oui, j'ai fait exprès pour remuer les choses ;-)
Ensuite, désolé d'avoir enervé une personne. Tu lui transmet toutes mes escuses.
[^] # Re: SSI-OSCAR
Posté par goutnet1 . Évalué à 2.
Le site est un peu vieux certes et mériterait un coup de jeune, (je vais en discuter cette semaine avec la personne concernée), mais en général, la santé d'un projet OSS se mesure à sa ML et rarement à sa homepage.
Donc comme je le disais a RedIsDead (et qui me l'a gentiement tapé), openMosix n'est pas mort loin de là. Je vous engages d'ailleurs a tester la dernière pre-alpha et a remonter des bugs (je pourrais les corriger comme ça ;) )
le wiki :
http://howto.x-tend.be/openMosixWiki/index.php/OpenMosix2.6
PS: Accessible en 3 clics depuis la homepage (mais certes c'est un peu fouillis)
[^] # Re: SSI-OSCAR
Posté par gvallee . Évalué à 1.
[^] # Re: SSI-OSCAR
Posté par ZeroHeure . Évalué à 2.
"La liberté est à l'homme ce que les ailes sont à l'oiseau" Jean-Pierre Rosnay
[^] # Re: SSI-OSCAR
Posté par Anonyme . Évalué à 4.
ftp://ftp.inria.fr/INRIA/publication/publi-pdf/RR/RR-5399.pd(...)
[^] # Re: SSI-OSCAR
Posté par ZeroHeure . Évalué à 1.
un autre lien ?
"La liberté est à l'homme ce que les ailes sont à l'oiseau" Jean-Pierre Rosnay
[^] # Re: SSI-OSCAR
Posté par gvallee . Évalué à 3.
- SSI : "Single System Image" ou encore "Systeme a Image Unique", l'idee generale (vraiment generale!)etant de creer l'illusion qu'un cluster est une machine multi-processeurs
- SSS : "Scalable System Software", cette fois l'idee generale de ce projet est de se concentrer sur l'aspect grande taille de certains systemes (comment soumettre des applications sur des milliers de machines, comme administrer le systeme, etc.)
- HA : "High Availability" ou encore "haute disponibilite", l'idee generaleest dans ce cas de tolerer les fautes materielles et logicielles pour en limiter l'impact sur l'execution des applications. C'est particulierement important pour les systemes de grande taille ou des defaillances ont lieu tous les jours.
Voila j'espere que cela te sera utile. :-)
[^] # Re: SSI-OSCAR
Posté par ZeroHeure . Évalué à 1.
Par contre je ne comprends pas bien SSS. En restant dans les aproximations, sur SSI c'est le sytème qui tourne sur un multi proc, tandis qu'en SSS, c'est l'appilcations qui s'exécute en parallèle sur plusieurs ordinateurs ?
"La liberté est à l'homme ce que les ailes sont à l'oiseau" Jean-Pierre Rosnay
[^] # Re: SSI-OSCAR
Posté par gvallee . Évalué à 2.
SSS en revanche, qui n'est pas un acronyme "officiel", vise plutot a analyser et etre les fonctionnalites classiques d'un cluster, non SSI, : comment gerer sur un tres grand nombre de noeuds des applications paralleles (type MPI), un systeme de gestion de taches, etc.
[^] # Re: SSI-OSCAR
Posté par goutnet1 . Évalué à 1.
par exemple, il n'est plus nécessaire de migrer un processus sur son noeud initial pour le forker ... en 2.6 (bon ok, c'est encore un peu buggé mais on y travaille).
Les informations mentionnées sont pour la 2.4
# Projet IGGI
Posté par guibo (site web personnel) . Évalué à 3.
ce projet est basé sur une distribution Mandriva, et inclu de nombreuses fonctionnalitées qu'OSCAR ne posséde pas:
- auto-configuration via un seul script (serveur et nodes)
- monitoring via ganglia et wulfstat
- possibilité de benchmark via povray-mpich et blender
- 2 modes de duplication parrallele de nodes
- nombreux outils d'administration (taktuk2, gexec, tentakel...)
- installation en parrallele de RPM via urpmi en mode parrallele
- module BLCR pour checkpoint restart pour les applications LAM
- facilité de mise en plcae de GFS + gnbd + clvm
- ordonanceur OAR (MAUI distribué dans OSCAR n'est plus sous licence GPL)
- doc complete (plus de 120 pages)
ce projet à terme (fin janvier 2007) sera disponible ne 32 et 64bits.
pour plus d'information sur IGGI, ou télécharger l'ISO et ses composants:
http://iggi.mandriva.com/
[^] # Re: Projet IGGI
Posté par gvallee . Évalué à 2.
- auto-configuration via un seul script (serveur et nodes) : il est possible avec la version actuellement en developpement d'ecrire des fichiers de configuration decrivant la grappe et ensuite d'utiliser le ligne de commande pour que tout soit fait automatiquement.
- monitoring via ganglia : OSCAR fournit Ganglia par defaut
- possibilité de benchmark : pour le moment on se refuse d'inclure des benchmarks car on doit faire face a la question classique de savoir comment fournir un bench optimise pour la plate-forme (question non triviale), vu que la majorite des benchmarks HPC actuels necessitent une optimisation des parametres.
- 2 modes de duplication parrallele de nodes : OSCAR dispose de rsync classique, multicast et egalement bittorent.
- installation en parrallele de RPM via urpmi en mode parrallele : OSCAR propose C3 et le support de yum, il est donc egalement tout a fait possible de mettre a jour des RPMs en parallele (il sera egalement possible de faire la meme chose avec C3 et apt pour la version Debian).
- module BLCR pour checkpoint restart pour les applications LAM : disponible via HA-OSCAR (tolerance aux fautes, les puristes du HPC ne veulent pas encore, malheureusement de mecanismes de checkpoint/restart directement inclus dans OSCAR).
- ordonanceur OAR (MAUI distribué dans OSCAR n'est plus sous licence GPL) : la derniere fois que j'ai teste OAR, c'etait tres loin de compiler sur toutes les distribs et cela manquait un peu de stabilite (c'etait il y a longtemps). OSCAR fournit egalement SGE.
- doc complete (plus de 120 pages) : on propose la doc utilisateur et developpeur (si tu veux compter le nombre de pages, je pense qu'il y en a aussi facilement 120), je ne vois pas ce que tu reproches a OSCAR sur ce plan.
- OSCAR supporte _deja_ le 32 et 64 bits (mais le support IA64 a ete mis un peu de cote pour OSCAR 5.0).
Bref, tu denigres un peu OSCAR mais ce que tu affirmes est loin d'etre vrai. Je n'ai absolument rien contre IGGI (et presente de reels avantages), il y a de la place pour tout le monde, mais s'il te plait n'affirme pas des choses fausses sur un projets que visiblement tu ne connais pas bien.
Amicalement,
[^] # Re: Projet IGGI
Posté par gvallee . Évalué à 1.
[^] # Re: Projet IGGI
Posté par guibo (site web personnel) . Évalué à 0.
L'auto-configuration par défaut dans IGGI permet de zéro, en 1heure d'installer N nodes opérationnels pour tous les services d'administration cluster (copie ou command en parrallele), installation de package, job dans le scheduler, MPI/LAM, monitoring (Ganglia,Gantt monika, wulfstat), configuration service nécessaire au cluster (dhcp, pxe, dns, ssh, nisdomain, autofs).
- mode duplication parrallele : rsync classique, multicast et egalement bittorent
le rsync n'est pas un mode de duplication parralle.
Le multicast je ne connais pas la solution.
Bittorent n'est pas un méthode de duplication parrallele.
Quand je parle de duplication parrallele cela définit un mode de duplication qui est indépendant du nombre de nodes, qui parrallelise la copie (via un arbre de diffusion) pour installer le systeme sur tous les nodes.
- possibilité de benchmark ...
je suis d'accod avec toi. IGGI fournit une solution qui permet simplement d'établir soi-même quelques valeurs de référence.
- installation parrallel de package: C3
je ne connais pas C3, il s'agit d'une méthode de push de données en parrallel sur des nodes ? c'est intégré à yum pour optimiser la copie des packages ?
urpmi parrallel (via ka-run) permet d'installer des RPMS sur des nodes en parrallele, et donc installer des packages sur un node, prends le même temps que de l'installer sur N nodes. Il utilise ka-tools, qui permet des performances réseaux exceptionnels (copie de 560mo sur 3 nodes en moins d'une minute)
- doc OSCAR
A mon sens une documentation cluster doit fournir un pas à pas qui défini quels types d'objectifs l'on vise, par quels moyens les obtenir, et présenter les fichiers de configuration nécessaires pour arriver à ses objectifs. Il n'y a pas d'exemple type d'utilisation des outils d'administration, pas de configuration type détaille pour les différents service configuré par OSCAR (PXE par exemple)....
- 32 et 64 bits
Dans le processus de création de IGGI, la plate-forme de devel est 32bits, et les packages sont buildés sur les 2 arch. L'ISO finale n'est qu'un build d'une ISO 64bits, tous les RPMS et l'installeur de la Mandriva build en 64bits. Obtenir une ISO 64bits n'est pas plus compliqué que d'obtenir une release 32bits.
je n'essaie pas de dénigrer OSCAR, je suis son dévellopement depuis un certains nombres d'années, et je ne vois pas de nouvelles technologies intégrées par rapport à la version initiale. Je connais les difficultés de créer un produit multi-plateforme, multi-distribution, et je reconnais que OSCAR posséde un support multi-distribution multi-arch non négligeable.
Je ne pense pas affirmer de chose fausse. Je fais un constat.
IGGI est un ensemble, et non pas un bundle de package qui permet de transformer une distribution en un produit cluster. Cela représente un avantage non négligeable pour permettre une meilleure intégration des technologies cluster, comme le clonage en parrallele de node directement intégré comme méthode d'installation dans la distribution, et un outil d'administration de RPM déja pret à fonctionner en mode parrallele.
[^] # Re: Projet IGGI
Posté par gvallee . Évalué à 1.
- abstraction des paquets binaires qui permettent de supporter par exemple simplement les RPMs et les Deb.
- modularisation de l'architecture pour simplifier les projets tiers tels que SSI-OSCAR.
Ensuite peut-etre que vis-a-vis de tes besoins, OSCAR n'a pas evolue, mais quels sont-ils?
Permets moi egalement d'apporter quelques precisions supplementaires:
- pour ce qui est de la doc, encore une fois je pense que tu ne connais pas assez bien le projet : OSCAR, de part son design (c'est clair lorsque l'on utilise la GUI), permet la definition du cluster etape par etape et chaque etape est documentee. Par contre, il est vrai que si l'on cherche a sortir de cette installation par defaut, ce n'est pas simple. Donc si tu voulais dire souplesse et adaptation au niveau de l'architecture du cluster, oui OSCAR est tres limite.
- pour l'autoconfiguration, desole mais je ne vois rien sur ce point que OSCAR ne permet pas de faire.
Mais encore une fois, je ne cherche pas a prouver que OSCAR est meilleur. Mais certaines choses que tu as affirme etaient incorrectes (32-64 bits, doc par exemple), je me devais de reagir. Ensuite comme je l'ai dis, et comme tu le dis toi-meme, chaque projet a ses points forts. D'ailleurs il y a quelque temps, j'avais commence a regarder comment integrer kadeploy dans OSCAR (ce qui n'a rien d'une idee stupide vu le design de OSCAR), j'avais discute avec les developpeurs du projet, etc. Malheureusement, cela n'a pas pu aboutir par manque de temps de ma part.
D'ailleurs une partie non negligeable des developpeurs de OSCAR sont des chercheurs, OSCAR etant un simple outil que l'on utilise pour effectuer/diffuser nos projets de recherche. On est donc ouvert a toutes propositions/discussions (ce que j'avais fais a un certain moment en discutant avec les Grenoblois de OAR et Kadeploy); tu es le bienvenu pour soumettre tes idees et commentaires.
Plutot que de faire des "constats" sur un site comme celui-ci on devrait peut-etre plutot essayer de discuter ensemble, avoir des briques de base communes qui nous permettrait de federer les efforts et d'avancer plus vite sur les points qui seraient plus novateurs. On a commence a faire cela avec l'equipe de Kerrighed (bon d'accord ce cas est fausse je suis un ancien de l'equipe Kerrighed) et cela a ete tres benefique pour les deux projets, je pense. Peut-etre est-il temps de faire la meme chose entre OSCAR et IGGI (vraie question ouverte)?
[^] # Re: Projet IGGI
Posté par guibo (site web personnel) . Évalué à 2.
Je ne cherche pas non plus à prouver que IGGI est meilleure, je suis surpris que des tools qui existent depuis longtemps (le outils KA par ex) ne soit pas dans OSCAR. Ils existent depuis longtemps, les SRPM existent, Dolly et dolly+ existent aussi depuis très longtemps.
La méthode d'installation KA-deploy a été intégré dans la Mandriva depuis la release 8.2. Elle a continué à etre porté dans la distribution jusqu'a la 2006.0
(aujourdh(ui IGGI). Meme si GI (l'installeur graphique) de Mandriva n'est pas au gout de tout le monde, pas simple à mettre en place (nécessite pour etre buildé d'avoir une distribution Mandriva d'installé), il est assez simple de créer un ENV de build MDV, et d'utiliser son stage1 (vmlinuz + all.rd qui contient toutes les methodes d'installation plus tous les modules réseaux et storage) sur une autre distribution comme une Fedora pour dupliquer ce node en mode parrallele.
En fait IGGI est basé sur CLIC, qui a déja 4 ans; Les solutions apportés par CLIC étaient déja intéressantes, et n'ont pas été reprise dans OSCAR, ce qui m'a surpris. Les projets tel qu'anciennement CLIC et maintenant IGGI sont des projets de recherche, d'expérimentation, qui n'ont pas lieu d'etre utilisé sur des plateforme de production. Le But et de tester des technologies pour que des projets de distribution cluster ou des bundle tel que OSCAR les utilise. La recherche et l'expérimentation ont déja été effectuée, il ne reste plus qu'a intégrer et adapter la documentation.
Je connais la problématique du temps, de l'expérimentation, de la validation d'une nouvelle technologie dans une distribution ou dans un bundle de soft. OSCAR ne profite pas à mon gout des expérimentations exterieures, ce qui me fait dire que je trouve le projet stagnant.
Le projet IGGI s'arrete en janvier 2007.0. Il inclut aussi une techno développée par icatis: computemode, qui permet de booter des nodes en diskless dans des plages horaires définies pour intégrer un cluster, et rendre le poste de travail au utilisateurs pendant les horaires de travail. Tout le travail des scripts d'auto-configuration est disponible sur le cvs de mandriva.
Je peux proposer des idées pour OSCAR, des pistes et même aider à l'integration de package, ou technologie. Mon but n'est pas de dégnigrer OSCAR, mais de faire réagir les gens d'OSCAR (comme toi) pour qu'il améliore OSCAR en utilisant des choses validées par des projets de développement tel que IGGI. Les projets tel que IGGI doivent etre utiliser par des projets tels que OSCAR. D'ailleurs IGGI n'est sans doute pas le seul projet de recherche sur les cluster.
OSCAR est un projet qui est utilisé à grande échelle, qui a une grande renomée, et qui doit regarder les solutions apportées et existantes par les autres projets.
[^] # Re: Projet IGGI
Posté par gvallee . Évalué à 1.
Serieusement, contactez nous (nous on a deja essaye de notre cote, pour le moment ca n'a pas donne grand chose pour diverses raisons) ; IGGI semble regrouper de bonnes idees, de bons composants. Vous connaissez les details de CLIC, Kadeploy et divers autres projets, pas nous ; mettez nous sur la piste, discutons et voyons ce que l'on peut faire. Je t'envoie un message prive pour te faire parvenir mon adresse email.
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.