bon je ne vais pas reprendre tous les points pour redonner mon opinion. On va tenter de voir ce qui peut-etre fait.
Je ne cherche pas non plus à prouver que IGGI est meilleure, je suis surpris que des tools qui existent depuis longtemps (le outils KA par ex) ne soit pas dans OSCAR. Ils existent depuis longtemps, les SRPM existent, Dolly et dolly+ existent aussi depuis très longtemps.
La méthode d'installation KA-deploy a été intégré dans la Mandriva depuis la release 8.2. Elle a continué à etre porté dans la distribution jusqu'a la 2006.0
(aujourdh(ui IGGI). Meme si GI (l'installeur graphique) de Mandriva n'est pas au gout de tout le monde, pas simple à mettre en place (nécessite pour etre buildé d'avoir une distribution Mandriva d'installé), il est assez simple de créer un ENV de build MDV, et d'utiliser son stage1 (vmlinuz + all.rd qui contient toutes les methodes d'installation plus tous les modules réseaux et storage) sur une autre distribution comme une Fedora pour dupliquer ce node en mode parrallele.
En fait IGGI est basé sur CLIC, qui a déja 4 ans; Les solutions apportés par CLIC étaient déja intéressantes, et n'ont pas été reprise dans OSCAR, ce qui m'a surpris. Les projets tel qu'anciennement CLIC et maintenant IGGI sont des projets de recherche, d'expérimentation, qui n'ont pas lieu d'etre utilisé sur des plateforme de production. Le But et de tester des technologies pour que des projets de distribution cluster ou des bundle tel que OSCAR les utilise. La recherche et l'expérimentation ont déja été effectuée, il ne reste plus qu'a intégrer et adapter la documentation.
Je connais la problématique du temps, de l'expérimentation, de la validation d'une nouvelle technologie dans une distribution ou dans un bundle de soft. OSCAR ne profite pas à mon gout des expérimentations exterieures, ce qui me fait dire que je trouve le projet stagnant.
Le projet IGGI s'arrete en janvier 2007.0. Il inclut aussi une techno développée par icatis: computemode, qui permet de booter des nodes en diskless dans des plages horaires définies pour intégrer un cluster, et rendre le poste de travail au utilisateurs pendant les horaires de travail. Tout le travail des scripts d'auto-configuration est disponible sur le cvs de mandriva.
Je peux proposer des idées pour OSCAR, des pistes et même aider à l'integration de package, ou technologie. Mon but n'est pas de dégnigrer OSCAR, mais de faire réagir les gens d'OSCAR (comme toi) pour qu'il améliore OSCAR en utilisant des choses validées par des projets de développement tel que IGGI. Les projets tel que IGGI doivent etre utiliser par des projets tels que OSCAR. D'ailleurs IGGI n'est sans doute pas le seul projet de recherche sur les cluster.
OSCAR est un projet qui est utilisé à grande échelle, qui a une grande renomée, et qui doit regarder les solutions apportées et existantes par les autres projets.
- auto-configuration via un seul script (serveur et nodes)
L'auto-configuration par défaut dans IGGI permet de zéro, en 1heure d'installer N nodes opérationnels pour tous les services d'administration cluster (copie ou command en parrallele), installation de package, job dans le scheduler, MPI/LAM, monitoring (Ganglia,Gantt monika, wulfstat), configuration service nécessaire au cluster (dhcp, pxe, dns, ssh, nisdomain, autofs).
le rsync n'est pas un mode de duplication parralle.
Le multicast je ne connais pas la solution.
Bittorent n'est pas un méthode de duplication parrallele.
Quand je parle de duplication parrallele cela définit un mode de duplication qui est indépendant du nombre de nodes, qui parrallelise la copie (via un arbre de diffusion) pour installer le systeme sur tous les nodes.
- possibilité de benchmark ...
je suis d'accod avec toi. IGGI fournit une solution qui permet simplement d'établir soi-même quelques valeurs de référence.
- installation parrallel de package: C3
je ne connais pas C3, il s'agit d'une méthode de push de données en parrallel sur des nodes ? c'est intégré à yum pour optimiser la copie des packages ?
urpmi parrallel (via ka-run) permet d'installer des RPMS sur des nodes en parrallele, et donc installer des packages sur un node, prends le même temps que de l'installer sur N nodes. Il utilise ka-tools, qui permet des performances réseaux exceptionnels (copie de 560mo sur 3 nodes en moins d'une minute)
- doc OSCAR
A mon sens une documentation cluster doit fournir un pas à pas qui défini quels types d'objectifs l'on vise, par quels moyens les obtenir, et présenter les fichiers de configuration nécessaires pour arriver à ses objectifs. Il n'y a pas d'exemple type d'utilisation des outils d'administration, pas de configuration type détaille pour les différents service configuré par OSCAR (PXE par exemple)....
- 32 et 64 bits
Dans le processus de création de IGGI, la plate-forme de devel est 32bits, et les packages sont buildés sur les 2 arch. L'ISO finale n'est qu'un build d'une ISO 64bits, tous les RPMS et l'installeur de la Mandriva build en 64bits. Obtenir une ISO 64bits n'est pas plus compliqué que d'obtenir une release 32bits.
je n'essaie pas de dénigrer OSCAR, je suis son dévellopement depuis un certains nombres d'années, et je ne vois pas de nouvelles technologies intégrées par rapport à la version initiale. Je connais les difficultés de créer un produit multi-plateforme, multi-distribution, et je reconnais que OSCAR posséde un support multi-distribution multi-arch non négligeable.
Je ne pense pas affirmer de chose fausse. Je fais un constat.
IGGI est un ensemble, et non pas un bundle de package qui permet de transformer une distribution en un produit cluster. Cela représente un avantage non négligeable pour permettre une meilleure intégration des technologies cluster, comme le clonage en parrallele de node directement intégré comme méthode d'installation dans la distribution, et un outil d'administration de RPM déja pret à fonctionner en mode parrallele.
il existe un projet IGGI (Infrastructure pour Grappe, Grille et Intranet) développé par l'Inria, le brgm et Mandriva.
ce projet est basé sur une distribution Mandriva, et inclu de nombreuses fonctionnalitées qu'OSCAR ne posséde pas:
- auto-configuration via un seul script (serveur et nodes)
- monitoring via ganglia et wulfstat
- possibilité de benchmark via povray-mpich et blender
- 2 modes de duplication parrallele de nodes
- nombreux outils d'administration (taktuk2, gexec, tentakel...)
- installation en parrallele de RPM via urpmi en mode parrallele
- module BLCR pour checkpoint restart pour les applications LAM
- facilité de mise en plcae de GFS + gnbd + clvm
- ordonanceur OAR (MAUI distribué dans OSCAR n'est plus sous licence GPL)
- doc complete (plus de 120 pages)
ce projet à terme (fin janvier 2007) sera disponible ne 32 et 64bits.
[^] # Re: Projet IGGI
Posté par guibo (site web personnel) . En réponse à la dépêche OSCAR sort en version 5.0. Évalué à 2.
Je ne cherche pas non plus à prouver que IGGI est meilleure, je suis surpris que des tools qui existent depuis longtemps (le outils KA par ex) ne soit pas dans OSCAR. Ils existent depuis longtemps, les SRPM existent, Dolly et dolly+ existent aussi depuis très longtemps.
La méthode d'installation KA-deploy a été intégré dans la Mandriva depuis la release 8.2. Elle a continué à etre porté dans la distribution jusqu'a la 2006.0
(aujourdh(ui IGGI). Meme si GI (l'installeur graphique) de Mandriva n'est pas au gout de tout le monde, pas simple à mettre en place (nécessite pour etre buildé d'avoir une distribution Mandriva d'installé), il est assez simple de créer un ENV de build MDV, et d'utiliser son stage1 (vmlinuz + all.rd qui contient toutes les methodes d'installation plus tous les modules réseaux et storage) sur une autre distribution comme une Fedora pour dupliquer ce node en mode parrallele.
En fait IGGI est basé sur CLIC, qui a déja 4 ans; Les solutions apportés par CLIC étaient déja intéressantes, et n'ont pas été reprise dans OSCAR, ce qui m'a surpris. Les projets tel qu'anciennement CLIC et maintenant IGGI sont des projets de recherche, d'expérimentation, qui n'ont pas lieu d'etre utilisé sur des plateforme de production. Le But et de tester des technologies pour que des projets de distribution cluster ou des bundle tel que OSCAR les utilise. La recherche et l'expérimentation ont déja été effectuée, il ne reste plus qu'a intégrer et adapter la documentation.
Je connais la problématique du temps, de l'expérimentation, de la validation d'une nouvelle technologie dans une distribution ou dans un bundle de soft. OSCAR ne profite pas à mon gout des expérimentations exterieures, ce qui me fait dire que je trouve le projet stagnant.
Le projet IGGI s'arrete en janvier 2007.0. Il inclut aussi une techno développée par icatis: computemode, qui permet de booter des nodes en diskless dans des plages horaires définies pour intégrer un cluster, et rendre le poste de travail au utilisateurs pendant les horaires de travail. Tout le travail des scripts d'auto-configuration est disponible sur le cvs de mandriva.
Je peux proposer des idées pour OSCAR, des pistes et même aider à l'integration de package, ou technologie. Mon but n'est pas de dégnigrer OSCAR, mais de faire réagir les gens d'OSCAR (comme toi) pour qu'il améliore OSCAR en utilisant des choses validées par des projets de développement tel que IGGI. Les projets tel que IGGI doivent etre utiliser par des projets tels que OSCAR. D'ailleurs IGGI n'est sans doute pas le seul projet de recherche sur les cluster.
OSCAR est un projet qui est utilisé à grande échelle, qui a une grande renomée, et qui doit regarder les solutions apportées et existantes par les autres projets.
[^] # Re: Projet IGGI
Posté par guibo (site web personnel) . En réponse à la dépêche OSCAR sort en version 5.0. Évalué à 0.
L'auto-configuration par défaut dans IGGI permet de zéro, en 1heure d'installer N nodes opérationnels pour tous les services d'administration cluster (copie ou command en parrallele), installation de package, job dans le scheduler, MPI/LAM, monitoring (Ganglia,Gantt monika, wulfstat), configuration service nécessaire au cluster (dhcp, pxe, dns, ssh, nisdomain, autofs).
- mode duplication parrallele : rsync classique, multicast et egalement bittorent
le rsync n'est pas un mode de duplication parralle.
Le multicast je ne connais pas la solution.
Bittorent n'est pas un méthode de duplication parrallele.
Quand je parle de duplication parrallele cela définit un mode de duplication qui est indépendant du nombre de nodes, qui parrallelise la copie (via un arbre de diffusion) pour installer le systeme sur tous les nodes.
- possibilité de benchmark ...
je suis d'accod avec toi. IGGI fournit une solution qui permet simplement d'établir soi-même quelques valeurs de référence.
- installation parrallel de package: C3
je ne connais pas C3, il s'agit d'une méthode de push de données en parrallel sur des nodes ? c'est intégré à yum pour optimiser la copie des packages ?
urpmi parrallel (via ka-run) permet d'installer des RPMS sur des nodes en parrallele, et donc installer des packages sur un node, prends le même temps que de l'installer sur N nodes. Il utilise ka-tools, qui permet des performances réseaux exceptionnels (copie de 560mo sur 3 nodes en moins d'une minute)
- doc OSCAR
A mon sens une documentation cluster doit fournir un pas à pas qui défini quels types d'objectifs l'on vise, par quels moyens les obtenir, et présenter les fichiers de configuration nécessaires pour arriver à ses objectifs. Il n'y a pas d'exemple type d'utilisation des outils d'administration, pas de configuration type détaille pour les différents service configuré par OSCAR (PXE par exemple)....
- 32 et 64 bits
Dans le processus de création de IGGI, la plate-forme de devel est 32bits, et les packages sont buildés sur les 2 arch. L'ISO finale n'est qu'un build d'une ISO 64bits, tous les RPMS et l'installeur de la Mandriva build en 64bits. Obtenir une ISO 64bits n'est pas plus compliqué que d'obtenir une release 32bits.
je n'essaie pas de dénigrer OSCAR, je suis son dévellopement depuis un certains nombres d'années, et je ne vois pas de nouvelles technologies intégrées par rapport à la version initiale. Je connais les difficultés de créer un produit multi-plateforme, multi-distribution, et je reconnais que OSCAR posséde un support multi-distribution multi-arch non négligeable.
Je ne pense pas affirmer de chose fausse. Je fais un constat.
IGGI est un ensemble, et non pas un bundle de package qui permet de transformer une distribution en un produit cluster. Cela représente un avantage non négligeable pour permettre une meilleure intégration des technologies cluster, comme le clonage en parrallele de node directement intégré comme méthode d'installation dans la distribution, et un outil d'administration de RPM déja pret à fonctionner en mode parrallele.
# Projet IGGI
Posté par guibo (site web personnel) . En réponse à la dépêche OSCAR sort en version 5.0. Évalué à 3.
ce projet est basé sur une distribution Mandriva, et inclu de nombreuses fonctionnalitées qu'OSCAR ne posséde pas:
- auto-configuration via un seul script (serveur et nodes)
- monitoring via ganglia et wulfstat
- possibilité de benchmark via povray-mpich et blender
- 2 modes de duplication parrallele de nodes
- nombreux outils d'administration (taktuk2, gexec, tentakel...)
- installation en parrallele de RPM via urpmi en mode parrallele
- module BLCR pour checkpoint restart pour les applications LAM
- facilité de mise en plcae de GFS + gnbd + clvm
- ordonanceur OAR (MAUI distribué dans OSCAR n'est plus sous licence GPL)
- doc complete (plus de 120 pages)
ce projet à terme (fin janvier 2007) sera disponible ne 32 et 64bits.
pour plus d'information sur IGGI, ou télécharger l'ISO et ses composants:
http://iggi.mandriva.com/