En fait, la majorité de la doc est publique. Simplement elle est un peu éparpillée partout entre le site de l'ornl, de cray et du nccs.
Donc en gros l'archi est un XT4 couplé a un XT5 par Infiniband, ça donne en tout 181 000 cores et un peu plus de 362 To de RAM.
Du cote XT5, un nœud est composé de 2 quad core opteron a 2.3 montes en NUMA et du cote XT4 d'un seul quad core a 2.1.
Le tout est relié en tore 3d sur un reseau SeaStar2(+).
Il y a en gros 3 types de nœuds:
- login (Suse),
- IO (?, Suse je pense),
- compute node (CNL).
Concernant les calculs qui tournent, on peut réserver plus de 90 000 cores mais avec un wall time inférieur a 24h. Je ne sais pas si beaucoup de gens le font.
Généralement les applis qui tournent sur ce cluster (sauf les miennes :) ) sont des applis MPI donc qui passent facilement a l'échelle (en principe) et qui doivent donc pouvoir exploiter la totalité de la machine. Maintenant est-ce que ça exploite réellement tous les Mhz ? C'est dur a dire... Mais es-tu sur que Linpack les exploite ?
Il y a beaucoup de problème sur ces machines, en particulier des problèmes de bruit et de résonance. Des tests ont été fait sur un cluster avec 3000 nœuds quad cores (pas chez nous mais je ne me rappelle plus ou). Ben en fait tu t'aperçois que tu vas plus vite en tournant ton appli sur 3 cœurs que sur 4, juste a cause du bruit. Bon maintenant, CNL est censé être noiseless...
Donc dire que une appli exploite réellement la puissance de la machine, je ne pense pas.
The XT5 partition contains 18,688 compute nodes in addition to dedicated login/service nodes. Each compute node contains two quad-core AMD Opteron 2356 (Barcelona) processors running at 2.3 GHz, 16GB of DDR2-800 memory, and a SeaStar 2+ router. The resulting partition contains 149,504 processing cores, more than 300TB of memory, over 6 PB of disk space, and a peak performance of 1.38 petaflop/s (1.38 quadrillion floating point operations per second).
Bon ça tue quand même...
Cette machine et ses copines d'à cote consomment, si je me rappelle bien, 12.7 MW et 400 litres d'eau par seconde pour le refroidissement...
Concernant l'archi si ça t'intéresse j'essaierai de récupérer la doc publique et je te poserai des liens... Mais sinon tu trouves pas mal de chose ici: http://www.nccs.gov/computing-resources/jaguar/
Surement mais en France je travaillais sur des grilles. J'avais donc accès a g5k. Pas besoin des machines de l'IDRIS ou autre.
Aux USA, ils m'ont embauché pour travailler sur la prochaine génération de cluster. J'ai donc accès aux clusters.
Ce n'est pas plus compliqué que ça, mon chef, au demeurant très bon, n'a jamais eu besoin de faire un dossier pour des clusters vu que notre domaine était la grille :)
Si mes souvenirs sont bons, car je suis aux US cette année, c'était sur le cluster de Nice ou un truc dans le coin car c'était (peut être que ça a changé) un des rares a permettre des images Kadeploy grâce auxquelles on faisait tourner des Xen.
Peut être aussi que ma perception est biaisée car la ou je suis, pour obtenir 6000 nœuds j'ai besoin de moins de quelques minutes :)
[^] # Re: Taux d'utilisation ?
Posté par essomba83 . En réponse à la dépêche Le classement Top 500 de juin 2009 est disponible. Évalué à 6.
Donc en gros l'archi est un XT4 couplé a un XT5 par Infiniband, ça donne en tout 181 000 cores et un peu plus de 362 To de RAM.
Du cote XT5, un nœud est composé de 2 quad core opteron a 2.3 montes en NUMA et du cote XT4 d'un seul quad core a 2.1.
Le tout est relié en tore 3d sur un reseau SeaStar2(+).
Il y a en gros 3 types de nœuds:
- login (Suse),
- IO (?, Suse je pense),
- compute node (CNL).
Concernant les calculs qui tournent, on peut réserver plus de 90 000 cores mais avec un wall time inférieur a 24h. Je ne sais pas si beaucoup de gens le font.
Généralement les applis qui tournent sur ce cluster (sauf les miennes :) ) sont des applis MPI donc qui passent facilement a l'échelle (en principe) et qui doivent donc pouvoir exploiter la totalité de la machine. Maintenant est-ce que ça exploite réellement tous les Mhz ? C'est dur a dire... Mais es-tu sur que Linpack les exploite ?
Il y a beaucoup de problème sur ces machines, en particulier des problèmes de bruit et de résonance. Des tests ont été fait sur un cluster avec 3000 nœuds quad cores (pas chez nous mais je ne me rappelle plus ou). Ben en fait tu t'aperçois que tu vas plus vite en tournant ton appli sur 3 cœurs que sur 4, juste a cause du bruit. Bon maintenant, CNL est censé être noiseless...
Donc dire que une appli exploite réellement la puissance de la machine, je ne pense pas.
Voila en gros ce que je peux dire...
Laurent
[^] # Re: Taux d'utilisation ?
Posté par essomba83 . En réponse à la dépêche Le classement Top 500 de juin 2009 est disponible. Évalué à 2.
The XT5 partition contains 18,688 compute nodes in addition to dedicated login/service nodes. Each compute node contains two quad-core AMD Opteron 2356 (Barcelona) processors running at 2.3 GHz, 16GB of DDR2-800 memory, and a SeaStar 2+ router. The resulting partition contains 149,504 processing cores, more than 300TB of memory, over 6 PB of disk space, and a peak performance of 1.38 petaflop/s (1.38 quadrillion floating point operations per second).
Bon ça tue quand même...
Cette machine et ses copines d'à cote consomment, si je me rappelle bien, 12.7 MW et 400 litres d'eau par seconde pour le refroidissement...
Concernant l'archi si ça t'intéresse j'essaierai de récupérer la doc publique et je te poserai des liens... Mais sinon tu trouves pas mal de chose ici: http://www.nccs.gov/computing-resources/jaguar/
[^] # Re: Taux d'utilisation ?
Posté par essomba83 . En réponse à la dépêche Le classement Top 500 de juin 2009 est disponible. Évalué à 1.
Mais c'était une boutade, je ne compare pas Jaguar a g5k et j'ai toujours trouvé g5k vachement sympa comme outil !
En tout cas je préfère, et de loin, travailler sur g5k que sur Jaguar...
[^] # Re: Taux d'utilisation ?
Posté par essomba83 . En réponse à la dépêche Le classement Top 500 de juin 2009 est disponible. Évalué à 1.
Je rentre en septembre, ça me tarde de voir ça.
Et sinon, ssh est toujours inutilisable au profit de oarsh ? :(
Laurent
[^] # Re: Taux d'utilisation ?
Posté par essomba83 . En réponse à la dépêche Le classement Top 500 de juin 2009 est disponible. Évalué à 1.
Aux USA, ils m'ont embauché pour travailler sur la prochaine génération de cluster. J'ai donc accès aux clusters.
Ce n'est pas plus compliqué que ça, mon chef, au demeurant très bon, n'a jamais eu besoin de faire un dossier pour des clusters vu que notre domaine était la grille :)
[^] # Re: Taux d'utilisation ?
Posté par essomba83 . En réponse à la dépêche Le classement Top 500 de juin 2009 est disponible. Évalué à 1.
[^] # Re: Taux d'utilisation ?
Posté par essomba83 . En réponse à la dépêche Le classement Top 500 de juin 2009 est disponible. Évalué à 2.
Peut être aussi que ma perception est biaisée car la ou je suis, pour obtenir 6000 nœuds j'ai besoin de moins de quelques minutes :)
[^] # Re: Taux d'utilisation ?
Posté par essomba83 . En réponse à la dépêche Le classement Top 500 de juin 2009 est disponible. Évalué à 2.
[^] # Re: césar
Posté par essomba83 . En réponse à la dépêche Le classement Top 500 de juin 2009 est disponible. Évalué à 1.
[^] # Re: On est pas vendredi mais ça me démange
Posté par essomba83 . En réponse à la dépêche Le classement Top 500 de juin 2009 est disponible. Évalué à 2.
Bon je ne peut pas aujourd'hui mais demain je te posterai le résultat de mon free et de mon /proc/cpuinfo...
Ça devrait en donner 8 moi aussi mais j'en ai pas 500, j'en ai 18,688 :)
A bientôt les geeks,
Laurent