jeudi 16 octobre

Accueil :: Dépêches :: Entretiens :: Journaux :: Forums :: Sondages :: Suivi :: Statistiques :: Contact :: Plan

Articles précédents : Articles

Liens connexes

Page du projet Blue Gene (1276 hits)
Annonce NEC (892 hits)
Annonce SGI sur la mise en service (423 hits)
Annonce SGI sur la performance du système (405 hits)

Dépêche modérée par

Oumph

Dépêche éditée par

Articles : Les plus puissants ordinateurs du monde sous Linux

Posté par Hardy Damien (page perso, ). Modéré le 28 octobre 2004.

IBM annonce le résultat de test d'un super calculateur (performance en calcul flottant) son nom : Blue Gene/L qui atteint les 36.01 Tflops (36 010 000 000 000 d'opérations à la seconde). Il détrônera Earth Simulator la machine de NEC situé au Japon qui tenait la tête du classement des super calculateurs depuis 2002 avec 35.86 Tflops.

Blue Gene/L est une grappe (« cluster ») Linux de 16000 processeurs PowerPC mais qui est 100 fois plus petit et consomme 28 fois moins d'énergie que Earth Simulator (5120 processeurs).

C'est pour l'instant un prototype qui servira de base à une version livrée au Lawrence Livermore Laboratory qui elle comportera 130 000 processeurs pour une puissance hallucinante de 360 Tflops.

NdM : la NASA, SGI et Intel annonce 42,7 Tflops avec leur nouveau calculateur sous Linux à 10.240 processeurs d'Altix System. NEC vient de faire l'annonce d'un calculateur à 65 Tflops, dans ce qui semble être une grande course de type « enlarge your cluster and fear my Tflops ».

Page du projet Blue Gene (1276 hits)
Annonce NEC (892 hits)
Annonce SGI sur la mise en service (423 hits)
Annonce SGI sur la performance du système (405 hits)

> Lire la suite (39 commentaires, moyenne: 4,1). [dépêche : 0 caractères]

François Pellegrini ajoute :
« Silicon Graphics vient d'annoncer, suite à 15 semaines de travail intensif avec Intel et la NASA, la mise en service effective du super-ordinateur Columbia, composé de 10240 processeurs Itanium® 2, et tournant sous Linux.

En utilisant seulement 8192 de ses processeurs, cette machine a atteint la puissance record de 42.7 téraflops, c'est-à-dire 42 millions de millions d'instructions en virgule flottante par seconde.

Cette machine est localisée au laboratoire NASA Advanced Supercomputing (NAS) du Ames Research Center située à Mountain View, Californie. À la différence de nombreuses autres déploiements de super-ordinateurs, qui ont pu prendre jusqu'à plusieurs années, ce système a été déployé et rendu totalement opérationnel en moins de quatre mois.

Il est constitué de 20 systèmes SGI ® Altix® à 512 processeurs Intel® Itanium® 2 chacun, et dispose d'un système de stockage de 440 téra-octets. Chaque système à 512 processeurs offre à ses utilisateurs la vue d'une seule image (SSI, pour "Single System Image") de Linux.

Nul doute que, parmi les motivations ayant conduit à la réalisation de cette machine, il y ait aussi la volonté de laver l'affront produit par le Earth Simulator, le super-ordinateur japonais qui a, pour un temps seulement, pris la première place du palmarès mondial des super-calculateurs. »

Cette discussion est archivée, il n'est plus possible de laisser des commentaires.

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.

Partage de puissance

Posté par Maxime Petazzoni (page perso, ) le 27/10/2004 à 12:46. (lien). Évalué à 4.

Maintenant, il ne reste plus qu'a rendre toute cette puissance accessible au public pour les besoins de compilations ou rendus 3D, et ca servira peut-etre a quelque chose :)
Vous imaginez, la compilation de votre noyau quasi-instantanément, le rendu d'une vidéo 3D high-poly en temps réel ? Ca pourrait être possible.

- Sam, rêveur utopiste

--
Sam - Bulix.org - Zwe, moteur de weblog et site perso léger et modulaire.

[^]Re: Partage de puissance

Posté par rb14 () le 27/10/2004 à 13:04. (lien). Évalué à 10.
mode ronchon on
hé, y'a des calculs scientifiques qui sont plus importants que ta compil' de noyo journalière...
mode ronchon off
- [^]Re: Partage de puissance
  
  Posté par SoWhat () le 27/10/2004 à 14:06. (lien). Évalué à 5.
  les calculs de simulations militaires et nucléaires ? bof .
  -> []
  - [^]Re: Partage de puissance
    
    Posté par mdlh () le 27/10/2004 à 14:21. (lien). Évalué à 5.
    Previsions meterologiques, detections de tornade, simulation du big bang et autres.
    - [^]Re: Partage de puissance
      
      Posté par champi (page perso, ) le 27/10/2004 à 16:59. (lien). Évalué à 4.
      Bioinformatique aussi et de plus en plus.
    - [^]Re: Partage de puissance
      
      Posté par renoo () le 28/10/2004 à 07:36. (lien). Évalué à 5.
      Pour les simulations météorologiques ca sert à quelque chose d'avoir de la puissance en plus ?
      
      C'est pas un truc exponentielle du genre : pour prévoir à une heure de plus il faut deux fois plus de temps de calcul. Ce qui signifie qu'il faudrait un cluster de millions de machines pour prévoir la météo à 7 jours alors qu'une vulgaire machine calculerait facilement la météo à 5 jours.
      - [^]Re: Partage de puissance
        
        Posté par Nicolas Boulay () le 28/10/2004 à 08:21. (lien). Évalué à 5.
        y'a aussi la densité du mailliage qui importe pou prévoir des effets très local. De plus, la météo marceh très mal sur des machines massivement parrallèle. elle utilise des machines vectoriels (SIMD) plus adapté à un modèle purement itératif.
      - [^]Re: Partage de puissance
        
        Posté par Erwan (page perso, ) le 28/10/2004 à 08:40. (lien). Évalué à 9.
        C'est effectivement exponentiel. Ton exemple est exagere (une vulgaire machine ne calcule pas facilement la meteo a 5 jours) mais c'est l'idee.
        
        Cela dit le probleme de la meteo est chaotique donc sera toujours exponentiel, et on prefere augmenter la puissance exponentiellement pour une augmentation lineaire des previsions plutot que de renoncer.
        
        [^]Re: Partage de puissance
        
        Posté par Veiovis () le 31/10/2004 à 15:27. (lien). Évalué à 0.
        Ce n'est pas bien de profiter de la naïveté des gens!
        
        Ton PC à 2Ghz peut facilement calculer de manière satisfaisante la météo à 5 jours.
        
        La blague de la correction des erreurs de calcul par ajout exponentiel de matériel n'est pas de très bon goût non plus.
        
        Les ressources requises en météo sont importantes. Bien sûr, je fais référence aux prévisions les plus complexes (celles du centre de prévision européen, l'ECMWF - http://www.ecmwf.int(...) ). Sur http://www.top500.org(...) , on voit pointer l'ECMWF à la sixème place (en 2003) des plus gros supercalculateurs. Les ressources sont au moins nécessaires aux maillages toujours plus fins et à l'assimilation de données.
      - [^]Re: Partage de puissance
        
        Posté par Sylvain Sauvage () le 28/10/2004 à 18:16. (lien). Évalué à 3.
        Tututu ! Une machine n'est jamais vulgaire.
        Par contre, les utilisateurs sont souvent grossiers...
        
        m(_ _)m
  - [^]Re: Partage de puissance
    
    Posté par Stéphane Téletchéa (page perso, ) le 27/10/2004 à 19:08. (lien). Évalué à 4.
    Plutôt la recherche médicale, le décryptage du génome, comprendre le fonctionnement d'une cellule (prévu en simulation temps réel pour 2030) ...
    - [^]Re: Partage de puissance
      
      Posté par ArBaDaCarBa () le 27/10/2004 à 20:04. (lien). Évalué à 1.
      Oui, c'est tout de même pour ça qu'il est prévu à l'origine, non ?
      - [^]Re: Partage de puissance
        
        Posté par prslump () le 28/10/2004 à 07:03. (lien). Évalué à 10.
        Pas sûr, moi je pense que c'est pour mieux recompter (mais sans erreur ...) les voix des prochaines élections américaines.
  - [^]Re: Partage de puissance
    
    Posté par Erwan (page perso, ) le 28/10/2004 à 07:25. (lien). Évalué à 4.
    Earth Simulator, comme son nom l'indique, permet de simuler la terre pour prevoir les catastrophes naturelles.
    
    En gros, les gens qui ont perdu des proches a Niigata (Japon) lors des tremblements de terre a repetition de la semaine derniere auraient bien aime savoir a l'avance qu'ils allaient se prendre une secousse de force 6 sur la face...
  - [^]Re: Partage de puissance
    
    Posté par _gp () le 01/11/2004 à 14:50. (lien). Évalué à 1.
    The Answer to Life, the Universe, and Everything. Oui monsieur.

[+] [^]Re: Partage de puissance

Posté par XHTML/CSS inside (page perso, ) le 27/10/2004 à 14:04. (lien). Évalué à -1.
Oh oui, pour calculer cette animation interminable en images de synthèse qui dure depuis des plombes sur mon "petit" pc...

Je suis sûr qu'ils trouveront bien qq flops à me prêter !

--
In tartiflette we trust !

Je vote IBM

Posté par patrick_g (page perso, ) le 27/10/2004 à 14:25. (lien). Évalué à 10.

A noter que le projet IBM est plus "intéressant" techniquement que ceux de NEC (gros supercalculateur classique) ou de SGI (gros cluster classique avec de CPU 64 bits classiques).

En effet le Blue Gene/L d'IBM est fondé sur des processeurs dual-cores avec un des coeurs qui se charge du calcul et l'autre qui s'occupe des communications : c'est du jamais vu !
comme ce sont des CPU très petits (a l'origine ils sont fait pour de l'embarqué) on obtient un supercalculateur extrèmement dense et dissipant peu de chaleur par rapport à ses conccurents...malgré les 65.000 CPU dual-cores !

[^]On s'en serait pas douté

Posté par Paerro Trime () le 27/10/2004 à 14:44. (lien). Évalué à 6.
Le Earth Simulator est un supercalcuteur vectoriel il me semble, c'est pas un peu rapide de le ranger dans les "supercalculateurs classiques" ? on est quand même en plein dans de la solution customisée là.
En plus ce calculateur il a quand même tenu le haut du pavé pendant vraiment longtemps et il est tourné vers des applications d'études environnementales, deux très bonnes raisons de saluer cette réalisation exceptionnelle au moment où il s'apprête à cèder sa couronne.
- [^]Re: On s'en serait pas douté
  
  Posté par patrick_g (page perso, ) le 27/10/2004 à 16:44. (lien). Évalué à 5.
  Le Earth Simulator est un supercalcuteur vectoriel il me semble, c'est pas un peu rapide de le ranger dans les "supercalculateurs classiques" ?
  
  Ben non car c'est le propre de tous les supercalculateurs classiques d'avoir une archi vectorielle propriétaire (Les Cray et autres...depuis les 70's)
  
  Par contre avoir un dual-core dont un des coeurs ne s'occupe que des communications je trouve ça génial....et si tu regarde la surface au sol ou la chaleur dissipée tu va voir que le IBM explose littéralement le NEC (1/20 ieme de la conso et 1/100 ieme de la surface)
  
  Je pense d'ailleurs que ce dual-core spécial doit avoir plus qu'un air de ressemblance avec la puce "the cell" qui est prévu dans la prochaine Playstation 3.
  - [^]Re: On s'en serait pas douté
    
    Posté par Paerro Trime () le 28/10/2004 à 13:48. (lien). Évalué à 3.
    entre temps il y a quand même eu les supercalculteurs massivement parrallèles, en particulier à partir de processeurs courants utilisés et prévus pour d'autres applications.
    L'Earth Simulator est un peu seul dans le haut du top 500 a utiliser une solution aussi customisée par rapport aux autres qui utilisent des processeurs beaucoup plus courants.
    Le Earth Simulator a représenté aussi un gros saut en son temps et il serait injuste de le présenter comme un simple travail scolaire dans la continuité de ce qui a été fait durant les 20 années précédentes.
    Cette nouvelle réalisation d'IBM présente un saut incontestable, avec des choix d'architecture largement tourné vers une optimisation de la densité, cependant on compare pas la même chose : l'Earth Simulator est un projet beaucoup plus ancien : il avait pris du retard et est en production depuis un bon moment, c'est plus le même contexte de technologie de fabrication.
    
    Je te parie que le type de processeur de BlueGene ressemblera bien davantage au proc de la XBox2 qu'à celui de la PS3.
    - [^]Re: On s'en serait pas douté
      
      Posté par patrick_g (page perso, ) le 28/10/2004 à 15:08. (lien). Évalué à 2.
      Je te parie que le type de processeur de BlueGene ressemblera bien davantage au proc de la XBox2 qu'à celui de la PS3.
      
      Pari tenu.
      celui de la xbox2 sera un PPC970 ou un PPC980 => cad un CPU 64 bits assez classique.

[^]Re: Je vote IBM

Posté par zeSixty4Douille () le 27/10/2004 à 15:07. (lien). Évalué à 6.
On melange pas un peu les genres quand on parle de cluster et de super calculateur ?

Pour moi, un cluster c'est plus d'une machine, alors qu'un super ordinateur, ca n'est qu'une machine.

Dans le cas d'un cluster, le nombre de Tflop est a relativiser avec le temps de communication relatif a un acces memoire, alors que dans le cas d'un super calculateur, cette operation sera geree via des controleurs specialises. D'ailleurs la frequence CPU de l'Earth Simulator est tres faible (moins de 500 MHz).

Comparer le Hearth Simulator au Gene/L, c'est un peu comparer les puces Transmetta avec celles d'Intel.
- [^]Re: Je vote IBM
  
  Posté par vieuxshell () le 27/10/2004 à 16:03. (lien). Évalué à 3.
  D'autant plus que ca ne se programme pas du tout de la même façon!
  
  Reste un gros facteur limitant: l'algo qui tourne sur la machine, tu auras beau deployer des centaines de GFlops (360 ca dépote une allé de Yuka) si tu tire pas partie des spécificité de la machine (au niveau de l'architecture, y s'agit pas d'aller coder à la roots en ASM hein) ca sert à rien.
- [^]Re: Je vote IBM
  
  Posté par Nicolas Chapin (page perso, ) le 27/10/2004 à 16:19. (lien). Évalué à 8.
  Qu'entends tu par machine?
  
  Un cluster est un ensemble de systèmes indépendants se partageant un calcul donc à la limite tu peux faire un cluster dans un IBM z990 qui est une seule machine mais peut faire tourner plusieurs instances d'OS.
  
  Que cela soit un seul système ou 15 000 qui font le boulot n'a peu d'importance tu as quand même un super calculateur dans la mesure où tu n'es pas près de l'avoir sur ton bureau ;)
  
  Ensuite Il y a des protocoles pour les IO spécialisés dans le haut-débit genre Infiniband.
  
  De plus la fréquence n'a strictement rien à voir avec la puissance d'un processeur, les alpha à 500 MHz ont longtemps tenu la dragée haute aux Pentium 2 à 3 fois plus rapide en fréquence. C'est essentiellement une question d'architecture interne du processeur. Et cela va encore se compliquer avec les processeurs multi-coeur.
  
  Par contre ce qui est "mal" c'est de comparer BlueGene qui a une architecture super scalaire avec earth simlator qui a une architecture vectorielle car ils ne fonctionnent pas de la même manière. N'importe qui peut faire un cluster mais par contre ce n'est pas donné à tout le monde de faire un système vectoriel d'où une nette différence de prix et la rareté du système.
  
  Quand à ta comparaison entre Intel et Transmetta elle est hors de propos, les 2 fondeurs n'ont pas les mêmes objectifs. Pour l'un il s'agit de fourguer à Mme Michu le processeur le plus rapide pour son boutoneux de rejeton et dans l'autre de faire des processeurs avec le meilleur rapport consomation/puissance.
  - [^]Re: Je vote IBM
    
    Posté par zeSixty4Douille () le 27/10/2004 à 17:43. (lien). Évalué à 5.
    Ce que j'entends par une machine, c'est de n'avoir qu'un seul espace d'adressage dans l'application, qqs le nombre de CPU dans la machine. C'est possible avec un cluster, mais c'est l'architecture HW qui va permettre ce but dans le cas d'un super ordinateur.
    
    C'est pour cela que je parlais de frequence (en schematisant l'architecture HW) :
    -> dans le cas d'un super ordinateur la latence de la memoire est grande, due au fait qu'elle est partagee entre tous les CPUs, donc la frequence des CPU est limitee (pour pas bloquer sur un acces memoire pendant 371 cycles) et c'est le nombre d'operations en parallele qui sera privilegie (avec un compilateur balaise, et encore plus balaise si il est capable de prevoir le temps de latence en scheddulant correctement les instructions).
    -> dans un cluster, il y a des petits groupes de CPU. Les CPUs de ces groupes partagent la meme memoire, et un bus doit relier ces groupes entre eux, donc la frequence sera moins directement limite par l'acces memoire (avec un compilateur moins balaise, mais une gestion des acces sans doute chiante).
    
    Maintenant, il n'y a pas qu'un bus memoire, il y a des caches, des acces privilegies sur certains bancs de memoire par certains CPU et d'autres mecanismes qui font qu'un super ordinateur est proche d'un cluster au final. D'autant plus, que plus il y a de CPU, plus la difference s'amoindri.

[^]Re: Je vote IBM

Posté par Loïc d'Anterroches (Jabber id, page perso, ) le 27/10/2004 à 20:34. (lien). Évalué à 7.
Les derniers SPARC sont dual-cores avec toute la partie communication d'intégrée. Cela permet d'avoir 2 cores vraiment utiles pour le calcul et de laisser la partie communication (I/O) à une infrastructure dédiée optimisée pour cela.

Si tu lis la description technique "rapide" ils donnent vraiment aucuns détails tu as :

Each of the data-chip cells will work on a small part of a larger problem. This increase in data access speed will make a huge difference in the kinds of results these machines can produce and the kinds of problems they can solve.

En gros cela veut seulement dire que le système fonctionne comme une grappe d'un cluster et que la mémoire n'est pas partagée, ce qui est le cas sur un SMP chez SUN. Le résultat est que pour certains problèmes, qui ont besoin d'avoir accès à toutes les données en même temps pour tous les processeurs, les performances vont être mauvaises.

Il y a deux "architectures" dans un système multiprocesseurs, mémoire partagée ou non. Pour le type de problèmes sur lequels je travaille, une structure comme celle de IBM me donnera une sortie aussi efficace que 1 processeur.

Le nombre de TeraFlops ne veut rien dire, ce qu'il faut c'est une infrastructure qui "colle" avec le problème à résoudre.
- [^]Re: Je vote IBM
  
  Posté par zeSixty4Douille () le 28/10/2004 à 08:58. (lien). Évalué à 4.
  D'autant plus que sur les serveurs SUN, si la puissance est plutot faible pour chaque core de CPU, tu as une synchronisation des caches qui a un effet non negligeable.
  
  Avec une application "mono-thread", j'ai observe des gains de 30% sur un SunFire v890, par rapport a une SunBlade 2500 qui n'a qu'un CPU d'actif ,simplement parce qu'il n'y avait pas de dtlb misses sur le SunFire (c'est le meme type de CPU, au cache de niveau 2 pres. Mais quand il y a beaucoups de tlb misses, le cache de niveau 2 est "rince", donc il ne sert quasiement a rien). On peut retrouver en partie les perfo en changeant la taille des pages, mais ce n'est possible qu'a partir de Solaris 9 (pour une config par application) et il faut que la memoire ne soit pas trop fragmentee.
  
  Les dual-core, HP en fait, Sun en fait, Amd va en faire, il y a plein d'implementation differentes. Le cache de niveau 1 est-il exclusif a chaque CPU ? le cache prefetch, y a t-il plusieurs MMU, y a t-il des operations communes au 2 CPU ?
  
  L'un des objectifs d'IBM, c'est de vouloir mettre 1Giga de cache "on-die". Mais ce n'est pas pour tt de suite.

[^]Re: Je vote IBM

Posté par @ () le 28/10/2004 à 00:09. (lien). Évalué à 4.
La machine de la Nasa fournie par SGI n'est pas un gros cluster classique. C'est un noeud de 20 machines comportant chacune 512 processeurs Intel Itanium 2 et 1 To (tera octet) de ram partagée par les 512 processeurs.

Le résultat de 42.7 Tflops a été réalisé sur 16 noeuds. (8192 proc.).

A ce niveau la dissipation de chaleur est secondaire, si on a les moyens d'acheter un supercalculateur de ce type, on installe une climatisation conséquente.
- [^]Re: Je vote IBM
  
  Posté par Nicolas Chapin (page perso, ) le 28/10/2004 à 09:53. (lien). Évalué à 3.
  Oui mais à ce niveau ta clim va pomper du jus, pareil pour tes processeurs et du coup la consomation électrique devient un élément non négligeable du coût de fonctionnement (elle se chiffre en centaines de kW).
  
  C'est d'ailleurs l'une des raisons du succès les solutions à base de powerPC (IBM ou Apple) pour les clusters, ils consomment quasiment 2 fois moins que les solutions à base d'Intel. Et quand tu vois l'état du réseau éléctrique et les coûts aux USA, ce n'est pas du luxe.
  - [^]Re: Je vote IBM
    
    Posté par mdlh () le 28/10/2004 à 14:10. (lien). Évalué à 2.
    C'est pour ca qu'on developpe l'idee du smart data center. En gros en reorganisant ta salle machine, tu gagnes dans l'efficacite de ta clim. Je vais pas rentrer dans les details, mais c'est comme si tu changeais l'algo de ton appli pour qu'elle aille 2x plus vite plutot que de payer un microprocesseur 2x plus puissant.

question

Posté par skeespin (page perso, ) le 28/10/2004 à 07:36. (lien). Évalué à 1.

Est ce qu'il y a eut un calcul de la puissance théorique qu'on pourrait obtenir avec toutes les machines de bureau + petits serveurs sur internet ?

[^]Re: question

Posté par farib () le 28/10/2004 à 07:50. (lien). Évalué à 4.
Le bus mémoire de type "Wanadoo" ou plus généralement "ADSL" est un peut limitant à mon avis.
- [^]Re: question
  
  Posté par Nicolas Boulay () le 28/10/2004 à 08:21. (lien). Évalué à 1.
  oui mais set ou folding @ home s'en contente. Et la les performances se comptent en millions de cpu. Je ne sait plus la puissance dispo pour ses applications mais cela explose complètement ses super calculateurs (en plus cela ne leur coute rien...)
  - [^]Re: question
    
    Posté par Mr F (page perso, ) le 28/10/2004 à 08:47. (lien). Évalué à 6.
    Certe mais la différence ce situe dans le fait que pour Folding @ Home, différent élèments sont envoyé pour du calcul sans interaction des uns avec les autres alors que pour d'autres calculs, il y a interaction entre les élèments et il faut donc du super calculateur. En gros.

humour noir

Posté par Axioplase Ashi (page perso, ) le 28/10/2004 à 08:40. (lien). Évalué à 2.

--
J'aime la liberté.
J'aime BSD.

[^]Re: humour noir

Posté par Sylvain Sauvage () le 28/10/2004 à 18:22. (lien). Évalué à 2.
C'était Chalenger...
- [^]Re: humour noir
  
  Posté par pasBill pasGates () le 28/10/2004 à 19:41. (lien). Évalué à 2.
  Les 2 navettes ont explose en vol
  - [^]Re: humour noir
    
    Posté par Pierre Jarillon (page perso, ) le 28/10/2004 à 22:22. (lien). Évalué à 2.
    Dans les deux cas la hiérarchie de la NASA s'est avérée incompétente.
    La compétence n'est pas attachée à la fonction comme de nombreux dirigeants le croient trop souvent.
    - [^]Re: humour noir
      
      Posté par Jak () le 01/11/2004 à 12:45. (lien). Évalué à 1.
      D'après le principe de Dilbert, c'est même l'inverse. :)
      
      --
      « Le savoir, n'est-ce pas, est un bien précieux. Trop précieux pour ne pas être partagé. »
      - Battologio d'Epanalepse, in De Cape et de Crocs, Acte VII (Ayroles & Masbou)

Revenir en haut de page

Articles précédents : Articles

Liens connexes

Dépêche modérée par

Dépêche éditée par

Articles : Les plus puissants ordinateurs du monde sous Linux

Partage de puissance

[^]Re: Partage de puissance

[^]Re: Partage de puissance

[^]Re: Partage de puissance

[^]Re: Partage de puissance

[^]Re: Partage de puissance

[^]Re: Partage de puissance

[^]Re: Partage de puissance

[^]Re: Partage de puissance

[^]Re: Partage de puissance

[^]Re: Partage de puissance

[^]Re: Partage de puissance

[^]Re: Partage de puissance

[^]Re: Partage de puissance

[^]Re: Partage de puissance

[+] [^]Re: Partage de puissance

Je vote IBM

[^]On s'en serait pas douté

[^]Re: On s'en serait pas douté

[^]Re: On s'en serait pas douté

[^]Re: On s'en serait pas douté

[^]Re: Je vote IBM

[^]Re: Je vote IBM

[^]Re: Je vote IBM

[^]Re: Je vote IBM

[^]Re: Je vote IBM

[^]Re: Je vote IBM

[^]Re: Je vote IBM

[^]Re: Je vote IBM

[^]Re: Je vote IBM

question

[^]Re: question

[^]Re: question

[^]Re: question

humour noir

[^]Re: humour noir

[^]Re: humour noir

[^]Re: humour noir

[^]Re: humour noir