EraZerg a écrit 106 commentaires

et malheureusement ce test ne fonctionne pas...

il fonctionne tres bien sur deux machines à la maison, mais des que j'essaye d'utiliser le serveur distant, le ping ne fonctionne pas.... Je vais gratter un peu pour comprendre mais je crois que je vais vite retourner vers autossh....

oui tu me l'a dit, je confirme

mais hier j'avais deux pistes et vous m'aviez plutot conseillé openvpn du coup j'avais investi sur openvpn...

et pour tout avouer, en lisant rapidement autossh, j'ai pas compris... maintenant que openvpn me semble compromis (modulo un test plus simple conseillé au-dessus que je vais faire) je vais peut-être relire autossh avec plus d'attention..

merci bcp !

sauf que mon script expect il marche presque alors que openvpn j'arrive pas à faire le ping... probablement un réglage de firewall me dit la doc....

finalement ssh c'est un super tunnel pour ce que je veux faire, il ne lui manque qu'un automatisme de reconnection...

merci, j'attaque openvpn...

merci merci,

je jette mon script expect et je me jette sur openvpn....

sauf si vous avez d'autres idées....

merci, je me doutais,

du coup ma question devient, comment automatiser l'établissement d'un tunnel ?
je suis en train de lire la doc d'openvpn pour voir si y'a des options pour faire un tunnel qui tente de se ré-établir lorsque le serveur openvpn est parti puis revenu... je connais que dalle à openvpn donc ma question est peut-être idiote

pour l'instant j'ai fait un script expect dégueulasse.... j'aimerai ne plus l'utiliser....

> Le top500 est focalisé calculs flottants sur des gros calculateurs, et je doute franchement > que ça soit utile à facebook ou flickr etc ... Pour ces entreprises, une grille d'ordis >classiques me paraît plus appropriée. Pour google, même si les algos de type pagerank >peuvent être décrits de manière matricielle, je doute que cela nécessite une puissance de >calcul vraiment monstrueuse, une gestion astucieuse de la structure creuse des matrices >étant autrement plus importante.

hors sujet,
google pourrait être dans le top500, y'a _AUCUN_ doute là dessus (même si eux ne font pas de calcul flottant, ils achètent des tonnes de procs qui peuvent en faire). Seulement, premièrement google a mieux à faire qu'installer linpack et, que pour des raisons de compétitivité , google ne dévoilera pas combien et quels serveurs il achète chaque mois: c'est un secret industriel.

>Pour les pétroliers, je ne vois pas trop l'utilité de tenir ça secret étant donné que l'on sait qu'ils ont besoin de ce type de machine.

et pourtant c'est bien un secret industriel également chez certains (pas chez TOTAL qui est bien placé dans le TOP500).... pour te convaincre, cherche les pétroliers dans la liste..... tu verras, il n'y sont pas ou alors ils se cachent derrière un nom générique..... même remarque pour les 'IT providers'.....

il y a des industriels qui considèrent leur puissance de calcul comme secret stratégique , comme il y a des industries où les stocks ( de matières première par exemple) sont stratégiques.

le moins d'information tu donnes à ta concurrence, le mieux.

Et puis y'a une troisième catégorie, ce sont les industriels qui ont autrechose à faire que remplir les formalités pour être TOP500, ceux dont le métier n'est pas de crâner avec linpack :-) mais de faire avancer leur production.

exemples du premier type: google, yahoo, facebook, flickr, des providers IT, certains pétroliers, les grosses banques

exemples du deuxième groupe: certains pétroliers, certaines écuries de F1, les grosses banques.....

même si cette liste reste un formidable outil analysé sous toutes les coutures permettant aux uns et aux autres de dégager des 'tendances', il reste un _échantillon_ de la réalité.

Une partie des industriels qui produisent autrechose que des benchmarks préfèrent garder secret l'existence de ces machines (sans parler des organisations gouvernementales dont le métier est le secret...) pour de simples raisons de compétitivité.

cette course au top500 est soutenue/organisée par les grands constructeurs qui poussent leurs clients à publier leurs linpacks....

je radote un peu mais je pense que c'est important

Bonsoir,

merci pour ta prompte réponse. pour l'instant je vois pas d'arnaque :-) alors qu'on m'en a proposé des trucs pas clair pour faire ça... (avec des set -m)

pour ta question: je me suis peut-être mal exprimé, proc1 et proc2 ont leur ppid = au pid de toto.sh jusqu'à ce que toto.sh soit terminé. Ensuite leur ppid est 1, soit celui d'init. J'ai traduit ça dans un Français un peu approximatif.

c'est bien de me conseiller de pas faire des kill -9, mais pourquoi ? ça fait 12 ans que je fais des kill -9.... ? Je vais pas prendre le risque que les processes que je lance trappent mes signaux....

les accélérateurs c'est bien gentil, mais faut pas oublier que la magie noire ça n'existe pas.

En 2008 la difficulté c'est de faire des flops avec peu de joules. Les joules sont fonction de la finesse de gravure. Nvidia grave en 65nm... Intel en 45 et bientôt en 32....

La course est là. C'est celui qui pourra fondre avec la meilleure finesse gagnera.

Dans ce contexte, Je ne trouve pas judicieux du tout de s'équipper avec toutes ces technos 'accélératrices'.... J'ai bien peur que le commerce l'ai emporté sur la technique.

oui oui et oui, pour openMPI et lustre (au passage tu peux ajouter, mpich/mvapich, la stack OFED pour infiniband, tu peux ajouter slurm dans une autre catégorie, openipmi.....) mais si tu regardes le coeur du métier, on utilise trop peu gcc et beaucoup trop (à mon goût) les compilos intel par exemple.

On parle de performance là, donc les compilos c'est de la techno centrale (core) et il me semble que les 'investissements' des industriels sur gcc sont trop légers.

alors que sur linux par contre il s'est passé des tonnes de choses interessantes (par exemple sur les gros SMPs mais pas uniquement) que les gros acteurs de l'HPC ont contribué.

...par des organisations qui ne souhaitent pas en faire la publicité.

cf: http://securisphere.blogspot.com/2007/01/la-nsa-du-mal-boucl(...)

Regardez comme la ville de Baltimore s'est plainte récemment de la conso. d'electricité des services secrets américains (donc uniquement sur le site attaché à Baltimore): 75 MégaWatts..... à côté "Ranger" ça fait petite maquette..... La NSA ils doivent avoir tout un bataillon de Rangers :-)

Faites le calcul avec n'importe qu'elle architecture de processeur, le pétaflop est déjà du passé pour ces gens là..... et il ne s'agit que d'un seul site et d'un seul pays.....

En fait le top500 devrait s'appeller top600.... et commencer à la 100ème position. Dommage qu'on ne puisse pas prendre de paris....

pour ce qui est des architectures Cells versus x86, moi je n'ai plus aucun doute, c'est Intel qui a gagné, et c'est avec le x86 qu'il va continuer..... pas la peine de perdre son temps avec les autres architectures, elles sont plus que jamais exotiques même si techniquement elles avaient un quelconque coté sexy. Et pour le système d'exploitation c'est Linux.

Une remarque sur ce dernier point, le HPC est loin d'être un domaine examplaire pour le libre, parceque mis-à-part linux pour le kernel, les stacks sotftware utilisées dans la majorité de ces machines sont propriétaires de chez propriétaire, batchs schedulers, applications, debuggers parallèles, profileurs, middlewares (comme MPI), drivers, logiciels de managements.....

Peut-être qu'un jour on verra plus souvent des vraies machines HPC à base de libre mais pour le moment c'est le dernier souci de cette industrie et à la limite ce n'est pas étonnant mais je voulais le mentionner.

PS: merci pour l'article, il est très intérressant.

excellent !
Comment est-ce que tu as fait ? t'as un secret de fabrication ? Si oui, est-ce que tu peux nous le divulguer ....

bonne soirée.

L'objectif c'était que le process fils n'hérite de rien (ni les fichiers, ni les sockets). Après fork, on ne peut pas ré-établir toutes les connections puisqu'on a perdu l'historique.

En fait la bonne solution c'est mettre le flag close-on-exec sur les filedescripteurs. avec fnctl.... ça marche maintenant.

merci!

merci de votre aide,

malheureusement mon idée ne semble pas marcher:

mon appli initiale faisait:

1) ouvre_sockets();
2) system("ssh machine programme&");
3) travaille_sur_les_sockets();

maintenant, avec mon bidule en plus:

1) ouvre_sockets();
2) if (fork()==0) {
for (fd=0;fd<maxfd;fd++) close(fd);
system("ssh......&");
exit(0);
}
3) travaille_sur_les_sockets();

et le gros problème c'est que maintenant travaille_sur_les_sockets() (dans le corps du pere) cartonne en me disant que mes sockets sont perdues.

Avez-vous mieux à proposer ?

Merci d'avance.

Ton noyau bigmem indique que tu as installé une distro 32bits.

Malheureusement tes processes ont donc 32bits d'espace d'adressage: 2^32bits=4GBytes.

Si ton hardware supporte le 64bits tu peux envisager de réinstaller une vraie distro 64bits. Du coup tu pourras adresser tes 12Gbytes dans un process.... Par contre, le passage au 64 bits n'est pas nécessairement synonyme de performance. Surtout pour des codes bases de donnée.

Pardonnez mon ignorance, j'ai une question:

C'est quoi la différence avec Amarok ?

Merci d'éclairer ma lanterne.

J'ai pas confondu, mon intention était bien de poster dans linux debian mais les menus sont tellements petits que mes gros doigts on du ripper sur le mulot.....

D'ailleurs finalement ma question était trop fastoche parceque dix minutes après l'excellente réponse d'Anakin j'ai trouvé que dpkg -l me donnait également la réponse.....

Alors sans rancune...

Merci Anakin,
ça fonctionne :-)

que la force soit avec toi.

peut-être dmidecode ?

Je sais pas où tu t'es trompé dans tes calculs mais je sais que:

La perfo crête d'un Itanium est 4 flops / cycle / coeur
La perfo crête d'un Opteron est 2 flops / cycle / coeur

Donc un opteron 2.6 bi-coeur = 2.6*2*2 = 10.4 Gflop/s
Pour un Itanium 1.6 Ghz Montecito (bi-coeur également)= 1.6 * 4 * 2 = 12.8 Gflop/s

Voilà pour la théorie....

Après y'a la réalité:

Aussi magnifique que puisse être l'architecture EPIC, Intel n'a pas encore réussi à pondre un compilo à la hauteur. Non pas qu'Intel soit pas bon dans ce domaine, mais simplement que l'architecture EPIC est un véritable défi pour l'écriture de compilos.

Résultat: Avec un Itanium, il faut livrer un ingénieur pour avoir la perfo.
Avec un Opteron, sans faire trop d'efforts, on obtiens 60-70-80% de la crête.

Et c'est __ça__ qui est fondamental.

Pour ceux qui vivent de codes ISV achetés: l'Itanium peut-être très bien, de toute façon c'est l'ISV qui se cogne les difficultés, (les regressions de perfo. à chaque release de compilo..... )

Pour ceux qui maintiennent des codes maisons performants sur architecture out-of-order depuis des années, c'est le calvaire. Et ceux là diront que l'opteron enfume l'Itanium.

Mais de toute façon ce post est obsolète, ne le lisez-pas....

8 Gflop/s/ core sur Woodcrest.... j'ai mal à mon Opteron, j'ai mal à mon Itanium.

Une solution (et pas LA solution) est d'utiliser la fonctionnalité DMZ de ton routeur.
Cela permet de diriger automatiquement toutes les requêtes entrantes sur ton routeur vers une IP privée.

Sans un petit dessin de ton réseau, ce sera difficile de t'aider plus.

On va retrouver une photo nette du tueur dans un reflet de papier bonbon d'un original tout pourri !

Allez, je sors.

Bonjour,

Les disques durs, sans "e" à la fin. Le Français a la vie dure. Bref...

quand je m'amusais à ajouter/enlever/changer des disques, je reperais toujours les:

Host
Bus
Target
Lun

genre 0:0:0:0

Et puis tu fais un truc du genre
echo "scsi add-single-device 0:0:0:0" > /proc/scsi/scsi

Et normalement sans rebooter/sans recharger le driver (technique qui fonctionne sauf si ton disque / est sur la même carte ou le même type de carte que tes disques hotplugs) tu peux utiliser tes disques.

dmesg/ google sont aussi tes amis.

echo "scsi remove-single-device 0:0:0:0" > /proc/scsi/scsi devrait te permettre de signaler au kernel que tu a l'intention d'enlever le disque en 0 0 0 0.