Sytoka Modon a écrit 4551 commentaires

Ca a l'air intéressant mais j'ai quand même des doutes que cela marche en pratique sur des cas complexe comme OpenFoam par exemple… (doit avoir 40 variables d'environnement pour que celui-ci marche). Ce truc me rappelle ThinApp de Vmware après une lecture très rapide…

Comment qu'on fait sur les machines de calcul ?

On installe sous /opt/mon_prog/version/… puis on ajoute les chemins qui vont bien dans des variables d'environnement : PATH, PYTHONPATH… Cela peut être fait de manière module et assez proprement avec "modules" (si celui-ci n'était pas basé sur Tcl que je n'aime pas).

Bref, la très grande majorité des programmes peuvent se contenter de la structure historique d'UNIX avec les variables d'environnement. Il faut que les codes explicites mieux sur leur site comment installer ailleurs (en général via --prefix) et les variables d'environnement importante.

Il faut arrêter de trop programmer en variable global avec des services qui ressemble trop à une base de registre. Sous une apparente simplicité, cela complexifie énormément les installations parallèles et l'utilisation parallèle de X version.

Il y a des personnes qui travaillent sur une version de Xen avec des GNU/Linux autour. En gros, un Linux par fonction (reseau…) afin de séparer les choses. Ensuite, les applications sensibles tournent chacune dans un domU autonome. Bref, du conteneur mais au niveau hyperviseur.

Tout cela est très bien car cela fait avancer les choses et met en évidence des problèmes de perf et de protocole mais c'est pas pour demain chez nous ;-)

Rien !

Ce truc fait du cache mais il a (avait) bien trop d'effet secondaire pour moi !

Actuellement, j'ai les comptes sous LDAP avec sssd qui fait le cache local pour si le réseau est en rade. Marche relativement bien…

Première chose à faire sur une machine GNU/Linux : apt-get --purge remove nscd

J'ai jamais aimé ce truc…

c'est pas des chercheurs académiques qui n'ont pas à rendre des comptes qui ont été payés pour le faire

Phrase gratuite absolument fausse sur le domaine des sciences de l'ingénieur, branche dans laquelle je travaille. Les chercheurs passent une grosse partie de leur temps dans les évaluations X ou Y et peu d'industriel en ont conscience !

A une époque, il y a eu ENBD, une amélioration de NBD permettant de faire du RAID1 sur le réseau. La problématique de la reconstruction rapide a alors été prise en compte via un driver noyau fr1.

http://enbd.sourceforge.net/

Tout cela date un peu mais reste intéressant à connaître.

Je parlais de faire des QCM de 10 minutes en début de séance de TD

Si on parle d'étudiant, on parle de personne ayant plus de 18 ans (en général). En tant qu'enseignant, je ne suis pas là pour faire garderie. S'ils ne bossent pas, je ne vais pas leur prendre la main pour voir s'ils ont travaillé via un QCM…

Un QCM peut être un très bon outil pour vérifier des apprentissages fondamentaux

En tant qu'enseignant, j'ai fait quelques QCM. Pour moi, c'était une horreur à fabriquer. Je trouve cela pernicieux voire vicieux. Plutôt que de faire un beau sujet construit qui mène à une réflexion d'ensemble, tu passes ton temps a essayer de cacher la réponse bonne et à trouver des réponses qui paraissent bonne mais sont fausses ! Pour le droit ou le code de la route ou…, cela a son utilité mais en sciences pour l'ingénieur, son domaine d'utilisation est faible.

Je suis assez d'accord. J'ai eu pendant des années un serveur Norton (Symantec) sous NT4 avec zéro soucis… Les attaques du moment ne marchait plus sous NT4 !

C'est pas forcément quelque chose de bien et c'est surtout pas à généraliser mais localement, c'est vrai que cela marche pas si mal.

Matworks y arrive bien avec Matlab, idem Ansys… Attention quand même à la 3D mais c'est tout.

Il suffit soit de compiler en statique, soit de mettre toutes les bibliothèques dans l'archive et d'avoir un script de lancement qui configure LD_LIBRARY_PATH et autre…

A savoir, les logiciels propriétaires embarque java, python, mesa… Bref tout pour être le plus tranquille !

Pas forcément, webm est un container vidéo. Pour une petite animation ou ne veut veux pas de perte (jpeg), le gif animé a sa place…

Évidement c'était une boutade. Il est facile de paralléliser des centaines de job identiques (sauf du coté des IO !). Évidement on utilise un batch manager mais essayes de lui faire manger 50000 jobs d'un coup, il y en a qui n'aime pas… Mais bon, cela se résout assez facilement au final.

Il n'empêche que j'ai vu un exposé présentant des performances en IO sur HDF5 entre la version classique et la version asynchrone (et //) impressionnante. C'est un sujet pas facile mais dès qu'on est sur un grand nombre de coeur et des données de taille importante, ne pas en tenir compte peut être très pénalisant. Je ne sais pas si gmic pourrait s'inspirer de ce genre d'API.

Je ne sais si tu avais vu mon smiley.

Je ne suis pas sur le serveur de bogue du logiciel ni sur une liste de discussion "pro" mais sur dlfp alors j'avoue ne pas toujours me relire et laisser le fils de l'eau se faire. Il faut bien des espaces de liberté.

Cela étant dis, il y a des traitements longs, je me souviens des premières versions de greystoration par exemple ou le traitement d'une seule image prenait un temps fou ! Si tu veux faire de la PIV sur un champs de vitesse, il faut comparer deux images deux à deux afin d'avoir le déplacement des points. A ce que j'ai compris (ne suis pas du tout un spécialiste du domaine), cela se fait en général par la recherche dans une fenêtre autour de chaque point, plus des interpolations entre point sinon le résultat n'est pas bon… On sais que dès qu'on cherche une notion de vitesse ou d'accélération, deux points dans le temps donne un résultat parfois faible et qu'il vaut mieux travailler sur trois ou 5 points temporels (donc 3 ou 5 images…). Mais plus ton schéma est complexe, plus il est long en temps (surtout qu'il y a tous les cas particuliers sur les bords). Alors avec la 3D…

Il y a aussi un domaine intéressant dans le montage vidéo. Dès que l'on veut faire des effets, on a en général un moteur qui donne un premier résultat proche rapidement pour voir si cela convient puis on lance le montage proprement dis qui peux mettre des heures a se faire. Si le coeur de ton processus de traitement d'image n'est pas parallèle, tu ne vas pas monter vite ton film.

Bref, il y a tout plein de raison d'avoir un coeur parallèle de nos jours…

C'est ce que l'on fait. Mais sur les machines de calcul, les scheduleurs n'aiment pas toujours quand tu leur balances 50000 job d'un coup ;-) En fait, le soucis est ailleurs, si tu veux travailler sur des champs 3D à partir de N image en tranche (type tomographe), le traitement est très lourd. Les copains d'à coté ont une machine avec 3 cartes TESLA pour faire les traitements…

La nouvelle carte Intel Xeon Phi est très proche d'un processeur Xeon classique. Normalement, Intel devait gérer OpenMP de manière transparente sur cette carte (ce qui n'est pas le cas de Nvidia il me semble). Si on veut faire de l'imagerie type temps réel (médical) ou sur des images à grandes résolutions (80millions de pixel en 14 bits), il faut, à mon sens, que le moteur interne puisse être parallèle. Depuis quelques années, c'est le fait d'améliorer la parallélisation qui permet de continuer à monter en performance.

A ma connaissance, gmic n'était pas parallélisé. Si c'est toujours le cas, y-a t'il quelques choses de prévu ? En effet, les images sont de plus en plus grosses (les calculateurs aussi). On a dans mon laboratoire (UMR aussi) par exemple un appareil photo qui prends du 80 million de pixel, une image raw fait 500Mo… Ca commence à faire quand on en a des milliers à traiter.

Sinon, je sais que les chercheurs qui m'entourent sont intéressé par deux choses. La reconstruction 3D via des vues 2D prises sur un tomographe et la PIV qui consiste à reconstruire un champ de vitesse ou de déformation via deux images prises à deux instants proches. Il y a aussi la PIV 3D ou on généralise la 2D avec plus d'image mais il faut que tout suive derrière (temps calculs, stockage, analyse…). Je pense que gmic a tout les atouts qu'il faut pour pouvoir répondre à ces questions.

C'est dans le projet XCPU qui est un peu mort mais xget est à mon avis l'outil qui est bien.

http://xcpu.sourceforge.net/xget/

Pas de multicast et autre qui ne passe pas les firewall…

Sur la machine relais, plutôt que

toto: toto@sfr.fr

Faire

toto: "|/usr/sbin/sendmail -oi -f chezmoi-transit@chezmoi.gandi.fr toto@sfr.fr"

Ainsi, le mail est clairement envoyé depuis Gandi… Le champ From est modifié mais l'utilisateur final ne le voit pas trop car tout a été bien prévu ! Normalement, le SPF est content même avec un '-all' car en cas d'erreur sur la seconde partie du trajet, cela remonte à chezmoi-transit@chezmoi.gandi.fr et non à l'expéditeur initiale.

C'est ce que je fais aussi. Si les sources tiennent dans un seul fichier, je mets LGPL + clause d'avoir le droit de copier coller le fichier directement dans le code source voisin. En gros, l'idée est de pouvoir utiliser le code n'importe ou mais qu'en cas d'amélioration du-dis fichier, on le fasse partager. Cela revient à ce que tu dis car un .a est une simple archive de .o

GCC, c'est aussi Fortran (et même Go avec un début de l'implémentation 1.1). Ada suit son rythme propre…

Pour Fortran, les fichiers d'en tête généré automatiquement sont modifiés… Dommage, il va falloir tout recompiler petit à petit. Ce serait bien de normaliser ces fichiers entre compilateur.

J'ai noté l'ajout de BACKTRACE qui doit donner la liste des fonctions actives à un instant donné. Pratique au développement. http://gcc.gnu.org/onlinedocs/gfortran/BACKTRACE.html

Le support complet de variable polymorphique (CLASS*). Fortran continue son bonhomme de chemin comme langage objet dédié au calcul. A chaque version, la norme 2003 et 2008 ont de plus en plus d'élément implémenté.

http://gcc.gnu.org/wiki/Fortran2003Status
http://gcc.gnu.org/wiki/Fortran2008Status

Oui et non…

En pratique, il suffit d'un client pour récupérer son code. Si cela s'avère critique, c'est donc possible !

La v3 a été faite pour cela justement.

Si ta boite est française, il y a la Cecill http://www.cecill.info/licences.fr.html, je doute qu'on fasse mieux que le service juridique du CNRS, de l'INRIA et du CEA. Pour une fois que ces trois la ce sont mis d'accord, faisons leur confiance !

Si tous des postes ne sont pas à la même version, tu risques de casser des choses notament avec Sid si tu n'est pas derrière.

Moi je gère avec cluster-ssh, je me connecte en // sur tous les postes et lances un mise à jour manuelle. Ainsi je vois quasiment de suite ou il peux y avoir des soucis.

sudo apt-get update && sudo apt-get dist-upgrade && sudo apt-get autoclean && sudo update-flashplugin-nonfree --install

Il y a bien flash qui est casse pied sur la fin… Heureusement que tous les paquetages ne sont pas comme lui !

L'objectif de la GPL n'est pas d'enfermer, son objectif est d'interdire à une boite privé de prendre le code, de l'améliorer et de prendre ensuite tes parts de marché avec sa version sans que tu ais son code. C'est tout.

Pour moi, le reste est du blabla de juriste globalement…

Si tu chroot, soit il faut un lien hard (même partition), soit un montage via mount --bind