lasher a écrit 2743 commentaires

Hé, psssst! pBpG ! Je te pertinente beaucoup sur ces fils de discussion, mais au risque de répéter ce que t'ont déjà dit d'autres gens plein de fois, steup, utilise la syntaxe de citation :

> [la citation]

[une ligne vide]

[ton texte]

Mes yeux te remercient d'avance ! :)

Perso, je n'alloue rien pour un PDF. Je fais un mmap et je laisse l'OS faire son boulot.

Je pige pas bien. mmap est utilisé en sous-main (avec brk) pour allouer la mémoire sous Linux. Ensuite, mmap peut échouer, et du coup tu dois tester la sortie en erreur.

Note : je sais bien que tu veux dire que tu utilises mmap pour mapper le fichier PDF en mémoire. Sauf que, il serait aussi tout à fait envisageable que le PDF soit généré à la volée, et fasse effectivement ~20Mio…

Dans tous les cas, ton mmap peut potentiellement échouer, et dans ce cas, il faut bien signaler au client qu'une erreur s'est produite. En quoi cela change-t-il d'une allocation mémoire qui échoue ?

Si on a vraiment besoin de faire de grosses allocations, il faudrait AMHA utiliser des huge pages et ça ne se gère pas de la même manière.

Deux remarques générales :

1. Utiliser les huge pages ne change pas le fait que malloc rendra toujours une adresse valide sous Linux (allocation optimiste), et donc que la valeur de retour sera presque tout le temps inutile (mais pas à ignorer si tu veux que ton code soit portable — il existe d'autres systèmes qui allouent la mémoire avec une stratégie différente).
2. Les huge pages sont utiles pour éviter la fragmentation mémoire et réduire les TLB miss. C'est tout (et en fait c'est déjà énorme pour un code qui cherche la haute performance et qui est memory bound). Ça ne joue pas sur l'allocation en elle-même.

En ce qui concerne Linux en particulier, la façon dont les huge pages sont implémentées tiens du gros hack (on doit spécifier le nombre de grandes pages qu'on veut allouer au boot, pour s'assurer de la contiguïté de la mémoire physique), et c'est géré plus ou moins via les mêmes mécanismes que pour les segments de mémoire partagée (en tout cas c'était le cas il n'y a pas si longtemps).

Pendant sa thèse, Alan Cox avait publié un article très bien sur les « superpages » et comment les allouer. Il avait fait ses tests sur Alpha avec FreeBSD. L'idée est de découper la mémoire virtuelle en utilisant la taille maximale des pages du système (sur x64 : 4Mio). Si la charge de la machine et le « profil » des programmes qui tourne dessus requièrent des allocations plus petites, une superpage est ensuite redécoupée en utilisant la taille de page directement inférieure à celle courante. Les différentes pages sont affectées aux pools pour chaque taille. Évidemment, le système doit essayer de recycler au maximum les pages de taille inférieure, pour limiter la fragmentation de la mémoire virtuelle. De même, si un ensemble de « petites » pages sont contiguës en mémoire, le système doit essayer de les « upgrader » vers le pool des pages de taille supérieure. Ce genre de méthode est très pratique sur les machines qui ont des tailles de page configurables (il y avait un microcode sur Alpha qui permettait de le faire; sur Itanium la taille des pages est arbitraire et configurable aussi; etc.).

[à propos d'un vieux serveur en zone sécurisée] il fallait probablement 2 kilos de paperasse en 4 exemplaires rien que pour changer une souris, alors ils faisaient avec je pense.

Ou bien ils n'avaient plus le code source de l'application de simulation. Ce n'est pas complètement une blague : c'est vraiment arrivé dans des endroits très, très sécurisés…

Ça fait des années (genre, facilement 10 ans) qu'utiliser testing et pas stable suffit pour avoir une Debian pas trop à la ramasse en termes de versions des softs tout en étant stable.

Note que je ne suis pas un zélote de Debian, mais il me semble important de le souligner.

Je ne suis pas d'accord. Des générations entières de futurs informaticiens ont appris la programmation grâce à BASIC. Je vois deux façons d'apprendre à programmer :

1. Soit tu commences vraiment tout en bas, façon Programming from the Ground Up, où on commence par l'assembleur, et quelque part on apprend un peu façon « physique/électronique ». Je trouve la démarche intéressante (c'est plus ou moins comme ça que j'ai commencé), et ça a l'avantage que, si la méthode fonctionne avec celui qui la reçoit, comprendre le concept de pointeur est souvent extrêmement aisé.
2. Soit on commence façon « top-down », et donc avec un aspect plus abstrait et mathématique. Dans ce cas, l'important est l'expression d'algorithmes, ce que permet Python facilement. Il ne faut pas oublier qui est visé : un étudiant qui ne connaît sans doute pas grand chose à l'informatique, et qui se fout un peu de la performance — l'important est l'apprentissage.

En pratique, durant mes études j'ai alterné entre les deux méthodes, et ça m'a plutôt pas trop mal réussi.

Et bien maintenant tu sais : même en lycée généraliste, on utilise des outils de DAO/CAO pour la filière Sciences de l'Ingénieur. :-) En gros, si tu choisis SI en tronc commun de 1è/Terminale scientifique, tu laisses tomber les SVT, et tu as 4 heures de mécanique et 4 heures d'électronique à la place (1h de cours magistral de chaque, et 3h de TP de chaque). J'ai fait du dessin industriel depuis ma seconde (j'avais pris une option « techno » en 2nde : TSA, Techniques des Systèmes Automatisés), et avoir un soft de type SolidWorks pour mieux visualiser ce qu'on apprend en théorie (on ne fait que de la méca statique, mais malgré tout, ça reste rigolo de pouvoir voir les forces à l'œuvre sur nos études de cas), c'est jamais gâché.

À noter que le tronc commun SI est une spécialité en soi (coeff 9 au bac divisé en coeff 6 à l'écrit, et un TP noté de 4h, coeff 3), mais qu'on a aussi le droit de passer une spécialité en plus (physique-chimie ou maths). Et si savoir utiliser AutoCAD/SolidWorks c'est cool, ça n'a absolument aucune espèce d'impact à l'écrit ou pendant les TP, puisque tout se fait au stylo/crayon/gomme — l'horreur pour moi, qui est plutôt du genre bordélique, avec des traits qui dépassent tout le temps, des traces de gomme…

Je m'étais un peu douté lorsque tu as mentionné Catia. :-) Malgré tout, tu répondais à un post qui, lui, parlait des « profs de techno ».

Ensuite, même avec les histoires de différence Catia v4/v5, je pense qu'il y a un souci : soit tu as bien compris les concepts derrière Catia, et dans ce cas, quelqu'un devrait passer un à deux jours pour te former sur la différence entre les deux versions (ou en tout cas, tu devrais avoir une liste de questions sur « comment faire ceci ou cela », et un collègue devrait te répondre); soit tu n'as pas compris, et dans ce cas-là, v4 ou v5, ça ne change pas grand chose : tu auras d'autres difficultés à surmonter entre temps.

J'ai bien conscience qu'être efficace dès le « jour 1 » avec le logiciel utilisé dans une boite est un plus. Pour autant, si la boite ne peut pas consacrer deux jours à un ingénieur junior (dont on sait qu'il ne sera de toute manière pas réellement productif avant un à deux mois de toutes façon), disons une demi-journée/une journée avec un ingé qui sait déjà comment ça marche, et une autre journée pour s'auto-former et s'adapter à une version différente), y'a baleine sous gravillon.

Le problème est plus complexe que cela. L'objectif, pour les élèves ne consiste pas seulement à faire tourner un assemblage de cubes, mais est aussi de leur apprendre l'utilisation d'un logiciel très utilisé dans le monde de l'entreprise.

C'est un peu de la foutaise honnêtement. Si on parle de lycées autres que professionnels, ils n'ont par définition pas de vocation à former de futurs techniciens. En France, en lycée techno, tu vas normalement évoluer vers un BTS (ou un CAP). En lycée général, ce sera la fac (générale ou IUT), l’école d’ingénieur/de commerce, ou éventuellement le BTS.

Lorsque j’étais au lycée il y a maintenant un peu beaucoup longtemps, j'étais en tronc commun technologie industrielle (aujourd'hui appelé sciences de l'ingénieur). Nous utilisions AutoCAD (sous DOS, v8 ou 9 je crois), histoire de comprendre comment fonctionnait un logiciel de DAO. Par contre, nous étions déjà bien "en retard" question version, puisque AutoCAD 13 ou 14 (pour Windows 9x/NT) était sorti. Parce que l'important c'est de comprendre les principes des logiciels de DAO, pas de nous former sur les versions disponibles en entreprise (de la même façon qu'apprendre les bases d'un logiciel de traitement de texte se fait aussi bien avec OpenOffice 2.x, LibreOffice 3.y, ou MS Word 2003, 2007, ou 2010…).

Pour SolidWorks, j'ai été l'un des premiers utilisateurs de mon lycée (qui venait d'acheter une licence—une seule, sur un PC unique). A l'époque, il n'y avait absolument aucun logiciel libre pour faire la même chose—que ce soit pour la DAO ou la CAO [1]. Par contre je suis certain qu'ils ne mettaient pas à jour leurs versions des qu'une nouvelle était dispo—pas de raison de le faire dans un cadre pédagogique, et puis une licence, ça coûte des sous.

Bref, si tu as besoin d'un outil et qu'il n'est pas disponible pour ta plate-forme, alors bien entendu utiliser du proprio n'est pas débile. Mais il ne faut pas justifier l'utilisation d'un soft propriétaire au lycée ou au collège sous prétexte que c'est ce qui est utilisé en entreprise.

[1]je vous parle d'un temps que les moins de vingt ans ne peuvent pas connaitre, occupes qu'ils étaient à courir dans la cour de récré en maternelle ou primaire… [2]
[2] Même maintenant je ne suis pas certain qu'il y ait beaucoup de softs au même niveau que SolidWorks en termes de fonctionnalités / ergonomie

35000 USD / an (bruts) c'est même pas le prix d'un codeur junior dans la plupart des états US… Disons que pour 6-8 mois de travail, oui, ça te paie un programmeur à plein temps.

Ah, mea maxima culpa donc. J'avais pourtant relu ta réponse pour justement éviter … ben exactement ceci. :)

Je n’étais pas à cette conférence, donc je ne vois pas bien de quoi tu veux parler. Par contre le memory wall, comme le dit bien le slide "page 4", est un truc "connu" depuis 95, qui est devenu bien plus important depuis que les processeurs sont devenus multi-cœur. Je ne dis pas que la mémoire (latence, bande passante) n'est pas un facteur limitant. C'est un fait.

Je dis par contre que dire que les I/O ne sont pas limitants, c'est de la blague. Lors de la simulation proprement dite, c'est plus ou moins vrai : on tente au maximum de tout mettre en mémoire (parce que si on arrive à un point où le programme va en swap, alors tout est fichu). Et évidemment, on cherche absolument à limiter les communications : malgré les avancées en termes de réseaux d'interconnexion et de latences, ces dernières coûtent énormément a l'application en termes de temps d'exécution si elles ne sont pas correctement orchestrées (d'où, par exemple, l'emphase sur l'utilisation de primitives MPI asynchrones, mais qui rendent les applications bien plus compliquées a débugger).

Dans la présentation que tu pointes, il est dit qu'en 1989 on collectait 10 Gio de données; qu'en 2010 on monte à 1 Tio, etc. Moi je te dis que dans pas mal de simulations faites dans les labos du DOE, 1 Tio, c'est le minimum généré. Je suis presque certain que dans pas mal de labos du CEA c'est vrai aussi.

Un autre exemple : je bosse pas mal avec des simulateurs de processeurs dans le cadre de mes recherches. Simuler environ 10 secondes de calcul, avec toutes les traces à fond, ça représente plusieurs heures de simulation (entre 2 et 4 minimum), et plusieurs dizaines voire centaines de gigaoctets.

Demande à n'importe qui faisant du HPC sur des calculateurs nationaux ou internationaux tu comprendras que les IO sont loin d'être limitant.

Ça c'est faux. Les entrées-sorties SONT limitantes, car de plus en plus de simulations HPC ont l'une ou l'autre de ces caractéristiques:

• Elles ont des modèles physiques de plus en plus détaillés (conséquence de la capacité à faire du weak scaling, i.e. à augmenter la part de parallélisme à mesure que tu augmentes la tailles des entrées)
• Elles commencent à proposer pas mal de d'options d'interactions, sans nécessairement aller jusqu'au temps réel, et donc de changer certains paramètres au fur et à mesure de l'exécution du programme
• Elles proposent des framework de visualisation de plus en plus complexes, qui nécessitent énormément d'informations en sortie → on parle de Pio (peta-octets), voire plus dans certains cas.

J'oublie sans doute d'autres aspects. Dans tous les cas, les I/O, ce n'est pas que dumper des données sur le disque, c'est aussi un problème de contention sur les réseaux spécialisés (Infiniband, Quadrics, etc.). Le memory wall reste un vrai problème, mais le nouveau qui fait bien chier, c'est le power wall/_heat wall_ : l'énergie consommée par les nouveaux calculateurs est bien trop importante, et il faut absolument changer notre façon de faire des supercalculateurs.

J'étais à un workshop il y a 2 ans, qui parlait des modèles d'exécutions/de programmation pour le HPC, ce qui implique aussi entre autres les innovations pour la matériel. Vers la fin de la journée, tout le monde avait parlé. L'une des remarques qui a été faite par deux responsables du département de l'énergie US, c'est « Vous nous avez parlé d'exprimer le parallélisme, de correctement gérer la mémoire, de parfaitement occuper tous les milliers/millions de cœurs d'une machine, et c'est effectivement très important. Pour autant, n'oubliez pas les I/O. »

Le DOE, le DOD, le CEA, etc., ont des processus qui accumulent de plus en plus de données, et les systèmes de fichiers (même Lustre) ne sont pas forcément très très doués pour gérer la quantité de données produites.

Et pour Stéphane ? Certes, 99% de ceux-ci sont des hommes. Mais il existe des Stéphane femmes.

Dans tous les cas, ton argument ressemble beaucoup à un "si tu n'as rien à te reprocher, pourquoi le caches-tu ?"

Tu as essayé de lancer FF dans une VM Windows? C'est qu'à moitié une blague en fait. On avait déjà eu des surprises, du genre FF-Win-dans-VM (ou p'tet Wine ?) qui va plus vite que FF-natif-Linux (y'avaient de « bonnes » raisons, telles que la profile-guided optim activée dans la version MSVC++, mais quand même). Et apparemment ils avaient mieux optimisés FF-Linux. J'aimerais bien savoir sur FF-Win-dans-Linux a le même comportement RAMophage.

Jésus a ressuscité Lazare & co. Il est allé trop loin ? :) Bref t'es en train de dire « bouh, les comics de super-héros¹ font des trucs façon space opera et mélangent aussi la SF avec des histoires de magie et de monde contemporain, au bûcher² ! »

Pour faire bref, je trouve que ton commentaire est le même genre que ceux que j'entends à propos du hard rock/du métal, du rap, du space opera ou de la SF, etc., bref de tout ce qui a trait à un genre : bien que le support ait 70 ans, tu ne vois que les stéréotypes, et pas tout ce qui est créé autour,

Je trouve au contraire que le format comics/super-héros permet plein de choses, du fait que plusieurs scénaristes et dessinateurs peuvent travailler sur les mêmes personnages. Par exemple :

1. Alan Moore (From Hell, Watchmen, The League of Extraordinary Gentlemen³, V for Vendetta pour les œuvres les plus connues) a repris les personnages de WildC.A.T.s, une BD créée par Jim Lee et Brandon Choi qui était, disons, jolie, mais avec un scénar pas forcément super intelligent. Après le passage de Moore, les personnages sont tous transformés, traumatisés, etc., et acquièrent une profondeur peu commune⁴.
2. Au début des années 80, Frank Miller (300, Sin City, Batman: Year One, The Dark Knight Returns, pour ne citer que les plus connus) a transformé un super-héros moribond, et dont la série allait sans doute être annulée, Daredevil, en un héros torturé par le bien et le mal. Il en a profité pour inventer Elektra, montrer comment un homme profondément marqué par une éducation religieuse, et par le besoin de faire le bien, pouvait être attiré par quelqu'un qui visiblement avait une part d'ombre, était dangereuse, etc. C'est aussi sans doute le premier super-héros vraiment « gentil » qui, suite à un événement traumatisant, décide de ne pas laisser le meurtrier de l'amour de sa vie s'en sortir en allant « juste » en prison.
3. Warren Ellis (The Authority, Transmetropolitan, Planetary) a incorporé tout un tas de personnages fictifs du domaine public pour renforcer une certaine ambiance pour certains de ses projets (par exemple, Elijah Snow a étudié l'art de la « détection » avec Sherlock Holmes dans Planetary). Il a aussi montré comment réinventer des personnages qui auraient pu être de véritables catastrophes. Ainsi, Norman Osborn, super-villain notoire (Green Goblin), avait été tué en 1973. Ils l'ont « ressuscité » à la fin des années 90, ce qui était bien évidemment un gros coup commercial. Le personnage aurait pu rester dans son stéréotype de savant fou obsédé par Spiderman. Lorsqu'Ellis reprend la série Thunderbolts vers 2007, il fait évoluer Osborn en un personnage toujours cynique, toujours fou, mais qui se soigne (même s'il a clairement toujours un problème avec Spiderman). Quelqu'un de finalement assez abject, mais qui malgré tout veut bien faire.
4. Bill Willingham initié une longue histoire, appelée Fables, où l'on apprend que les personnages de contes de fées sont tous réels. Bigby (a.k.a. le grand méchant loup) a pris forme humaine, et est le shérif de Fable Town, une sorte de village composé de ces personnages en plein cœur de Manhattan. L'un des trois petits cochons (qui depuis a bien grandi) squatte régulièrement chez lui, parce qu'après l'incident des trois chaumières (paille, bois, brique, tout ça), Bigby a dû aller là où il pouvait. En résulte un mélange de magie et de technologie contemporaine, grâce à la réutilisation de personnages tous issus du domaine public.
5. Brad Meltzer a écrit Identity Crisis, qui se passe dans l'univers DC, et où les héros tentent de comprendre qui a pu tuer la femme d'un héros relativement mineur (mais malgré tout l'un des plus anciens de la bande) : Elongated Man.

Avec Fables je me suis un peu rapproché du thème original du journal, mais écarté de celui de ce fil de discussion. Et donc non, je ne crois pas que les comics aillent « trop loin ». Au contraire, on se retrouve du coup avec des gens comme Grant Morrison qui écrivent All Star Superman, et qui finalement vont au bout de l'idée du surhomme : il s'agit bel et bien d'un nouveau messie, ou même d'un dieu (fin mythique/biblique incluse).

L'utilisation de technologie, la manipulation de la réalité, etc. ne sont que des moyens pour raconter une histoire sur les dieux, et les hommes qui voulaient percer leurs secrets. Je ne vois pas en quoi ça change des mythologies classiques.

[1] Parce que bon, y'a PLEIN d'autres BD US qui ne sont pas de super-héros du tout.
[2] Je sais bien que tu ne veux pas dire ça, hein. :-)
[3] Tiens, encore un exemple de réutilisation de personnages fictifs et/ou mythiques pour en faire quelque chose de neuf et franchement jouissif.
[4] Notons que dans le cas des personnages de Image Comics/Wildstorm, c'est relativement plus simple, car étant très « jeunes » en terme de date de création (1992), lorsque A.Moore reprend l'écriture en 1995, il n'y a encore aucun « canon » pour les personnages, et donc il est encore possible de changer la donne. Moore est coutumier du fait : il avait fait pareil 10 ans plus tôt avec _Swamp Thing_.

Bon, je suis un gros gros fan de BD, notamment de comics, et si, il est parfaitement clair que les super-héros ont construit une nouvelle mythologie. De même, explique-moi comment tu peux reprocher aux protagonistes de comics d'ignorer la physique, quand (disons) Zeus peut se changer en n'importe quel animal, faire l'apologie de la zoophilie, du coup créer tout un tas de monstres, créatures, et demi-dieux de par cette union ?

De même, les super-héros de Marvel, DC, etc., sont tous très humains au final.

Bref, je suis complètement d'accord avec Benjamin G., la bible, les mythes grecs, scandinaves, etc., et les BD de super-héros tiennent tous de la mythologie.

Hors ici […]

« Or ici »

Je suis déjà parti.

Boarf, tu peux toujours donner des dimensions « infinies » de la page à TeX non ? :-P Du coup TOUT tiendrait sur la même page virtuelle (certes, les marges gauche-droite seraient toujours à redéfinir, mais c'est un moindre mal).

Je suis biaisé, mais dans mon domaine (recherche en info), oui. L'exercice qui consiste a expliquer sa recherche en 4, 8, 10, 12, ou 25 pages (ou 6000 mots, etc.) est important, car il force le ou les auteurs à rester suffisamment concis. Ensuite en tant que reviewer, je suis plutôt content lorsque les papiers que je relis font (en moyenne) 10-12 pages : c'est déjà parfois assez compliqué, si en plus tu laisses les auteurs décider de la longueur de leur bidule, je vais passer mon temps à relire les articles des autres…

Évidemment. C'est difficile d'être financièrement indépendant de l'organisme qui verse notre salaire. C'est justement ce que j'essaie d'expliquer : si un chercheur fait part de ses découvertes à sa communauté, et ce quelle que soit son affiliation, alors la communauté peut toujours¹ vérifier ses dires.

D'autre part, il est parfaitement possible que des chercheurs bossant pour un organisme donné obtiennent des résultats qui ne sont pas en leur faveur, et plutôt en celle de leur(s) concurrent(s). Souvent ce qui se passe c'est qu'ils ne cherchent tout simplement pas à publier ces recherches tant qu'ils n'arrivent pas à être meilleurs. Et donc il n'y a pas mensonge — même pas par omission : un chercheur est libre de soumettre ce qui lui semble intéressant à soumettre. Dans tous les cas, les autres chercheurs ont le droit (et souvent le devoir même si malheureusement le travail de vérification est souvent moins bien vu que la publication de nouvelles recherches, surtout en info j'ai l'impression) de vérifier ce qui est soumis à revue.

[1] Bon en fait, c'est pas exactement toujours, mais les limitations sont vraies pour tous les chercheurs sans exception en ce qui concerne la capacité (ou pas) à reproduire des expériences.

Quiconque à écrit un article en TeX qui doit tenir en X pages, sait que l'on joue avec les \vspace{-0.5cm} et \hspace{-0.5cm} pour que ça tienne

Oui. Maintenant, explique-moi comment tu fais avec un quelconque autre outil (y compris word/writer) pour faire tenir ton document en x pages sans passer par des « artifices » équivalents — et donc de façon automatique, je suppose. Ça m'intéresse.

Si on écrit en TeX, on ne peut générer qu'un pdf (par défaut). Or ce qu'il faut c'est un langage pour décrire le contenu du fichier (et epub n'est pas trop mal) et après on peut visualiser le résultat […]

Tu veux dire, comme le format DVI (Device Independent), qui en fait est le vrai format par défaut de (La)TeX ?

C'est complètement une typo. La mémoire des doigts a utilisé la touche « compose » un peu trop vite… Oups !

Bon en fait j'ai vu cette citation attribuée à Voltaire aussi. Mais l'un ou l'autre (on est en Français, donc le « où » est inclusif ;-)) me va très bien. :)