Où vont les supercalculateurs ? D’où on vient, quels sont les problèmes, où l’on va (1re partie)

Posté par  . Édité par Davy Defaud, Ontologia, Thomas Debesse, Nÿco, patrick_g, Benoît, Yala, Benoît Sibaud et palm123. Modéré par Nÿco. Licence CC By‑SA.
121
5
juil.
2013
Technologie

Il y a un bail, j’avais dit que je voulais un jour parler des architectures haute performance, et de leur potentiel futur. Je me lance donc ici, en espérant que certains se permettront de me corriger là où j’aurai fait des erreurs (sans doute nombreuses).

Je vais diviser ces explications en trois parties. La première (qui suit juste après) va juste faire un rappel sur les architectures « séquentielles » de base. La deuxième partie (à venir très bientôt) s’occupera de décrire les systèmes multi‐processeurs et multi‐cœurs, ainsi que la raison de leur existence. J’en profiterai pour aussi expliquer les problèmes récurrents liés à l’exploitation de systèmes haute performance. La dernière partie parlera des efforts effectués en ce moment pour fabriquer les supercalculateurs du futur (disons à l’horizon 2020-2025).

Bogues de logiciel et bogues de management : 737 Max et autres catastrophes

113
27
août
2020
Technologie

Tout le monde sait ce qu’est un bogue sur un logiciel, mais un bogue au niveau management, cela existe aussi. Les conséquences peuvent être catastrophiques. Commençons par le Boeing 737 Max.

Le Boeing 737 Max est la dernière évolution du premier 737 sorti en 1967. Comme certaines caractéristiques ont été sensiblement modifiées, les concepteurs de l’avion ont décidé que le logiciel rattraperait les problèmes de stabilité. Par souci d’économie et pour concurrencer Airbus, Boeing a décidé d’aller vite, trop vite, en négligeant les principes fondamentaux du développement aéronautique qui ont permis à l’avion d’être le moyen de transport le plus sûr de tous.

Cette dépêche retrace également d’autres catastrophes, révélant les problèmes dans le processus de décision qui, bien souvent, éloigne les décideurs des alertes émises par du personnel compétent. Dans bien des organisations, les subordonnés sont incités à minimiser ce qui dérange la direction.

Joker, un logiciel pour doubler des films sous licence GPL

Posté par  . Édité par ZeroHeure, palm123, Benoît Sibaud, Nils Ratusznik et patrick_g. Modéré par patrick_g. Licence CC By‑SA.
100
7
nov.
2014
Technologie

Après avoir travaillé 6 ans dans deux studios de post-production parisiens spécialisés dans le doublage de film et de série, j'ai décidé de me mettre à mon compte et de développer un nouvel outil sous licence GPL. Il faut savoir que les logiciels utilisés en post-production sont quasiment tous propriétaires (Pro Tools, Final Cut, Avid, Mosaic, Synchronos…). Seul ffmpeg sert de temps en temps de boîte à outils vidéo mais parce que c'est gratuit et que ça permet de bidouiller dans son coin.

Joker est un logiciel capable de lire un fichier vidéo et un fichier texte (différents formats sont supportés). La lecture peut être synchronisée à un enregistreur externe en MIDI. La bande rythmographique qui défile donne des indications très précises de timing de début et fin. Il existe une vidéo illustrant le fonctionnement du logiciel et une autre du résultat que l'on peut obtenir (un peu d'indulgence, j'enregistre avec des amis débutants).

Et si la meilleure des cartes RAID était libre ?

Posté par  (site web personnel) . Édité par Nils Ratusznik, Nicolas Casanova, Tonton Th, palm123, NeoX, ZeroHeure, Jiehong, Nÿco et jcr83. Modéré par ZeroHeure. Licence CC By‑SA.
97
10
fév.
2014
Technologie

ZFS comme son nom ne l'indique pas n'est pas juste un système de fichiers. Plus je l'utilise plus je dirais même que le système de fichiers n'est qu'une des fonctionnalités sympa de ZFS. ZFS est avant tout un moyen d'organiser de façon efficace ses ressources de stockage, une sorte de carte RAID surpuissante.

NDA : merci à Nicolas Casanova, Tonton Th, NeoX, Jiehong, jcr83 et ZeroHeure pour leur relecture attentive

Mise aux poings sur systemd

96
13
juin
2014
Technologie

systemd est un gestionnaire du système et de services (aussi appelé « PID 1 », car c’est le premier processus à être lancé) pour Linux, compatible avec SysV et les scripts d’init LSB. systemd a des capacités de parallélisation énergiques. Il utilise les sockets et l’activation par D-Bus pour démarrer les services, permettant le démarrage à la demande des démons. Il surveille et commande les processus avec les groupes de contrôle (cgroups) Linux. Il prend en charge la construction d’instantanés et la restauration de l’état du système. Il maintient les points de montage et d’auto-montage, et implémente une logique de contrôle transactionnelle élaborée fondée sur les dépendances entre services.

systemd ne fait pas partie du projet freedesktop.org, bien qu’hébergé sur le site. Il est codé en langage C et publié sous licence GNU GPL 2.1+. Il a été lancé par Lennart Poettering, auteur de PulseAudio et d'Avahi entre autres, et est maintenant activement développé par plusieurs dizaines de développeurs.

La dernière dépêche concernant systemd a suscité de nombreuses réactions et certaines d'entre elles montraient une méconnaissance de ce logiciel : la dépêche se contentait, pour la majeure partie il est vrai, de traduire les notes de versions.

Je vais donc faire un point sur systemd, histoire d’en finir une bonne fois pour toutes avec les discussions sans fin sur systemd (l’espoir fait vivre).

Kalray un processeur massivement parallèle très impressionnant : Qu’il est loin le temps de mon ZX81

91
8
jan.
2014
Technologie

Quand je regarde les ordinateurs de compétition que nous utilisons aujourd’hui et ceux avec lesquels j’ai découvert l’informatique, j’ai l’impression de voir l’évolution de la vie sur terre — qui a commencé il y a environ 3,5 milliards d’années avec l’apparition des premières bactéries, pour arriver jusqu’à l’homme plus ou moins évolué que nous sommes aujourd’hui — ramenée à une soixaine d’années si l’on part du transistor jusqu’aux processeurs les plus avancés d’aujourd’hui, parmi lesquels le processeur MPPA MANYCORE de Kalray.

Entretien avec Andrew Tanenbaum à propos de MINIX

Posté par  (site web personnel) . Édité par Davy Defaud, Nÿco et Benoît Sibaud. Modéré par baud123. Licence CC By‑SA.
87
17
nov.
2011
Technologie

MINIX 3 est système d’exploitation libre sous licence BSD. Créé par le professeur Andrew Tanenbaum, il est basé sur un micro‐noyau et il vise avant tout la fiabilité et la modularité.

Alors que la licence d’origine était propriétaire et que le système était conçu avant tout comme étant un projet pédagogique, la situation a commencé à évoluer à partir de l’an 2000. La licence a été changée pour la BSD, puis, en 2005, c’est la raison d’être même du projet qui a changé. Plus question de système pédagogique réservé aux étudiants désireux de comprendre les entrailles d’un système d’exploitation !

Minix3

Héberger son courriel

87
11
oct.
2013
Technologie

Au vu d’un précédent sondage, les lecteurs ont largement envie de plus de howto/documentation. Voici donc un tutoriel pour mettre en place une solution pour héberger ses courriels. Jusque‐là, c’est assez classique, mais on va aller un peu plus loin en ajoutant une solution pour lutter contre le pourriel (spam), qui apprend en fonction de ce que l’utilisateur configure. Cette solution vise une installation pour quelques utilisateurs maximum (on ne parle pas de LDAP, par exemple). Qui plus est, ils doivent être de confiance, car ils ont accès à certaines commandes qui peuvent poser des problèmes. Ils n’ont pas non plus de quota maximum.

L’installation et la configuration ont été testées sur Debian Wheezy, mais devraient fonctionner pour toute distribution.

En route pour HTTP/2.0

86
24
mai
2012
Technologie

HTTP est devenu au cours des dernières années le protocole à tout faire. Au départ prévu pour servir de l'information structurée par lien hypertexte, il est aujourd'hui utilisé pour tout et n'importe quoi. Cette évolution ne va pas sans poser de problèmes. C'est pourquoi sous l'égide de l'IETF un groupe de travail httpbis s'est mis en place.

Logo IETF

Une nouvelle mouture du protocole tarte à la crèmeHTTP est donc en route. Faisons un petit tour de son histoire et des projets en cours, avant d'écouter ce qu'à a nous en dire Willy Tarreau qui s'est particulièrement investi dans le groupe de travail httpbis.

NdM : Merci à Nÿco, Florent Zara, patrick_g, Raoul Volfoni, baud123, warwick, Nils Ratusznik, NeoX, zebra3 et Benoît pour leur contributions à cette dépêche.

systemd pour les administrateurs, partie 1 et 2

85
2
août
2014
Technologie

On vous parle depuis longtemps de systemd. On vous dit que c’est très bien. La plupart des distributions l’ont adopté (Fedora, openSUSE, Mageia, Frugalware, Arch, etc.), vont l’adopter (Debian, Ubuntu) ou vous permettent de l’utiliser de manière optionnelle (Gentoo, etc.). Mais, savez‐vous l’utiliser ?

Voici une série d’articles didactiques pour apprendre à utiliser systemd et vous permettre de mieux l’appréhender et de comprendre les avantages qu’il apporte par rapport aux systèmes précédents.

Les informations ci‐dessous sont tirées, traduites et adaptées du blog de Lennart Poettering et sont accessibles dans la langue de Shakespeare aux adresses ci‐dessous :

Travailler avec des expressions rationnelles

84
8
fév.
2016
Technologie

Les expressions rationnelles sont un outil d’analyse de texte par un ordinateur. Elles permettent de décrire des enchaînements de caractères d’une complexité suffisamment grande pour être réellement utiles, mais suffisamment faible pour être implémentées efficacement. Elles sont d’une importance capitale pour le théoricien des langages comme pour l’UNIX power user.

Dans cette dépêche, nous :

  • décrivons brièvement la notion abstraite d’expression rationnelle et recensons les implémentations les plus courantes sur un système Unix ;
  • présentons quelques commandes permettant de rechercher des motifs décrits par une expression rationnelle dans un texte, réécrire des fichiers automatiquement ou transformer et analyser des fichiers structurés automatiquement en utilisant des expressions rationnelles ;
  • montrons comment améliorer votre productivité avec Emacs grâce aux expressions rationnelles.

Dans cette dépêche, nous allons nous pencher sur les expressions rationnelles (souvent nommées abusivement expressions régulières suite à une traduction littérale de regular expression). Elles permettent de représenter formellement un motif de recherche, par exemple : un caractère alphabétique majuscule suivi de quatre caractères minuscules, puis deux chiffres et un point à la fin. Les expressions rationnelles représentent un outil puissant pour qui sait les utiliser à bon escient mais nécessitent une phase d’apprentissage non négligeable. La diversité des moteurs et des syntaxes n’aide pas non plus à leur simplicité, et les confusions entre les différents outils peuvent parfois donner des résultats surprenants.

sslh 1.10, la bête noire des censeurs

Posté par  . Édité par Davy Defaud, Manuel Menal, Nÿco et Nils Ratusznik. Modéré par rootix. Licence CC By‑SA.
80
30
nov.
2011
Technologie

Non, il ne s’agit pas d’un nouveau concurrent pour Tor (réseau) ou Freenet. Il s’agit juste d’un outil pour les personnes auto‐hébergées qui voudraient accéder à tous leurs services de n’importe où.

Cette dépêche explique son fonctionnement et ce qu’apporte sa dernière version.

Débuter avec SolveSpace

Posté par  . Édité par Ysabeau 🧶 🧦 et Benoît Sibaud. Modéré par Ysabeau 🧶 🧦. Licence CC By‑SA.
77
13
août
2021
Technologie

Il y a dix ans, je disposais d’un peu de temps pour tester divers modeleurs volumiques (fonctionnant sous Linux). J’en ai alors profité pour rédiger quelques articles.

À cette époque, je voulais aussi étudier SolveSpace, mais j’ai dû passer à autre chose.

Une pièce dessinée avec SoleSpace

SolveSpace est un logiciel de CAO 3D original dans son maniement, plutôt agréable et performant, avec un peu d’habitude. Il fonctionne sous Linux, Windows ou MacOS… et sous d’autres systèmes d’exploitation. Il est disponible en anglais. Il s’appuie sur deux fenêtres :

  • une pour la visualisation en trois dimensions ;
  • et l’autre pour les informations sur le modèle volumique.

CARE et la reproductibilité des exécutions

Posté par  (site web personnel) . Édité par palm123, Benoît Sibaud, ZeroHeure, Florent Zara et Xavier Teyssier. Modéré par Xavier Teyssier. Licence CC By‑SA.
Étiquettes :
74
5
fév.
2014
Technologie

CARE (Comprehensive Archiver for Reproducible Execution) vient de sortir en version 2.1.

CARE est un outil permettant d'observer l'exécution d'une commande Linux (ls, gcc, vlc, …) et de créer une archive contenant l'intégralité des fichiers utilisés lors de l'exécution de cette commande. Il est alors possible d'extraire cette archive sur une autre machine afin de relancer la commande dans le système de fichiers d'origine.

Lors de la ré-exécution, la commande sera entièrement isolée dans l'archive et ne pourra accéder qu'aux fichiers et à l'environnement présent dans cette archive. Il est important de noter que les événements extérieurs (comme les entrées clavier, réseau, …) ne sont pas archivés et doivent, si nécessaire, être recréés par l'utilisateur.

LLVM 3.3 et Clang 3.3

73
18
juin
2013
Technologie

Le projet LLVM est un ensemble de technologies modulaires et réutilisables destinées à construire des chaînes de compilation et des compilateurs. Ce projet a grandi depuis ses débuts en tant que projet de recherche à l’Université de l’Illinois pour maintenant rivaliser avec l’autre grand compilateur du monde libre. À l’aube de ses 10 ans, le projet est on ne peut plus actif, attirant aussi bien des industriels (ARM, IBM, Qualcomm, Google, Intel, etc.) que des chercheurs.

logo LLVM

Le projet LLVM, ainsi que Clang, le compilateur C/C++/ObjectiveC officiel du projet, sont sortis dans leur version 3.3 le 17 juin 2013. LLVM apporte la prise en charge de nouvelles architectures. Clang implémente désormais la totalité du standard C++11. Ces nouveautés sont détaillées dans la seconde partie de la dépêche.

La conférence européenne LLVM 2013 qui s’est déroulée les 29 et 30 avril derniers à Paris, a permis de voir certaines améliorations possibles qui seront peut‐être un jour intégrées dans LLVM/Clang.

Enfin, il est important de noter que LLVM a reçu le 2012 System Software Award, rejoignant ainsi Eclipse (2011), Java (2002), TCP/IP (1991) et tant d’autres.

[code] Trouver les erreurs

Posté par  (site web personnel) . Édité par BAud, Snark, Benoît Sibaud, palm123, RoPP, M5oul, rootix, TBTB, Nicolas Boulay et ZeroHeure. Modéré par rootix. Licence CC By‑SA.
70
14
jan.
2015
Technologie

Le récent problème d'OpenSSL et de ses failles peut nous avoir rendu dubitatifs quant à la supposée meilleure qualité des logiciels libres.

Cette dépêche se veut un petit rappel sur ce qui impacte la qualité d'un programme informatique, et de ce que l'on peut en déduire pour la communauté libre, et open source.

Sortie de FreeCAD 0.15

Posté par  (site web personnel) . Édité par Benoît Sibaud et bubar🦥. Modéré par Benoît Sibaud. Licence CC By‑SA.
Étiquettes :
70
4
mai
2015
Technologie

La nouvelle version publiée de FreeCAD est disponible depuis le 8 avril 2015. Cette nouvelle version apporte une grande variété de nouveautés dans la plupart des ateliers, comme par exemple le support de l'Occulus Rift.
Icone FreeCAD FreeCAD est un logiciel libre et multi-plateforme de conception 3D paramétrique assisté par ordinateur.

Linux et la commande numérique par calculateur

Posté par  . Édité par Florent Zara, baud123 et Benoît Sibaud. Modéré par claudex. Licence CC By‑SA.
67
16
déc.
2012
Technologie

Passionné d'informatique et utilisateur de Linux depuis environ 2003 (avec Mandrake 9.1), je me suis équipé pour mon travail (je suis artisan et je travaille le bois) d'une petite fraiseuse numérique 3 axes. Il était pour moi hors de question de revenir sous Windows et j'ai donc dû chercher les logiciels nécessaires tournant sous Linux. Pour ceux qui ne connaissent pas ce domaine, la fabrication assistée par ordinateur (FAO) nécessite 3 étapes :

  • La modélisation de la pièce à l'aide d'un logiciel de dessin technique 2D ou 3D. Cette étape est appelée CAD en anglais : Computer Aided Design.
  • La création des parcours d'outil, en fonction du type de matière à usiner, de l'outil utilisé, de l'état de surface souhaité, etc. Cette étape est appelée CAM en anglais : Computer Aided Manufacturing.
  • Le pilotage de la machine-outil à l'aide d'un logiciel contrôleur : donc l'usinage proprement dit.

Les logiciels de ce type ne sont pas très nombreux sous Linux, mais les choses avancent doucement, et je souhaitais donner quelques nouvelles de certains d'entre eux et faire naître, pourquoi pas, quelques vocations de contributeurs. Je ne suis pas du tout spécialiste de la CNC, ni de l'informatique. Ce qui suit n'a donc aucun caractère exhaustif et comporte probablement quelques erreurs ou imprécisions.
Il s'agit juste d'un petit état des lieux des logiciels que j'utilise ou dont je surveille le développement.

NdM : merci à christophe_g pour son journal.

HAProxy 1.5

66
26
août
2014
Technologie

Après quatre ans et trois mois, et pas moins de 26 versions de développement, la version réputée stable de HAProxy devient la 1.5. Même si HAProxy est avant tout un répartiteur de charge HTTP et TCP, les possibilités offertes par la version 1.5 en font le véritable couteau suisse du Web à haute charge.

HAProxy

Il est utilisé, entre autres, par de nombreux sites d’audience mondiale, tels que Twitter, Instagram, GitHub, Reddit… Cette version apporte de nombreuses nouveautés, dont la très attendue prise en charge de l’offloading SSL.

La version 1.5.0 a été rapidement suivie de quelques versions correctives. Nous en sommes à la 1.5.3, disponible depuis le 25 juillet dernier.

TeX et traitement de données par flot e01 : lire du TeX

Posté par  . Édité par ZeroHeure et Benoît Sibaud. Modéré par ZeroHeure. Licence CC By‑SA.
66
10
nov.
2015
Technologie

Depuis quelques temps je travaille de manière sporadique sur une bibliothèque pour manipuler des documents TeX en Scala nommée ToolXiT.
Cette bibliothèque est loin d'être finie et bouge encore beaucoup, mais elle me permet aussi de faire des essais.
Ce faisant, j'ai pu faire face à quelques défis intéressants, qui méritent au moins une série de dépêches sur LinuxFr.org, que ce soit sur TeX lui même ou le traitement par flot de données.

Je vais essayer de faire une série aussi intéressante que celle de rewind sur la création de jeu vidéo, nous verrons bien comment elle évoluera.

Prêts ? Allons y !

Snips ouvre sa technologie NLU

Posté par  (site web personnel) . Édité par Davy Defaud. Modéré par Nÿco. Licence CC By‑SA.
66
25
avr.
2018
Technologie

Snips est une jeune pousse parisienne dont le produit est un assistant vocal respectueux de la vie privée. Un assistant vocal agit en quatre étapes :

  1. détecter qu’on s’adresse à lui, généralement via un mot‐clef du type « OK » ou le surnom de l’assistant ;
  2. transformer l’entrée sonore en texte (la reconnaissance vocale) ;
  3. analyser le texte pour en sortir une intention ;
  4. agir à partir de cette intention.

Snips a publié sous licence libre (Apache 2.0) le code qui lui permet d’effectuer la troisième étape, la partie dite NLU pour « Natural Language Understanding ». Le code est en Python, mais certaines parties sont en Rust. D’un point de vue performance et précision, l’outil de Snips fait jeu égal avec les versions dans le cloud des GAFAM, voire fait parfois mieux. Et quand on sait que l’on peut faire tourner ce code sur son propre Rasberry Pi, on ne peut que saluer cette prouesse.

Pratiques dans l'industrie ferroviaire : un train de retard…

65
3
fév.
2024
Technologie

Une histoire, comme il en est tant, hélas, de pratiques anticoncurrentielles dans l’industrie. Oubliez les imprimantes et les tracteurs, cette fois-ci, nous passons à une étape supérieure : les trains. Oui, oui, les trains, vous avez bien lu.

Si les faits se confirment, un constructeur de train polonais aurait été pris en flagrant délit de pratiques anti-concurrentielles.

Un entretien avec Lennart Poettering

Posté par  (site web personnel) . Modéré par rootix.
64
5
juil.
2011
Technologie

Lennart Poettering est un développeur Red Hat/Fedora connu pour être remarquablement prolifique. Après Avahi et Pulseaudio c'est maintenant le démon d'init systemd qui l'occupe depuis plusieurs mois et qui a fait une entrée tonitruante dans le monde du libre.

Lennart ne déguise pas sa pensée et il ne craint pas de choquer en dévoilant ses opinions. Il est d'avis que seuls les systèmes basés sur Linux peuvent vraiment concurrencer les OS propriétaires et, en conséquence, ses choix techniques ne tiennent pas compte des autres systèmes libres.
Son franc-parler a parfois provoqué des batailles homériques sur les listes de discussion des différents projets et les gens du GCU-Squad sont à deux doigts de lancer un tueur à gages à ses trousses.

Pour toutes ces raisons, il est sans doute bon de faire le point avec lui et de l'interroger calmement sur ses projets et sur sa vision du libre.
LinuxFr a donc effectué un entretien avec Lennart, dont vous trouverez une traduction en seconde partie de la dépêche.

Encore une fois les anglophones sont incités à lire la version originale de l'entretien qui est postée en commentaire de la dépêche.

UEFI, à la découverte du nouveau BIOS

Posté par  . Modéré par baud123.
Étiquettes :
64
25
oct.
2011
Technologie

N. D. M. : Cette dépêche est issue d’un journal, merci à son auteur.

Qu’il semble loin le temps, béni pour certains, maudits pour d’autres, où il était nécessaire de connaître les IRQ et DMA de sa machine pour l’utiliser, où, loin du plug’n’play, le matériel se contentait de laisser l’humain configurer…

Puis vint le plug’n’play, son compagnon l’ACPI permettant de lister le matériel et de le configurer magiquement. Mais toujours, au sein de la machine, un petit logiciel, le BIOS.

Le Top 500 de novembre 2012

Posté par  (site web personnel) . Édité par baud123 et Xavier Teyssier. Modéré par tuiu pol. Licence CC By‑SA.
Étiquettes :
64
12
nov.
2012
Technologie

Le quarantième Top 500 des supercalculateurs mondiaux est sorti aujourd’hui à l’occasion de la conférence Supercomputing 2012 qui a lieu à Salt Lake City aux États‐Unis.

Rappelons que le Top 500 se base sur une soumission volontaire (de nombreuses machines, puissantes mais classifiées ne participent pas à la course) et sur un comparateur spécifique de performances extrêmement parallélisable (le code Linpack qui concerne la résolution de systèmes d’équations linéaires).

L’analyse dans la suite de la dépêche…