Journal RPCDataloader: chargement et pré-traitement de données distribué pour l'IA

Posté par  . Licence CC By‑SA.
Étiquettes :
11
22
avr.
2023

Introduction

On continue la lignée des utilitaires pour une grappe de calcul IA (cluster en bon franglais).
Cette fois-ci, l'objectif est de déplacer le chargement et le pré-traitement des données sur des serveurs différents de ceux qui gèrent le modèle en lui-même.

On s'intéresse plus précisément à un algorithme d’entraînement de réseau de neurones avec le framework PyTorch. Bien que la librairie que je présente (RPCDataloader) n'ait pas une très forte dépendance à PyTorch, son API est (…)

Journal git-bug va participer au Google Summer of Code

Posté par  (site web personnel) . Licence CC By‑SA.
Étiquettes :
21
23
mar.
2019

git-bug est un bug tracker distribué intégré dans Git, c’est‐à‐dire que l’ensemble des données des bogues est stocké sous forme d’objet git, sans polluer les branches et fichiers normaux. Pour plus de détails, je me permets de te renvoyer à la dépêche de présentation de décembre.

À l’occasion du Google Summer of Code 2019, le projet Coala, sélectionné pour le programme, m’a proposé d’allouer un étudiant à git-bug ! Seras‐tu cet étudiant ?

Les projets potentiels sont :

Journal git-bug: un bug tracker distribué intégré dans git

Posté par  (site web personnel) . Licence CC By‑SA.
Étiquettes :
48
5
déc.
2018
Ce journal a été promu en dépêche : git-bug: un bug tracker distribué intégré dans git.

Cher journal,

À l'occasion de la sortie de la version 0.4 de git-bug, je me suis dit que je pourrais te raconter un peu de quoi il en retourne.

git-bug est un bug tracker distribué intégré dans git, c'est-à-dire que l'ensemble des données des bugs est stocké sous forme d'objet git, sans polluer les branches et fichiers normaux. Mais pour quoi faire ? Et bien par rapport à un bug tracker classique (…)

Forum général.général Ancestris et Haïku

Posté par  . Licence CC By‑SA.
Étiquettes :
3
24
avr.
2016

Bonsoir,

Conséquence directe de contacts lors des JDLL 2016 HaÎku a intégré dans ses paquets Ancestris depuis ce vendredi 22 avril 2016.
C'est un responsable de paquets d'applications Java qui a fait un paquet binaire, c'est disponible :

http://clasquin-johnson.co.za/michel/haiku/blog/the-latest-apps-on-the.html

Dans Haiku il est accessible sur le dépôt "clasqm" :

https://depot.haiku-os.org/#/?bcguid=bc1-TSUG&repos=clasqm&arch=x86_gcc2&viewcrttyp=FEATURED&srchexpr=ancestris

(Attention la dernière alpha disponible n'a pas encore la gestion des
paquets, il faut prendre une nightly build en attendant la bêta.)

Merci de la part de l'équipe de développement/communication/diffusion (…)

Journal première sortie de "DAFT Allows File Transfers"

Posté par  (site web personnel) . Licence CC By‑SA.
Étiquettes :
12
2
fév.
2016

Chers lecteurs,

J'ai le plaisir d'annoncer la première sortie de DAFT (v0.0.1).

https://github.com/UnixJunkie/daft

DAFT est un outil en ligne de commande pour transférer des fichiers de manière sécurisée, par exemple pendant une expérience computationnelle distribuée. C'est le compagnon idéal (pour les fichiers) de logiciels tels que PAR ou GNU parallel. PAR est un outil pour bouger efficacement ses données quand il n'y a pas de système de fichier distribué d’installé sur les noeuds. PAR ne nécessite pas de droits root (…)

Journal Question ouverte : Quel futur pour le web, au delà de HTTP.

Posté par  (site web personnel) . Licence CC By‑SA.
Étiquettes :
28
5
sept.
2014

Bonjour,

Je m'intéresse depuis un moment a une meilleure manière d'envisager le Web, de manière complètement décentralisée. Je m'intéresse au Web, principalement parce que c'est l'application la plus répandue d'Internet et qu'elle est devenue incontournable. Et la raison pour laquelle je m'intéresse a sa future architecture décentralisée est la même que la raison qui me pousse a chercher des architectures décentralisées aux autres protocoles.

Journal Et le prix Turing revient à ...

Posté par  . Licence CC By‑SA.
Étiquettes :
36
26
mar.
2014

Leslie Lamport

Leslie Lamport à donc eu l'honneur de se voir décerner le Prix Turing 2013. Ce sont ses travaux dans le domaine des calculs distribués qui sont récompensés par ce prix.

Je ne suis absolument pas familier avec ce domaine de recherche mais plutôt avec LaTeX, initié par Leslie Lamport.

Pour le bookmark :
http://www.pcinpact.com/news/86688-le-prix-turing-revient-a-leslie-lamport-pour-ses-apports-en-calculs-distribues.htm
http://amturing.acm.org/

Certains trouveront ironiques d'apprendre que Leslie Lamport a été recruté par Microsoft. Quoi qu'il en soit cela n'enlève rien à son talent et (…)

Sortie de Newebe 0.6.0

Posté par  (site web personnel) . Édité par NeoX, Nÿco, Benoît Sibaud et baud123. Modéré par Nÿco. Licence CC By‑SA.
Étiquettes :
22
17
déc.
2012
Internet

La fin du monde approche et pourtant nous allons pouvoir partir la conscience tranquille : Newebe, le réseau social où chaque utilisateur est indépendant, sort en version 0.6.0 ! Vous pourrez partager les meilleurs moments de vos derniers jours d'existence de manière totalement décentralisée et libre !

En plus, cette version visait principalement à combler un manque remarqué dans tous les réseaux sociaux : le partage de fichiers sous licence libre. En effet, aucun d'entre eux ne permet de publier de tels fichiers auprès de sa liste de contacts. C'est désormais chose possible dans Newebe : le dernier single de Devon Miles sous licence CC By Sa a déjà été partagé deux fois !

La liste des nouveautés et la feuille de route sont dans la seconde partie de la dépêche. Et pour finir, merci à tous ceux qui ont contribué d'une manière ou d'une autre à Newebe ces six derniers mois !

Journal nouvelle version pour Moosefs : 1.6.24

Posté par  (site web personnel) . Licence CC By‑SA.
Étiquettes :
17
15
mar.
2012

bonjour nal,

juste un petit message à la communauté pour signaler le passage de la version 1.6.20-2 à la version 1.6.24 du système de fichiers distribué moosefs.

cette première mise à jour d'une longue liste a pour but la migration majeure vers la version 1.7 d'ici la fin de l'année.

annonce de la nouvelle version :

http://www.moosefs.org/news-reader/items/moose-file-system-v-1624-released.html

la roadmap peut être trouvée à cette adresse :

http://www.moosefs.org/roadmap.html

moosefs est un système de fichiers distribué, son architecture comporte un serveur maitre (…)

Version 1.0 de Julia

Posté par  . Édité par reno, Nÿco, Brndan, Bruno Michel, Xavier Teyssier et olivierweb. Modéré par NeoX. Licence CC By‑SA.
Étiquettes :
40
4
mar.
2012
Technologie

Julia, un langage de programmation peu connu, a atteint la version 1.0 (disponible uniquement sur Linux et Mac OS X actuellement). Le langage a été créé par des scientifiques et se veut donc optimisé pour leurs besoins : le calcul scientifique, l'apprentissage automatique (machine learning en anglais), la fouille de données (data mining), le calcul algébrique linéaire à grande échelle et le calcul distribué et parallèle.

Ils veulent un langage :

  • Très simple à apprendre, mais qui puisse aussi convenir aux « hackeurs sérieux » : Julia a une syntaxe facile à apprendre pour les utilisateurs de Matlab, tout en étant homoiconique avec des vrais macros comme le Lisp.
  • Aussi utilisable pour la programmation « normale » que Python, aussi simple pour les statistiques que R, aussi naturel pour le traitement de texte que Perl (Julia supporte les PCRE), aussi puissant pour l'algèbre linéaire que Matlab et aussi bon pour lier des programmes ensemble que le shell.

Avec une implémentation :

  • Open source avec une licence peu contraignante : Julia est sous licence MIT.
  • Aussi performante que le C tout en ayant la dynamicité de Ruby : quelques benchmarks sont sur la page d'accueil de Julia qui est dynamiquement typé avec annotation optionnelle de type (et dispatch multiple).
  • Fournissant un mode interactif et compilé.

Bref, ils sont ambitieux ! Leur manuel de référence est assez bien fait : à vous de juger…

NdA : Merci à Nÿco, olivierweb, Brndan et particulièrement à reno pour leur aide lors de la rédaction de cette dépêche.

Journal Sortie de Newebe 0.4.0

Posté par  (site web personnel) . Licence CC By‑SA.
Étiquettes :
9
18
jan.
2012

Newebe, le réseau social distribué, sort en version 0.4.0. Pour ceux qui s'en souviennent j'en parlais il y a quelques temps dans un post bilan d'un an de projet libre. Comme j'ai décidé de faire des efforts sur la communication je me permets d'annoncer cette nouvelle version ici. Depuis ce bilan, le logiciel a bien progressé. On peut désormais notamment partager des images. De plus de nouveaux contributeurs sont venus faire quelques tests et ont apporté de précieux (…)