GlusterFS 3.2 — La géo‐réplication

Posté par  (site web personnel) . Modéré par baud123. Licence CC By‑SA.
Étiquettes :
42
8
mai
2011
Virtualisation

GlusterFS ou plus simplement gluster est un système de fichiers en espace utilisateur. Il a une forte connotation cluster ou cloud. Il existe deux types de système de fichiers de ce genre, les systèmes natifs en espace noyau comme Lustre / Ceph ou ceux utilisant l’interface FUSE. Dans la même catégorie que gluster, on retrouve MooseFS, sur lequel le magazine GMLF a réalisé un article en avril 2011.

L’intérêt des systèmes en espace utilisateur est la facilité de programmation, ainsi que le fait de s’appuyer localement sur un des systèmes de fichiers standard du noyau : ext3, ext4, XFS… Dans le cas d’un système de fichiers « clusterisé » comme gluster, chacune des partitions formant le cluster peut être formatée avec un système de fichiers différent. Il n’est pas nécessaire que ceux‐ci soient homogènes.

Avec un système de fichiers « clusterisé », il est possible d’agréger des volumes (partitions) provenant de plusieurs serveurs (NAS, SAN…), afin de ne montrer aux clients qu’un seul volume. C’est un peu la généralisation aux grappes de machines Linux (les clusters) du gestionnaire de volumes LVM que l’on trouve sur tous les serveurs Linux et qui permet (entre autres) l’agrégation de partitions.

La particularité de gluster est de ne pas s’appuyer sur un serveur de métadonnées (contrairement à pNFS et MooseFS). Tous les nœuds de la grappe sont équivalents. Il est donc particulièrement robuste aux pannes. À noter que depuis la version 3.1, gluster est distribué sous la licence libre AGPL, la [licence publique générale Affero], alors qu’il était auparavant distribué sous licence GPLv3. Ce changement de licence est évidemment conçu pour protéger le développement de gluster d’une utilisation abusive (sans retour de contribution) dans les « nuages »…

Proxmox VE 5.4

Posté par  . Édité par Davy Defaud, Benoît Sibaud et palm123. Modéré par ZeroHeure. Licence CC By‑SA.
Étiquettes :
42
11
avr.
2019
Virtualisation

Proxmox est une plate‐forme de gestion de virtualisation libre (AGPLv3) permettant de gérer des machines virtuelles KVM et des conteneurs LXC.

Proxmox VE 5.4 introduit un nouvel assistant pour l’installation d’une grappe de serveurs (cluster) Ceph dans l’interface Web, plus de flexibilité avec la haute disponibilité, la prise en charge de l’hibernation pour les machines virtuelles, et la prise en charge de l’authentification universelle à deux facteurs (U2F). La plate‐forme Proxmox VE 5.4 est basée sur Debian 9 Stretch et un noyau Linux 4.15.

Journal Écrire un livre à deux : Haute Disponibilité sous Linux, des prémices à la sortie

Posté par  . Licence CC By‑SA.
Étiquettes :
34
6
sept.
2021
Ce journal a été promu en dépêche : Écrire un livre à deux : Haute Disponibilité sous Linux, des prémices à la sortie.

En juillet 2020, LinuxFR m’avait fait un grand honneur en m’interviewant dans le contexte de la sortie de la sixième édition de mon livre sur l’administration Linux. Une question concernait la coécriture, (l’écriture à plusieurs auteurs) et j’avais indiqué que j’avais proposé ce projet à un ami, sur une sujet devenu compliqué. Un an après, le résultat de cette collaboration a été publié !
L'interview initial
Charles Sabourdin et moi avons donc la joie de vous annoncer le résultat de (…)

Journal Quelles solutions adopter pour améliorer un parc existant ? La suite !

Posté par  (site web personnel) . Licence CC By‑SA.
Étiquettes :
30
1
fév.
2012

Deux ans plus tard, voici (enfin) un retour sur les choix que j'ai fais rapport à ce que j'indiquais ici.

  • Concernant l'accès aux données: j'ai opté pour le système de fichiers réparti et à tolérance de pannes MooseFS. C'est GPL, stable (il manque toutesfois une vraie recette pour la HA en ce qui concerne le serveur de métadonnées), extrêmement simple à configurer et faire évoluer. L'autre avantage, c'est que vous y accédez comme n'importe quel système de fichiers (…)

Xen Orchestra, solution de gestion d'infrastructure Xen

Posté par  . Édité par Plam, Nÿco, BAud, Nils Ratusznik et palm123. Modéré par Nÿco. Licence CC By‑SA.
Étiquettes :
28
2
déc.
2014
Virtualisation

La sortie récente de la version 3.6 de Xen Orchestra (XO) est l'occasion de vous présenter cet outil de gestion de votre infrastructure Xen, qu'elle soit basée sur Xen+XAPI ou XenServer. Cette interface permet donc de créer des machines virtuelles, les migrer, déplacer à chaud, accéder à leurs consoles, etc. Le tout, depuis un navigateur web.

C'est Vates, une petite startup française, qui est derrière ce logiciel libre (AGPLv3).

XOA

CatchChallenger version 2

Posté par  (site web personnel) . Édité par ZeroHeure, Benoît Sibaud, Xavier Teyssier, palm123 et tuiu pol. Modéré par claudex. Licence CC By‑SA.
Étiquettes :
27
23
sept.
2016
Jeu

CatchChallenger est un MMORPG, un jeu de rôle massivement multijoueur. Particularité ? il est indépendant, en ligne et entièrement libre : licence GPLv3 pour le code, les données (artwork) et le site.

La base du jeu est un mélange de différent styles : combat, agriculture, exploration, fabrication, commerce, gestion, compétition. Le travail est concentré sur la jouabilité, les performances et la créativité.

Une partie de Catch Challenger

Cette version totalise plus de 8Mo de code, plus de 2500 commits avec 400k de lignes sur cinq ans de vie (sur les différentes parties du projet). Le client et le serveur sont développés sous GNU/Linux, puis empaquetés automatiquement pour MacOSX et Windows.

Journal Des stages systèmes Linux !

Posté par  .
Étiquettes :
23
1
nov.
2011

Dans le cadre de ses installations de calcul hautes performances (Cluster de 4000 noeuds quadri-xeon Nehalem 64 Go de RAM, Cluster de 5600 lames bi-xeon Sandy Bridge 64 Go de RAM), les équipes HPC du CEA cherche des stagiaires Bac +4/+5 motivés, qui connaissent Linux et bidouillent un peu, pour un stage de 6 mois, rémunérés entre 500 et 1200 €/mois selon profil.

Nous avons une politique open-source forte, nous distribuons sous licences libres (GPL ou CeCILL) plusieurs de (…)

Exécution de commandes en parallèle avec ClusterShell

Posté par  . Modéré par j.
Étiquettes :
22
25
sept.
2010
Python
ClusterShell est une bibliothèque événementielle en Python qui permet d'exécuter en parallèle des commandes en local et à distance sur des noeuds d'un cluster, ferme de serveurs, stations de travail... Elle fournit également un ensemble de scripts utilitaires basés dessus (voir plus bas).

ClusterShell est développée et utilisée au CEA par les équipes système de plusieurs grands clusters Linux de stockage et de calcul (qui comptent parmi les plus puissants du monde -- dont Tera100), elle est disponible sous licence CeCILL-C (CEA - CNRS - INRIA Logiciel Libre, compatible LGPLv2+).

CatchChallenger en 2017

Posté par  (site web personnel) . Édité par Davy Defaud, Pierre Jarillon, Nÿco, Nils Ratusznik, Benoît Sibaud, claudex et Ontologia. Modéré par Nÿco. Licence CC By‑SA.
Étiquettes :
22
8
nov.
2017
Jeu

CatchChallenger est un jeu de rôle indépendant en ligne massivement multijoueur (MMORPG) à l’ancienne entièrement libre : licence GPL v3 pour le code, comme les données (artwork), ou le site.

La base du jeu est un mélange de différent styles : combat, farming, exploration, fabrication, commerce, gestion, compétition. Le travail est concentré sur la jouabilité, les performances et la créativité.

Cette version totalise plus de 10 Mio de code, plus de 3 000 commits avec 400 000 lignes sur cinq ans de vie (sur les différentes parties du projet). Le client et le serveur sont développés sous GNU/Linux, puis automatiquement empaquetés pour macOS et Windows.

Sortie de Xen Orchestra 4.12, solution web pour XenServer

Posté par  . Édité par Benoît Sibaud et palm123. Modéré par Ontologia. Licence CC By‑SA.
Étiquettes :
20
17
jan.
2016
Virtualisation

Plus d'un an après la dernière dépêche sur la sortie de Xen Orchestra 3.6, voici une présentation de la toute nouvelle 4.12 !

Pour rappel, Xen Orchestra (XO) est une solution web de gestion d'infrastructure Xen, plus précisément sur la toolstack XAPI, embarquée dans XenServer.

Ce logiciel est libre (aGPLv3) et possède aussi une version installée et pre-configurée dans une machine virtuelle, vendue avec du support.

Logo de Xen Orchestra

Forum général.cherche-matériel Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance

Posté par  (site web personnel) . Licence CC By‑SA.
Étiquettes :
18
25
oct.
2014

Salut,

je dois, pour des raisons de consommation, remplacer le (petit) cluster du boulot. Pour information, nous faisons du traitement scientifique d’images satellites. Nous avons besoin de puissance de calcul et d’I/O (aussi rapide que possible).
Actuellement, on a 6 nœuds + un maître. 46 cœurs, 2 à 3.5go par cœur, 72 disques (12 à 24 disques par machine), pour un espace total de 140to (70 réellement utilisables avec la solution actuelle).
Logiciellement parlant, on a:
HTCondor pour la répartition (…)

Journal nouvelle version pour Moosefs : 1.6.24

Posté par  (site web personnel) . Licence CC By‑SA.
Étiquettes :
17
15
mar.
2012

bonjour nal,

juste un petit message à la communauté pour signaler le passage de la version 1.6.20-2 à la version 1.6.24 du système de fichiers distribué moosefs.

cette première mise à jour d'une longue liste a pour but la migration majeure vers la version 1.7 d'ici la fin de l'année.

annonce de la nouvelle version :

http://www.moosefs.org/news-reader/items/moose-file-system-v-1624-released.html

la roadmap peut être trouvée à cette adresse :

http://www.moosefs.org/roadmap.html

moosefs est un système de fichiers distribué, son architecture comporte un serveur maitre (…)

Formation virtualisation Proxmox VE du 6 au 9 juin 2016 à Lille

Posté par  . Édité par Florent Zara, Nÿco, palm123, ZeroHeure et tuiu pol. Modéré par Florent Zara. Licence CC By‑SA.
Étiquettes :
17
17
mai
2016
Virtualisation

Proxmox VE est une distribution Linux qui permet, grâce à des outils libres comme KVM et les conteneurs LXC, de mettre en place une plateforme de virtualisation bare-metal avec le clustering, la haute disponibilité et le fencing. Proxmox VE offre diverses solutions de réseaux et stockage comme le LVM, NFS, iSCSI, Ceph, ZFS, …

La prochaine formation aura lieu du 6 au 9 Juin 2016 à Lille. En France, les formations Proxmox VE sont organisées par Odiso, hébergeur spécialisé dans la haute disponibilité et la gestion des pics de trafic. Odiso est aussi organisme de formation partenaire de Proxmox en France et organise régulièrement des formations professionnelles pour les administrateurs systèmes.

NdM: Comme Odiso sont des gens extrêmement sympathiques (et qu'ils veulent se faire connaître ;-), on leur a demandé une place pour vous (valeur faciale 2 200 € HT). Il suffit de vous inscrire sur ce formulaire et ils tireront au sort un gagnant (c'est valable aussi pour la session de septembre). Ils sont conformes aux directives CNIL pour vos données personnelles. De plus, tous ceux qui choisissent l'« opt-in » auront 10% de remise.

Journal Monter un cluster mémoire avec un raspberry pi

Posté par  . Licence CC By‑SA.
Étiquettes :
14
23
mai
2016

Avant-Propos :
Il est fortement conseillé d'utiliser un raspberry pi 2 au minimum (privilégiez le modèle 3). JBOD via mddfs n'est pas totalement stable, mais ZFS semble actuellement non utilisable sur Raspberry Pi. Si vous suivez ce tuto sur une machine dotée d'autre chose qu'un processeur ARM, privilégiez l'utilisation de ZFS.
Gluster vous permet en fonction du nombre de peers/nodes et du nombre de réplication de faire :

  • un JBOD réseau (addition de l'espace de toute vos machines Peer1 (…)

Journal RPCDataloader: chargement et pré-traitement de données distribué pour l'IA

Posté par  . Licence CC By‑SA.
Étiquettes :
11
22
avr.
2023

Introduction

On continue la lignée des utilitaires pour une grappe de calcul IA (cluster en bon franglais).
Cette fois-ci, l'objectif est de déplacer le chargement et le pré-traitement des données sur des serveurs différents de ceux qui gèrent le modèle en lui-même.

On s'intéresse plus précisément à un algorithme d’entraînement de réseau de neurones avec le framework PyTorch. Bien que la librairie que je présente (RPCDataloader) n'ait pas une très forte dépendance à PyTorch, son API est (…)