Wiki GlusterFS sur Ubuntu/Debian

0
26
juin
2017

Sommaire

Ce wiki traite de la partie serveur de GlusterFS pour la partie client voyez ce wiki : Monter un volume/répertoire GlusterFS sur Ubuntu/Debian

logo glusterfs fourmis qui mange une feuille

Qu'est-ce que GlusterFS ?

GlusterFS permet de créer des volumes/répertoires virtuels agrégeant un nombre X de serveurs. Pour cela GlusterFS crée des volumes (sorte de partition JBOD) à cheval sur les serveurs que vous stipulez lors de la création du volume et dispose d'un mode de redondance (replication) afin de lutter contre les pannes de stockage. Par défaut, sans réplication, gluster fait une sorte de raid0 (si vous uploader 10 fichiers sur un pool contenant deux Servers/Node, vous aurez 5 fichiers par server) (source). Vous pouvez utiliser l'argument stripe nombreDecoupage si vous souhaitez que les fichiers soient découpé avec leur data propre dispersée sur les différents stockages (le but étant d'augmenter les performances en lecture).
En une phrase, il permet de faire un cluster de stockage.

GlusterFS supporte :

Les types de volume/répertoire sont :

  • RAID0 non Strip / JBOD (fichier) (les fichiers sont répartis sur les différentes unités de stockage (bricks), si vous perdez une unité les données sur les autres bricks sont encore valable et accessible)
  • RAID0 Strip (data) (chaque fichier est découpé N fois et ses datas respective distribuées sur N espaces de stockage, en cas de perte d'une unité de stockage TOUTES les données sont perdues; infos)
  • Replication X - Raid1 (les fichiers sont dupliqués X fois à travers les Nodes comme du Raid1, perdre une unité de stockage n'a aucune incidence sur les données)
  • Distributed Replicated (les fichiers sont distribué sur certains nodes et dupliqués sur d'autres comme du Raid10; infos)
  • Distributed Stripped Replicated - RAID10 Strip (chaque fichier est découpé en N morceau répartis sur N Nodes et répliqué X fois sur X Nodes)

La mise en place est simple :

  1. vous installez le serveur sur au moins une machine
  2. vous connectez les serveurs entre eux.
  3. vous créez un volume virtuel
  4. avec un logiciel client vous pouvez accéder à votre volume (qui se comporte comme une partition) en vous connectant à n'importe lequel des deux Serveurs/Nodes.

Note : vous pouvez créer un raid local sur plusieurs disques. Par contre vous ne pouvez hélas pas créer un raid gluster dans un autre raid/jbod gluster.

Fonctionnement

ndlr : simple et si possible imagé

_


_

Installer GlusterFS Server

Passez en admin (root)

Sur Ubuntu/Raspbian

sudo su

Sur Debian/Ubuntu minimal

su

Installez le logiciel glusterfs-server

apt-get install glusterfs-server attr

Note : si vous souhaitez installer une version spécifique de Gluster utilisez l'attribut --version=id_version par exemple :

apt-get install glusterfs-server --version=3.7.15-ubuntu1~xenial1

Pour connaître la version du package installé, entrez dans un terminal

apt-show-versions glusterfs-server

Donner le droits d'accès (rw) au fichiers log

sudo chmod 777 /var/log/glusterfs/*.log

Lancez le démon

service glusterfs-server restart

_


_

Désinstaller glusterfs-server

Passez en admin (root)

Sur Ubuntu/Raspbian

sudo su

Sur Debian/Ubuntu minimal

su

Au choix :

Supprimez gluster sans supprimer les données (volumes, peer, etc)

apt-get remove glusterfs-server

Supprimez gluster ET ses données

apt-get purge --auto-remove glusterfs-server
rm -R /etc/glusterfs
rm -R /var/lib/glusterd

_


_

Création de Raid

Créer un volume type RAID1 avec choix du nombre de réplication

Adaptez puis entrez cette commande dans votre terminal

sudo gluster volume create NomVolume replica 2 transport tcp HOSTNAME_server1:/media/superPartition HOSTNAME_server2:/media/superPartition force
  • HOSTNAME => peut valoir l'ip, le nom de domaine ou tout path réseau valable d'un des server du cluster
  • NomVolume => le nom du volume dans dans la grille GlusterFS
  • replica 2 => le nombre de fois que les fichiers doivent être dupliqué
  • transport tcp => on utilise TCP/IP
  • force => ne se met qu'à la fin de la commande, permet d'utiliser le mode root
  • exemple officiel : gluster volume create NEW-VOLNAME [replica COUNT] [transport tcp | rdma | tcp,rdma] NEW-BRICK…

Ensuite démarrez votre volume/répertoire

sudo gluster volume start NomVolume

Note : remplacez start par stop pour arrêter un volume (c'est un umount version gluster)

Créer un volume avec un Arbitrer (replica 3 arbiter 1)

infos : Arbiter volumes and quorum options in gluster
(ndlr : à tester et corriger)
Le Nœud Arbitrer est chargé d'aider à élire un Noeud Maitre après une coupure réseau importante (split brain). Il est choisit automatiquement par GlusterFS parmi les Noeuds, il prend le troisième Nœud (bricks) et il n'est pas possible de le configurer/modifier (source).
Le paramètre replica doit être à 3 pour pouvoir utiliser un Arbitrer. Il faut donc au minimum 3 machines pour ce mécanisme.

sudo gluster volume create NomVolume replica 3 arbiter 1 transport tcp HOSTNAME_server1:/media/superPartition HOSTNAME_server2:/media/disque2 HOSTNAME_server3:/media/mon/path force
  • HOSTNAME => peut valoir l'ip, le nom de domaine ou tout path réseau valable d'un des server du cluster
  • NomVolume => le nom du volume dans dans la grille GlusterFS
  • replica 3 => le nombre de fois que les fichiers doivent être dupliqué
  • transport tcp => on utilise TCP/IP
  • force => ne se met qu'à la fin de la commande, permet d'utiliser le mode root
  • exemple officiel : gluster volume create replica 3 arbiter 1

_


_

_


_

Options & Utilisations

Note : Pour utiliser les commandes suivantes dans un script vous devez ajouter en fin de commande force --mode=script

Ajouter un Noeud/Node (ajouter peer)

sudo gluster peer probe HOSTNAME

HOSTNAME peut valoir l'IP, le nom de domaine ou tout path réseau valable d'un des server du cluster
Note : Une fois que le pool est établi, seuls les membres de confiance (trust) peuvent ajouter de nouveaux serveurs au pool. Un nouveau serveur ne peut PAS s'ajouter au pool, il doit être ajouté par le pool. (source)

Retirer un Noeud/peers (supprimer peer)

sudo gluster peer detach HOSTNAME

HOSTNAME peut valoir l'IP, le nom de domaine ou tout path réseau valable d'un des serveurs du cluster
Note : Tout les volumes ouvert en commun entre ses pairs (peers) doivent être stoppé AVANT.

Retirer un Noeud/peers et les bricks liés

Récupérez les infos des bricks à supprimer

sudo gluster volume info

Soit on supprime le peer de son bricks

sudo gluster volume remove-brick nomBricks replica 1  HOSTNAME:/media/monDisk/monDossier force

Soit on supprime le bricks

sudo gluster volume delete nomBricks

Lancez enfin la commande pour détachez le Node/peers

sudo gluster peer detach HOSTNAME

HOSTNAME peut valoir l'IP, le nom de domaine ou tout path réseau valable d'un des server du cluster
Note : Tout les volumes ouvert en commun entre ses pairs (peers) doivent être stoppé AVANT.

Ajouter un ou plusieurs serveurs à un volume / augmenter la taille d'un volume

sudo gluster volume add-brick NomVolume HOSTNAME:/media/maPartition

NomVolume => le nom du volume dans dans la grille GlusterFS
HOSTNAME => peut valoir l'ip, le nom de domaine ou tout path réseau valable d'un des server du cluster
/media/maPartition => le path où stocker les données sur le serveur
Exemple officiel : gluster volume add-brick VOLNAME NEW-BRICK
Source : http://www.gluster.org/community/documentation/index.php/Gluster_3.2:_Expanding_Volumes

Afficher le status des connexions en cours

sudo gluster peer status

Afficher les infos des volumes

sudo gluster volume info

Supprimer un serveur d'un volume en cours en mode répliqué (raid) /diminuer un volume

sudo gluster volume remove-brick monVolume replica 2 HOSTNAME:/media/maPartition

NomVolume => le nom du volume dans dans la grille GlusterFS
replica 2 => le nombre de replication
HOSTNAME => peut valoir l'ip, le nom de domaine ou tout path réseau valable d'un des server du cluster
/media/maPartition => le path où stocker les données sur le serveur
Source : https://support.rackspace.com/how-to/add-and-remove-glusterfs-servers/

Supprimer un volume

sudo gluster volume delete NomVolume

Note : ça ne supprime pas les fichiers.
Le volume doit être stoppé avant via

sudo gluster volume stop NomVolume

Lister les fichiers logs

sudo ls  /var/log/glusterfs/

Restreindre l'accès à une ou plusieurs IP/plage d'IP

sudo gluster volume set nomVolume auth.allow 192.168.1.2,192.168.*.1

nomVolume => le nom identifiant votre volume
192.168.1.2,192.168.*.1 => un exemple d'ip suivis d'un exemple de plage d'ip à autoriser
Note : Fonctionne aussi si le volume est en cours de fonctionnement.

Foire Aux Questions

Que se passe-t-il si on ajoute sur le serveur comme point de montage un dossier dans lequel il y a un ou des fichiers/dossiers?

Réponse : Le ou les fichiers sont ignoré par GlusterFS purement et simplement. Ils sont toujours accessible via le système de fichier du serveur mais pas via un quelconque volume glusterfs.

Que se passe-t-il si on ajoute sur le client comme point de montage un dossier dans lequel il y a un ou plusieurs fichiers/dossiers ?

Réponse : Le ou les fichiers disparaissent jusqu'à ce que le volume soit démonté (umount), il ne semble rien leur arriver de malheureux. Lorsque le volume est démonté en cas d'écriture vers son point de montage, alors les données sont écrites sur le disque dur principal (système), ce qui peut être un problème pour certains usages (motion sur raspberry pi entre autre).

Si un serveur doit lire des données, va-t-il uniquement le lire localement où va-t-il utiliser les autres serveurs afin de compenser la latence des disques dur?

Réponse : les données sont envoyées/reçues vers les différents serveurs en même temps.

Que se passe-t-il si un des bricks/disques dur tombe en panne en cours avec un volume fonctionnement ?

Réponse : Si vous êtes en raid1, il n'y a aucune perte de données et le service continue de fonctionner mode osef. Si vous êtes en JBOD/raid0 non stripping, le point de montage est toujours accessible et seules les datas présentent sur le bricks planté ne sont plus accessible. Il va de soit que si le disque dur en panne était le seul ou le dernier représentant d'un volume, le volume tombe aussi.

Peut-on synchroniser des serveurs en local (malgré un loopback foireux (Hairpinning)

Impossible d'utiliser le nom de domaine depuis l'intérieur du réseau) pour ensuite les disséminer sur d'autres connexions sans changer la configuration ? (et sans utiliser Tor)

Réponse : Une solution est de configurer en utilisant un hostname, puis en modifiant le ficher /etc/hosts (infos) pour indiquer les IP locales des différents Nodes correspondant à chaque nom de domaine. Une fois que les machines quittent votre réseau local vous devez bien entendu allez supprimer les valeurs temporaires.

Quelques filtres d'affichages wireshark pour zieuter tout cela ?

Réponse : Entrez une des valeurs suivantes pour voir se qu'il se passe : glusterfs

Les communications sont-elles chiffrées ?

Réponse : Par défaut Non, mais vous pouvez activer le chiffrement par TLS (ex-ssl) en suivant ce tuto : GlusterFS Security.

Les données stockées sur le(s) serveur(s) sont-elles chiffrées ?

Réponse : Par défaut Non. Une feature/extension (Doc - Features/disk-encryption) est en fin de conception afin de rendre gluster compatible avec le chiffrement côté serveur (disk encryption).

Quels sont les ports utilisés par les serveurs gluster ?

Réponse : 111 (portmap/rpcbind), 24007 (GlusterFS Daemon), 24008 (GlusterFS Management) et un port par volume/répertoire à partir de 49152. Si vous utilisez NFS alors les ports 38465, 38466 et 38467 sont aussi requis.
Source : Get started with GlusterFS - considerations and installation

Si on a un volume répliqué sur deux Nodes/Serveurs ("replicate 2") et que l'un d'eux n'est pas présent au démarrage de l'autre, le volume fonctionne-t-il?

Réponse : Non (!!!) Monter le volume devient impossible même en local (127.0.0.1) !

Quelle est la différence entre le paramètre "replicate" et "geo-replication"?

Réponse : replicate applique les modifications en temps réelle sur tout les Serveurs d'un Volume et lit les données sur X Serveurs en même temps. Geo-replication par contre fait des mises à jours régulières des modifications du système de fichier depuis un serveur Maître vers des serveurs Esclaves et ne lit les données que depuis le serveur Maitre.

Que se passe-t-il si le point de montage tombe en panne en cours de fonctionnement ?

Réponse : Il est automatiquement remplacé par un autre en cas de mirroring.

Que se passe-t-il si on fait un raid local (sur la même machine) et que la carte réseau n'est pas connectée

Réponse : le raid/jbod ne sera pas accessible tant que la machine ne sera pas connectée au réseau et ce même si le raid/jbod est uniquement local.

_


_

Forum Linux.général Une plateforme iaas simple

Posté par . Licence CC by-sa
2
2
mai
2017

Bonjour à tous,
je vous contacte aujourd'hui pour avoir vos retours et peut être une solution pour moi.

Actuellement je suis à la recherche d'une solution d'iaas relativement simple à mettre en place.

Mon matériel est 6 node de 64Gb de ram et 2 cpu E5-2640 avec un san en iSCSI.

Mon besoin est de pouvoir auto provisionner des vm via salt et auto distribuer celons la charge du node.

J'avais regardé du côté Proxmox beaucoup d’espoir mais le point (...)

CatchChallenger version 2

27
23
sept.
2016
Jeu

CatchChallenger est un MMORPG, un jeu de rôle massivement multijoueur. Particularité ? il est indépendant, en ligne et entièrement libre : licence GPLv3 pour le code, les données (artwork) et le site.

La base du jeu est un mélange de différent styles : combat, agriculture, exploration, fabrication, commerce, gestion, compétition. Le travail est concentré sur la jouabilité, les performances et la créativité.

Une partie de Catch Challenger

Cette version totalise plus de 8Mo de code, plus de 2500 commits avec 400k de lignes sur cinq ans de vie (sur les différentes parties du projet). Le client et le serveur sont développés sous GNU/Linux, puis empaquetés automatiquement pour MacOSX et Windows.

Forum Linux.général Comment est sélectionné le noeud d'un cluster HAPROXY ?

Posté par . Licence CC by-sa
0
9
août
2016

Bonjour,

Je m'interesse à HAPROXY et malgré la lecture de plusieurs article à ce sujet y a toujours une question (au moins) à laquelle je ne trouve pas de réponse.

Lorsque par exemple on a un cluster HAPROXY composé de 4 serveurs si j'ai bien tout compris chaque noeud du cluster porte l'adresse IP virtuelle du cluster en plus de sa propre IP.
Mais comment s'effectue la selection du noeud haproxy qui va recevoir la requette client et la transférer  (...)

Forum général.général Optimisation d'un serveur de base de données (PG)

2
22
juin
2016

Bonjour tout le monde,

Je gère un cluster de calcul monté comme suit :
-2 pfSense inter-connectés en entrée, filtrant les utilisateurs sur leurs adresses IP,
-3 serveurs faisant tourner Proxmox: 2 grosses babasses (1 HP DL360G7 et 1 HP DL360G8, 24 coeurs chacun, 192Go RAM chacun) + 1 ch'ti qui sert juste pour faire le quorum de Proxmox,
-1 SAN de 12To pour poser les machines virtuelles
-1 NAS pour les backups des VMs

Pour l'instant les utilisateurs (une (...)

Journal Monter un cluster mémoire avec un raspberry pi

Posté par . Licence CC by-sa
14
23
mai
2016

Avant-Propos :
Il est fortement conseillé d'utiliser un raspberry pi 2 au minimum (privilégiez le modèle 3). JBOD via mddfs n'est pas totalement stable, mais ZFS semble actuellement non utilisable sur Raspberry Pi. Si vous suivez ce tuto sur une machine dotée d'autre chose qu'un processeur ARM, privilégiez l'utilisation de ZFS.
Gluster vous permet en fonction du nombre de peers/nodes et du nombre de réplication de faire :

  • un JBOD réseau (addition de l'espace de toute vos machines Peer1 (...)

Formation virtualisation Proxmox VE du 6 au 9 juin 2016 à Lille

17
17
mai
2016
Virtualisation

Proxmox VE est une distribution Linux qui permet, grâce à des outils libres comme KVM et les conteneurs LXC, de mettre en place une plateforme de virtualisation bare-metal avec le clustering, la haute disponibilité et le fencing. Proxmox VE offre diverses solutions de réseaux et stockage comme le LVM, NFS, iSCSI, Ceph, ZFS, …

La prochaine formation aura lieu du 6 au 9 Juin 2016 à Lille. En France, les formations Proxmox VE sont organisées par Odiso, hébergeur spécialisé dans la haute disponibilité et la gestion des pics de trafic. Odiso est aussi organisme de formation partenaire de Proxmox en France et organise régulièrement des formations professionnelles pour les administrateurs systèmes.

NdM: Comme Odiso sont des gens extrêmement sympathiques (et qu'ils veulent se faire connaître ;-), on leur a demandé une place pour vous (valeur faciale 2 200 € HT). Il suffit de vous inscrire sur ce formulaire et ils tireront au sort un gagnant (c'est valable aussi pour la session de septembre). Ils sont conformes aux directives CNIL pour vos données personnelles. De plus, tous ceux qui choisissent l'« opt-in » auront 10% de remise.

Sortie de Xen Orchestra 4.12, solution web pour XenServer

Posté par . Édité par Benoît Sibaud et palm123. Modéré par Ontologia. Licence CC by-sa
20
17
jan.
2016
Virtualisation

Plus d'un an après la dernière dépêche sur la sortie de Xen Orchestra 3.6, voici une présentation de la toute nouvelle 4.12 !

Pour rappel, Xen Orchestra (XO) est une solution web de gestion d'infrastructure Xen, plus précisément sur la toolstack XAPI, embarquée dans XenServer.

Ce logiciel est libre (aGPLv3) et possède aussi une version installée et pre-configurée dans une machine virtuelle, vendue avec du support.

Logo de Xen Orchestra

Forum Linux.général Résolu - Recherche solution SIMPLE pour monter un cluster FailOver

Posté par . Licence CC by-sa
1
11
mai
2015

Bonjour,

Je suis à la recherche, comme l'indique le titre, d'une solution simple pour monter un cluster FailOver

L'idée est relativement simple :

  • j'ai trois serveurs : un en production / deux de secours
  • le serveur de production écoute plusieurs adresses IP (une par site Internet)
  • s'il vient à y avoir un soucis sur le serveur de production, un des serveurs de secours doit :
  • ajouter une règle (ip rule add) si elle n'existe pas
    • ajouter une route (ip route (...)

Forum général.général Zimbra en cluster

Posté par . Licence CC by-sa
1
24
avr.
2015

Bonjour,

j'ai actuellement un serveur Zimbra Network Edition,
il est solo, il fait bien son boulot.

mon employeur me demande si on peut le mettre en cluster, histoire que si la machine principale tombe, le service continue à etre rendu.

Le probleme c'est que mon ami le moteur de recherche me trouve une procedure pour passer de solo à cluster actif/passif, mais qui date de Zimbra 4.x.y alors qu'on est actuellement en Zimbra 8.0.x et que la 8.6.y est deja (...)

Forum Linux.redhat DRBD + GFS Active/Active

Posté par . Licence CC by-sa
0
27
jan.
2015

Bonjour,

Je rencontre un problème avec la mise en place du cluster en Active/Active.

J'ai installer DRBD et CMAN. Sur les deux Serveur.
Voilà le fichier de config (/etc/drbd.d/r0.res)

resource r0 {
         device /dev/drbd0;
         disk /dev/sdb;
         meta-disk internal;
                  startup {
                       wfc-timeout 120;
                       degr-wfc-timeout 120;
                       become-primary-on both;
                          }
                  disk { on-io-error detach; }
                  net {
                       allow-two-primaries;
                       after-sb-0pri discard-zero-changes;
                       after-sb-1pri discard-secondary;
                       after-sb-2pri disconnect;
                     }
                 on srv1.xxx.loc {
                       address 192.168.1.123:7788;
                     }
(...)

Xen Orchestra, solution de gestion d'infrastructure Xen

Posté par . Édité par Plam, Nÿco, BAud, Nils Ratusznik et palm123. Modéré par Nÿco. Licence CC by-sa
28
2
déc.
2014
Virtualisation

La sortie récente de la version 3.6 de Xen Orchestra (XO) est l'occasion de vous présenter cet outil de gestion de votre infrastructure Xen, qu'elle soit basée sur Xen+XAPI ou XenServer. Cette interface permet donc de créer des machines virtuelles, les migrer, déplacer à chaud, accéder à leurs consoles, etc. Le tout, depuis un navigateur web.

C'est Vates, une petite startup française, qui est derrière ce logiciel libre (AGPLv3).

XOA

Forum général.cherche-matériel Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance

18
25
oct.
2014

Salut,

je dois, pour des raisons de consommation, remplacer le (petit) cluster du boulot. Pour information, nous faisons du traitement scientifique d’images satellites. Nous avons besoin de puissance de calcul et d’I/O (aussi rapide que possible).
Actuellement, on a 6 nœuds + un maître. 46 cœurs, 2 à 3.5go par cœur, 72 disques (12 à 24 disques par machine), pour un espace total de 140to (70 réellement utilisables avec la solution actuelle).
Logiciellement parlant, on a:
HTCondor pour la répartition (...)

Forum Linux.général [cluster ftp]

Posté par . Licence CC by-sa
Tags :
0
13
mar.
2014

Bonjour,

Je souhaiterais faire un cluster ftp sécurisé (j'ai testé vsftp qui a l'air pas mal mais j'ai pas trouvé pour le "clusterer"

Quels serveurs FTP seraient disponibles pour faire cela

Quelles sont leurs avantages/inconvénients ? (qualité des logs ,sécurité, souplesse, robustesse etc…)

Y'a t'il un moyen d'améliorer la haute disponibilité (plusieurs serveurs load balancés partageant les data via nfs etc..)

Environnement RHEL6.5

Merci

Forum Linux.debian/ubuntu Besoin de conseils pour la création d'un SAN

Posté par (page perso) . Licence CC by-sa
2
31
déc.
2013

Bonjour à tous,

Permettez-moi de me présenter, je m'appelle Guillaume. Je suis étudiant en première année de master (BAC +4) en école d'info et j'aurais besoin de vos précieux conseils pour un projet de fin d'année. Explication.

L'idée c'est de mettre en place une infrastructure devant accueillir une application type Dropbox. Je travaille avec des camarades développeurs et si nos choix techniques ont plus ou moins été pris concernant les clusters de serveurs web et de SGBD (PHP / Apache (...)