Wiki Monter un volume/répertoire GlusterFS sur Ubuntu/Debian

0
27
juin
2017

Testé sur : Ubuntu 16.04, Raspbian Jessie
Ce wiki traite de la partie client de GlusterFS pour la partie serveur voyez ce wiki : GlusterFS sur Ubuntu/Debian

Introduction

  • On utilise FUSE pour monter un dossier GlusterFS. Ces dossiers sont distribués entre X quantités de serveurs selon se que vous avez configuré et sont assez tolérant face aux pannes. Vous ne pouvez hélas pas configurer le client pour contacter votre grille mais un serveur qui lui sera en contact (bittorent) avec les autres serveurs (via aussi des liens direct (hostname)).

Montage d'un volume GlusterFS

Pré-requis

Passez en admin (root)

Sur Ubuntu/Raspbian

sudo su

Sur Debian/Ubuntu minimal

su

Installez glusterfs-client

apt-get install glusterfs-client

Création du point de montage local

mkdir /media/monNouveauMontage

Montage en ligne de commande d'un répertoire GlusterFS

Adaptez puis entrez cette commande dans votre terminal

mount -t glusterfs HOSTNAME:PORT:/NomVolume /media/monNouveauMontage
  • HOSTNAME => peut valoir l'ip, le nom de domaine ou tout path réseau valable
  • :PORT => votre numero de port (non requis, supprimez aussi le deux points si vous utilisez le port par défaut)
  • :/NomVolume => le nom du volume dans dans la grille GlusterFS
  • /media/monNouveauMontage => mon point de montage local
  • Infos : Manually Mounting Volumes

Monter le répertoire au démarrage/boot via script fait maison

Passez en admin (root)

Sur Ubuntu/Raspbian

sudo su

Sur Debian/Ubuntu minimal

su

Ouvrez votre éditeur de texte en créant votre script /opt/scripts/mountGlusterPartition.sh

nano /opt/scripts/mountGlusterPartition.sh
  • ( CTRL + X => Save&Quit )

Ajoutez dedans les lignes après les avoir adapté à votre config

#!/bin/bash
sleep 10 #req if system is on SSD
sudo mount -t glusterfs 127.0.0.1:/NomVolume /media/monNouveauMontage
  • 127.0.0.1 => votre boucle locale
  • :PORT => votre numero de port (non requis, supprimez aussi le deux points si vous utilisez le port par défaut)
  • :/NomVolume => le nom du volume dans dans la grille GlusterFS
  • /media/monNouveauMontage => mon point de montage local
  • Infos : Manually Mounting Volumes

Rendez votre script exécutable et accordez lui les bons droits d'accès

chmod 551 /opt/scripts/mountGlusterPartition.sh

Ajoutez au fichier /etc/rc.local juste avant exit 0 l'appel de votre script afin de la lancer votre script au démarrage. Pour se faire éditez /etc/rc.local

nano /etc/rc.local

Puis ajoutez donc dedans (en l'adaptant)

/opt/scripts/mountGlusterPartition.sh

Wiki GlusterFS sur Ubuntu/Debian

0
26
juin
2017

Sommaire

Ce wiki traite de la partie serveur de GlusterFS pour la partie client voyez ce wiki : Monter un volume/répertoire GlusterFS sur Ubuntu/Debian

logo glusterfs fourmis qui mange une feuille

Qu'est-ce que GlusterFS ?

GlusterFS permet de créer des volumes/répertoires virtuels agrégeant un nombre X de serveurs. Pour cela GlusterFS crée des volumes (sorte de partition JBOD) à cheval sur les serveurs que vous stipulez lors de la création du volume et dispose d'un mode de redondance (replication) afin de lutter contre les pannes de stockage. Par défaut, sans réplication, gluster fait une sorte de raid0 (si vous uploader 10 fichiers sur un pool contenant deux Servers/Node, vous aurez 5 fichiers par server) (source). Vous pouvez utiliser l'argument stripe nombreDecoupage si vous souhaitez que les fichiers soient découpé avec leur data propre dispersée sur les différents stockages (le but étant d'augmenter les performances en lecture).
En une phrase, il permet de faire un cluster de stockage.

GlusterFS supporte :

Les types de volume/répertoire sont :

  • RAID0 non Strip / JBOD (fichier) (les fichiers sont répartis sur les différentes unités de stockage (bricks), si vous perdez une unité les données sur les autres bricks sont encore valable et accessible)
  • RAID0 Strip (data) (chaque fichier est découpé N fois et ses datas respective distribuées sur N espaces de stockage, en cas de perte d'une unité de stockage TOUTES les données sont perdues; infos)
  • Replication X - Raid1 (les fichiers sont dupliqués X fois à travers les Nodes comme du Raid1, perdre une unité de stockage n'a aucune incidence sur les données)
  • Distributed Replicated (les fichiers sont distribué sur certains nodes et dupliqués sur d'autres comme du Raid10; infos)
  • Distributed Stripped Replicated - RAID10 Strip (chaque fichier est découpé en N morceau répartis sur N Nodes et répliqué X fois sur X Nodes)

La mise en place est simple :

  1. vous installez le serveur sur au moins une machine
  2. vous connectez les serveurs entre eux.
  3. vous créez un volume virtuel
  4. avec un logiciel client vous pouvez accéder à votre volume (qui se comporte comme une partition) en vous connectant à n'importe lequel des deux Serveurs/Nodes.

Note : vous pouvez créer un raid local sur plusieurs disques. Par contre vous ne pouvez hélas pas créer un raid gluster dans un autre raid/jbod gluster.

Fonctionnement

ndlr : simple et si possible imagé

_


_

Installer GlusterFS Server

Passez en admin (root)

Sur Ubuntu/Raspbian

sudo su

Sur Debian/Ubuntu minimal

su

Installez le logiciel glusterfs-server

apt-get install glusterfs-server attr

Note : si vous souhaitez installer une version spécifique de Gluster utilisez l'attribut --version=id_version par exemple :

apt-get install glusterfs-server --version=3.7.15-ubuntu1~xenial1

Pour connaître la version du package installé, entrez dans un terminal

apt-show-versions glusterfs-server

Donner le droits d'accès (rw) au fichiers log

sudo chmod 777 /var/log/glusterfs/*.log

Lancez le démon

service glusterfs-server restart

_


_

Désinstaller glusterfs-server

Passez en admin (root)

Sur Ubuntu/Raspbian

sudo su

Sur Debian/Ubuntu minimal

su

Au choix :

Supprimez gluster sans supprimer les données (volumes, peer, etc)

apt-get remove glusterfs-server

Supprimez gluster ET ses données

apt-get purge --auto-remove glusterfs-server
rm -R /etc/glusterfs
rm -R /var/lib/glusterd

_


_

Création de Raid

Créer un volume type RAID1 avec choix du nombre de réplication

Adaptez puis entrez cette commande dans votre terminal

sudo gluster volume create NomVolume replica 2 transport tcp HOSTNAME_server1:/media/superPartition HOSTNAME_server2:/media/superPartition force
  • HOSTNAME => peut valoir l'ip, le nom de domaine ou tout path réseau valable d'un des server du cluster
  • NomVolume => le nom du volume dans dans la grille GlusterFS
  • replica 2 => le nombre de fois que les fichiers doivent être dupliqué
  • transport tcp => on utilise TCP/IP
  • force => ne se met qu'à la fin de la commande, permet d'utiliser le mode root
  • exemple officiel : gluster volume create NEW-VOLNAME [replica COUNT] [transport tcp | rdma | tcp,rdma] NEW-BRICK…

Ensuite démarrez votre volume/répertoire

sudo gluster volume start NomVolume

Note : remplacez start par stop pour arrêter un volume (c'est un umount version gluster)

Créer un volume avec un Arbitrer (replica 3 arbiter 1)

infos : Arbiter volumes and quorum options in gluster
(ndlr : à tester et corriger)
Le Nœud Arbitrer est chargé d'aider à élire un Noeud Maitre après une coupure réseau importante (split brain). Il est choisit automatiquement par GlusterFS parmi les Noeuds, il prend le troisième Nœud (bricks) et il n'est pas possible de le configurer/modifier (source).
Le paramètre replica doit être à 3 pour pouvoir utiliser un Arbitrer. Il faut donc au minimum 3 machines pour ce mécanisme.

sudo gluster volume create NomVolume replica 3 arbiter 1 transport tcp HOSTNAME_server1:/media/superPartition HOSTNAME_server2:/media/disque2 HOSTNAME_server3:/media/mon/path force
  • HOSTNAME => peut valoir l'ip, le nom de domaine ou tout path réseau valable d'un des server du cluster
  • NomVolume => le nom du volume dans dans la grille GlusterFS
  • replica 3 => le nombre de fois que les fichiers doivent être dupliqué
  • transport tcp => on utilise TCP/IP
  • force => ne se met qu'à la fin de la commande, permet d'utiliser le mode root
  • exemple officiel : gluster volume create replica 3 arbiter 1

_


_

_


_

Options & Utilisations

Note : Pour utiliser les commandes suivantes dans un script vous devez ajouter en fin de commande force --mode=script

Ajouter un Noeud/Node (ajouter peer)

sudo gluster peer probe HOSTNAME

HOSTNAME peut valoir l'IP, le nom de domaine ou tout path réseau valable d'un des server du cluster
Note : Une fois que le pool est établi, seuls les membres de confiance (trust) peuvent ajouter de nouveaux serveurs au pool. Un nouveau serveur ne peut PAS s'ajouter au pool, il doit être ajouté par le pool. (source)

Retirer un Noeud/peers (supprimer peer)

sudo gluster peer detach HOSTNAME

HOSTNAME peut valoir l'IP, le nom de domaine ou tout path réseau valable d'un des serveurs du cluster
Note : Tout les volumes ouvert en commun entre ses pairs (peers) doivent être stoppé AVANT.

Retirer un Noeud/peers et les bricks liés

Récupérez les infos des bricks à supprimer

sudo gluster volume info

Soit on supprime le peer de son bricks

sudo gluster volume remove-brick nomBricks replica 1  HOSTNAME:/media/monDisk/monDossier force

Soit on supprime le bricks

sudo gluster volume delete nomBricks

Lancez enfin la commande pour détachez le Node/peers

sudo gluster peer detach HOSTNAME

HOSTNAME peut valoir l'IP, le nom de domaine ou tout path réseau valable d'un des server du cluster
Note : Tout les volumes ouvert en commun entre ses pairs (peers) doivent être stoppé AVANT.

Ajouter un ou plusieurs serveurs à un volume / augmenter la taille d'un volume

sudo gluster volume add-brick NomVolume HOSTNAME:/media/maPartition

NomVolume => le nom du volume dans dans la grille GlusterFS
HOSTNAME => peut valoir l'ip, le nom de domaine ou tout path réseau valable d'un des server du cluster
/media/maPartition => le path où stocker les données sur le serveur
Exemple officiel : gluster volume add-brick VOLNAME NEW-BRICK
Source : http://www.gluster.org/community/documentation/index.php/Gluster_3.2:_Expanding_Volumes

Afficher le status des connexions en cours

sudo gluster peer status

Afficher les infos des volumes

sudo gluster volume info

Supprimer un serveur d'un volume en cours en mode répliqué (raid) /diminuer un volume

sudo gluster volume remove-brick monVolume replica 2 HOSTNAME:/media/maPartition

NomVolume => le nom du volume dans dans la grille GlusterFS
replica 2 => le nombre de replication
HOSTNAME => peut valoir l'ip, le nom de domaine ou tout path réseau valable d'un des server du cluster
/media/maPartition => le path où stocker les données sur le serveur
Source : https://support.rackspace.com/how-to/add-and-remove-glusterfs-servers/

Supprimer un volume

sudo gluster volume delete NomVolume

Note : ça ne supprime pas les fichiers.
Le volume doit être stoppé avant via

sudo gluster volume stop NomVolume

Lister les fichiers logs

sudo ls  /var/log/glusterfs/

Restreindre l'accès à une ou plusieurs IP/plage d'IP

sudo gluster volume set nomVolume auth.allow 192.168.1.2,192.168.*.1

nomVolume => le nom identifiant votre volume
192.168.1.2,192.168.*.1 => un exemple d'ip suivis d'un exemple de plage d'ip à autoriser
Note : Fonctionne aussi si le volume est en cours de fonctionnement.

Foire Aux Questions

Que se passe-t-il si on ajoute sur le serveur comme point de montage un dossier dans lequel il y a un ou des fichiers/dossiers?

Réponse : Le ou les fichiers sont ignoré par GlusterFS purement et simplement. Ils sont toujours accessible via le système de fichier du serveur mais pas via un quelconque volume glusterfs.

Que se passe-t-il si on ajoute sur le client comme point de montage un dossier dans lequel il y a un ou plusieurs fichiers/dossiers ?

Réponse : Le ou les fichiers disparaissent jusqu'à ce que le volume soit démonté (umount), il ne semble rien leur arriver de malheureux. Lorsque le volume est démonté en cas d'écriture vers son point de montage, alors les données sont écrites sur le disque dur principal (système), ce qui peut être un problème pour certains usages (motion sur raspberry pi entre autre).

Si un serveur doit lire des données, va-t-il uniquement le lire localement où va-t-il utiliser les autres serveurs afin de compenser la latence des disques dur?

Réponse : les données sont envoyées/reçues vers les différents serveurs en même temps.

Que se passe-t-il si un des bricks/disques dur tombe en panne en cours avec un volume fonctionnement ?

Réponse : Si vous êtes en raid1, il n'y a aucune perte de données et le service continue de fonctionner mode osef. Si vous êtes en JBOD/raid0 non stripping, le point de montage est toujours accessible et seules les datas présentent sur le bricks planté ne sont plus accessible. Il va de soit que si le disque dur en panne était le seul ou le dernier représentant d'un volume, le volume tombe aussi.

Peut-on synchroniser des serveurs en local (malgré un loopback foireux (Hairpinning)

Impossible d'utiliser le nom de domaine depuis l'intérieur du réseau) pour ensuite les disséminer sur d'autres connexions sans changer la configuration ? (et sans utiliser Tor)

Réponse : Une solution est de configurer en utilisant un hostname, puis en modifiant le ficher /etc/hosts (infos) pour indiquer les IP locales des différents Nodes correspondant à chaque nom de domaine. Une fois que les machines quittent votre réseau local vous devez bien entendu allez supprimer les valeurs temporaires.

Quelques filtres d'affichages wireshark pour zieuter tout cela ?

Réponse : Entrez une des valeurs suivantes pour voir se qu'il se passe : glusterfs

Les communications sont-elles chiffrées ?

Réponse : Par défaut Non, mais vous pouvez activer le chiffrement par TLS (ex-ssl) en suivant ce tuto : GlusterFS Security.

Les données stockées sur le(s) serveur(s) sont-elles chiffrées ?

Réponse : Par défaut Non. Une feature/extension (Doc - Features/disk-encryption) est en fin de conception afin de rendre gluster compatible avec le chiffrement côté serveur (disk encryption).

Quels sont les ports utilisés par les serveurs gluster ?

Réponse : 111 (portmap/rpcbind), 24007 (GlusterFS Daemon), 24008 (GlusterFS Management) et un port par volume/répertoire à partir de 49152. Si vous utilisez NFS alors les ports 38465, 38466 et 38467 sont aussi requis.
Source : Get started with GlusterFS - considerations and installation

Si on a un volume répliqué sur deux Nodes/Serveurs ("replicate 2") et que l'un d'eux n'est pas présent au démarrage de l'autre, le volume fonctionne-t-il?

Réponse : Non (!!!) Monter le volume devient impossible même en local (127.0.0.1) !

Quelle est la différence entre le paramètre "replicate" et "geo-replication"?

Réponse : replicate applique les modifications en temps réelle sur tout les Serveurs d'un Volume et lit les données sur X Serveurs en même temps. Geo-replication par contre fait des mises à jours régulières des modifications du système de fichier depuis un serveur Maître vers des serveurs Esclaves et ne lit les données que depuis le serveur Maitre.

Que se passe-t-il si le point de montage tombe en panne en cours de fonctionnement ?

Réponse : Il est automatiquement remplacé par un autre en cas de mirroring.

Que se passe-t-il si on fait un raid local (sur la même machine) et que la carte réseau n'est pas connectée

Réponse : le raid/jbod ne sera pas accessible tant que la machine ne sera pas connectée au réseau et ce même si le raid/jbod est uniquement local.

_


_

Journal Système de fichiers clusterisé - OCFS2, GFS2, GlusterFS, autres

Posté par (page perso) . Licence CC by-sa
15
26
juin
2017

Bonjour,

Voici une réflexion à voix haute, dans l'espoir d'attirer l'attention de ceux qui maîtrisent certains des points abordés ci-dessous.

Depuis des années, nos répertoires partagés sont servis par des serveurs Samba, montés en cluster via CTDB, formatés en OCFS2.
Le tout tourne sur des Oracle Linux 6 ou des CentOS 6 et ça fonctionne plutôt bien (zéro corruption de données, pas de souci de locking, performances moyennes mais suffisantes, bonne résilience).

Aujourd'hui, je tente de moderniser tout ça selon (...)

Wiki Formater les disques d'un volume Gluster Sur Ubuntu

0
10
fév.
2017

Ce tuto concerne debian/ubuntu/raspbian

Introduction

Les volumes gluster sont indépendant du système de fichier (formatage du disque), on peut sans problème appliquer et tester certaines modifications sans casser notre raid.
Dans le tutoriel ci-présent nous allons donc formater en F2FS deux SSD contenant déjà un volume gluster. Ensuite nous ré-uploaderons les fichiers afin de reforger le volume en veillant bien à se que les points de montage (exemple /media/disque1) soient identique à avant le montage (important).
Pour rappel F2FS est un système de fichier conçu entre autre par Samsung (fabricant de techno flash) et spécialement conçu pour les technologies mémoire basées sur Flash (SSD, eMMC). Il est plus rapide que NTFS et ext4 sur ce type de technologie. Par contre F2FS n'est reconnu que sur Linux (y compris Android et peut-être aussi BSD). F2FS consomme plus de cache que ext4 (vous disposez donc de moins d'espace pour un disque de taille égal).

Résumé de l'opération

  1. Stopper les services utilisant le volume puis arrêter le volume gluster
  2. Sauvegarder les fichiers et leurs droits respectifs
  3. Formater les disques puis les remonter
  4. Ré-injecter les fichiers
  5. Corriger le fichier /etc/fstab

Formatage en ligne de commande

Installer les pré-requis

sudo apt-get install f2fs-tools

On crée notre répertoire de sauvegarde

mkdir -p /tmp/backup/SSD480Go1
mkdir -p /tmp/backup/SSD480Go2

On se dirige vers le répertoire de travail

cd /tmp/backup/

Sauvegarde du contenu des disques

sudo cp -v -a /media/SSD480Go1/* ./SSD480Go1
sudo cp -v -a /media/SSD480Go2/* ./SSD480Go2

Lister les volumes

sudo gluster volume status

Arrêter le volume

sudo gluster volume stop monServer_raidLocalSSD

Récupérer le path des disques a formater

df -h

/dev/sde1 395G 75M 375G 1% /media/SSD480Go1
/dev/sdf1 395G 75M 374G 1% /media/SSD480Go2

Démonter les disques

sudo umount /media/SSD480Go1
sudo umount /media/SSD480Go2

Formatage

Note : pour un autre système de fichier que F2FS, vous pouvez passer par l'interface graphique de votre distribution. Mais si, comme ici, vous souhaitez une partition F2FS alors restez en ligne de commande (si non bug).

sudo mkfs.f2fs /dev/sde1
sudo mkfs.f2fs /dev/sdf1

Remonter les disques

sudo mount -t f2fs /dev/sde1 /media/SSD480Go1
sudo mount -t f2fs /dev/sdf1 /media/SSD480Go2

Ré-injection des fichiers

sudo cp -v -a /tmp/backup/SSD480Go1/* /media/$USER/123456-identifiant-disque-un-654321
sudo cp -v -a /tmp/backup/SSD480Go2/* /media/$USER/123456-identifiant-disque-deux-654321

Afficher les nouveaux UUID des partitions des disques précédemment formaté

sudo blkid

Éditer le fichier /etc/fstab afin de remplacer ext4/ntfs ou autre par f2fs (pour les disques qu'on formate, pas les autres!) ainsi que mettre la nouvelle correspondance des UUID

sudo nano /etc/fstab

Redémarrez la machine et gluster n'y aura vu que du feu

Note : en cas de bug, les fichiers sont déjà ré-uploadé sur les disques et donc récupérable

sudo reboot

C'est Terminé

Journal Monter un cluster mémoire avec un raspberry pi

Posté par . Licence CC by-sa
14
23
mai
2016

Avant-Propos :
Il est fortement conseillé d'utiliser un raspberry pi 2 au minimum (privilégiez le modèle 3). JBOD via mddfs n'est pas totalement stable, mais ZFS semble actuellement non utilisable sur Raspberry Pi. Si vous suivez ce tuto sur une machine dotée d'autre chose qu'un processeur ARM, privilégiez l'utilisation de ZFS.
Gluster vous permet en fonction du nombre de peers/nodes et du nombre de réplication de faire :

  • un JBOD réseau (addition de l'espace de toute vos machines Peer1 (...)

GlusterFS 3.2 — La géo‐réplication

42
8
mai
2011
Virtualisation

GlusterFS ou plus simplement gluster est un système de fichiers en espace utilisateur. Il a une forte connotation cluster ou cloud. Il existe deux types de système de fichiers de ce genre, les systèmes natifs en espace noyau comme Lustre / Ceph ou ceux utilisant l’interface FUSE. Dans la même catégorie que gluster, on retrouve MooseFS, sur lequel le magazine GMLF a réalisé un article en avril 2011.

L’intérêt des systèmes en espace utilisateur est la facilité de programmation, ainsi que le fait de s’appuyer localement sur un des systèmes de fichiers standard du noyau : ext3, ext4, XFS… Dans le cas d’un système de fichiers « clusterisé » comme gluster, chacune des partitions formant le cluster peut être formatée avec un système de fichiers différent. Il n’est pas nécessaire que ceux‐ci soient homogènes.

Avec un système de fichiers « clusterisé », il est possible d’agréger des volumes (partitions) provenant de plusieurs serveurs (NAS, SAN…), afin de ne montrer aux clients qu’un seul volume. C’est un peu la généralisation aux grappes de machines Linux (les clusters) du gestionnaire de volumes LVM que l’on trouve sur tous les serveurs Linux et qui permet (entre autres) l’agrégation de partitions.

La particularité de gluster est de ne pas s’appuyer sur un serveur de métadonnées (contrairement à pNFS et MooseFS). Tous les nœuds de la grappe sont équivalents. Il est donc particulièrement robuste aux pannes. À noter que depuis la version 3.1, gluster est distribué sous la licence libre AGPL, la licence publique générale Affero (GNU Affero General Public License), alors qu’il était auparavant distribué sous licence GPLv3. Ce changement de licence est évidemment conçu pour protéger le développement de gluster d’une utilisation abusive (sans retour de contribution) dans les « nuages »…