Forum général.cherche-logiciel Optical jukebox

Posté par . Licence CC by-sa
0
18
oct.
2017

Bonjour,

J'ai des soucis de place dans mon NAS et je pensais l'agrandir en achetant des nouveaux HDD.
Cependant après réflexion je me suis dit pourquoi pas un jukebox optique.

Cela réglerait aussi le probleme des virus pouvant détruire les fichiers.

Niveau avancement:
- partir d'une base genre sony CX355: Remplacer un lecteur BR et le gérer avec un Raspberry PI.
- Copier les données sur un ramdisk pour libérer le lecteur rapidement.
- une base mySQL pour savoir qui (...)

Forum Linux.debian/ubuntu Glusterfs-server - pourquoi l'arbitre se rempli-t-il de données ?

Posté par . Licence CC by-sa
2
10
oct.
2017
  1. Quelqu'un saurait-il pourquoi l'arbitre de mon volume Glusterfs (replica 3 arbiter 1) se rempli de données?

  2. N'est-il pas censé stocker uniquement des fichiers vide?

  1. Quand vous tapez "gluster volume info", vos volumes avec arbitre sont-ils aussi affiché comme de vulgaire replica 3? (moi ça indique "Number of Bricks: 1 x 3 = 3" et dans les infos n'est pas indiqué quel bricks est l'arbitre bref rien à voir avec se qui est indiqué (...)

Wiki [Tuto/HowTo] [Ubuntu/Debian] Chiffrer ses volumes Glusterfs

0
25
sept.
2017

Introduction

Par défaut les communications de glusterfs-server et de glusterfs-client ne sont pas chiffrées. Glusterfs peut néanmoins utiliser TLS (ex SLL) pour chiffrer les communications et casser ainsi toute tentative de MITM.
Ensemble, nous allons voir comment.

Note : Pour une raison inconnue (Ré-installation d'un des node? Bug après un reboot?), il peut arriver que les certificats TLS expirent. Vous vous retrouverez avec des "State: Peer in Cluster (Disconnected)" lorsque vous lancez la commande "gluster peer status". Dans /var/log/glusterfs/etc-glusterfs-glusterd.vol.log vous trouverez des lignes du style "SSL routines:ssl3_read_bytes:sslv3 alert certificate expired". Reforger les certificats et les clés privées semble régler le problème.

Les fichiers dont à besoin glusterfs pour le chiffrement via TLS

  • /etc/ssl/glusterfs.pem => Votre certificat. Ce fichier unique doit être sur chaque noeud et ne doit pas être partagé.
  • /etc/ssl/glusterfs.key => Votre clés privée. Elle doit être disponible sur chacun des Noeuds et clients.
  • /etc/ssl/glusterfs.ca => Ce fichier doit être à l'identique sur toutes les machines du cluster, autant client que serveur.
  • /var/lib/glusterd/secure-access => Fichier vide dont l'existence permet à glusterfs de savoir qu'il doit activer TLS. Doit être présent sur toutes les machines du cluster.

Mise en place

Installer le module de chiffrement

  • On se rend dans le dossier /etc/ssl
cd /etc/ssl/
  • Création des clés
sudo openssl genrsa -out glusterfs.key 2048
  • Création des certificats, remplacez hostnameNode par vos valeus - à répéter pour chaque node (server & client)
sudo openssl req -new -x509 -key glusterfs.key -subj "/CN=hostnameNODE" -out glusterfs_hostnameNode.pem
  • Concaténation des certificats (client & server), pour les serveurs
cat glusterfs_hostnameNode.pem glusterfs_hostnameNode.pem glusterfs_hostnameNode.pem glusterfs_hostnameNode.pem > glusterfs_server.ca
  • Concaténation des certificats (server), pour les clients
cat glusterfs_hostnameNode.pem glusterfs_hostnameNode.pem glusterfs_hostnameNode.pem glusterfs_hostnameNode.pem > glusterfs_client.ca
  • Note : autant utiliser directement celle juste ci-haut

    • On prépare l'export
mkdir /tmp/gluster
cp /etc/ssl/gluster* /tmp/gluster/
chmod 777 -R /tmp/gluster/
  • Envoyez sur chaque Noeuds sa clés privé (.key) et son certificat (.pem)
    • Exemple en lançant la commande depuis un client
scp monUser@machineQuiAGenereLesCertif:/tmp/gluster/glusterfs_hostnameNode.pem /etc/ssl/
  • On exporte maintenant le certificat concaténé sur tout les serveurs
    • Exemple en lançant la commande depuis un client
scp monUser@machineQuiAGenereLesCertif:/tmp/gluster/glusterfs_server.ca /etc/ssl/glusterfs_server.ca
  • On exporte maintenant le certificat concaténé sur tout les clients
    • Exemple en lançant la commande depuis un client
scp monUser@machineQuiAGenereLesCertif:/tmp/gluster/glusterfs_client.ca /etc/ssl/glusterfs_client.ca
  • Activer le chiffrement côté serveur (à reproduire sur chaque serveur)
sudo touch /var/lib/glusterd/secure-access
service glusterfs-server restart
  • Activer le chiffrement côté client (à reproduire sur chaque client)
sudo touch /var/lib/glusterd/secure-access

Activer le chiffrement des communications d'un volume

Note : il est conseillé de démonter (umount) les dossiers glusterfs déjà monté sur les clients.

gluster volume stop VOLNAME
gluster volume set VOLNAME server.ssl on
gluster volume set VOLNAME client.ssl on
gluster volume start VOLNAME

Désactiver le chiffrement des communications d'un volume

Note : il est conseillé de démonter (umount) les dossiers glusterfs déjà monté sur les clients.

gluster volume stop VOLNAME
gluster volume set VOLNAME server.ssl off
gluster volume set VOLNAME client.ssl off
gluster volume start VOLNAME

Journal [Btrfs et openSUSE] Épisode 5 : les quotas

Posté par . Licence CC by-sa
29
23
sept.
2017

« Btrfs et openSUSE » est une série de journaux sur le système de fichiers Btrfs, basée sur ma propre expérience d'utilisateur d'openSUSE. Au menu :

  • des généralités sur Btrfs
  • des noms qui pètent : sous-volumes, snapshots, rollbacks
  • du snapper
  • du grub
  • de la mise à jour incrémentale
  • des quotas
  • de la maintenance
  • des trucs spécifiques à openSUSE
  • des tentatives désespérées pour rester applicable à d'autres distributions
  • des erreurs (pas taper)
  • des bugs
  • des cris
  • (...)

Wiki [Tuto/HowTo] [Ubuntu/Debian] Créer un JBOD (raid0 non strip) avec btrfs

0
21
sept.
2017

Introduction

Parmi toutes les méthodes que j'ai testé (entre autre : mdadm, zfs, glusterfs, mhddfs), btrfs offre la méthode la plus simple de mise en place.
Voyons ensemble comment créer un JBOD avec btrfs.
Pour rappel un JBOD est un agrégat (une addition) de plusieurs disques. Btrfs accepte de commencer avec un seul disque et d'en ajouter par la suite.
Les méta-données sont dupliquées sur chaque disque, les données ne sont ni découpées (strip) ni dupliquées (mirror).
Le côté dommage est qu'au niveau du montage il y a un point of failure. En effet dans votre fichier /etc/fstab pour effectuer le montage vous devrez indiquer un seul des disques de la partition JBOD. Si ce disque plante la partition ne sera plus montable sans modifier le fichier /etc/fstab. (ndlr: initramfs ?)
En cas de défaillance d'un espace mémoire, les données présentes sur les autres espaces mémoire sont toujours accessible. Par contre les données sur le disque cassé sont bien entendu perdues.

Mise en place

Note : toutes les commandes suivantes sont à exécuter en tant que root.

Installez les pré-requis

apt install -y btrfs-tools

Listez les disques

fdisk -l
  • Récupérez les chemins de vos disques (par exemple /dev/sdb et /dev/sdc).

Créez la "partition" btrfs sur un ou plusieurs disques (vous pourrez en ajouter par la suite)

mkfs.btrfs -d single /dev/sdb /dev/sdc
  • l'option -d single indique que l'on ne veut pas dupliquer les datas

screenshot-2017_08_11-Tuto-BTRFS-Creation_JBOD_01

Création du point de montage

mkdir /media/mountPoint

Montez la "partition" btrfs (vous pouvez choisir n'importe quel disque de la "partition")

mount /dev/sdb /media/mountPoint

Récupérez l'UID de n'importe lequel de vos disques participant à "la grappe"

blkid | grep "btrfs" | grep -E " UUID=\"([0-9a-z]{1,}[\-]{0,}){0,}\""

Éditez le fichier /etc/fstab

nano /etc/fstab

Adaptez puis ajoutez la ligne suivante

UUID=blablabla-uid-de-votre-disque-blablabla /media/mountPoint           btrfs   defaults,rw      0  0

Suppléments

Ajouter un disque

Lancez la commande suivante

btrfs device add /dev/sdc /media/mountPoint
  • Note : le volume doit être monté

Retirer un disque

Lancez la commande suivante

btrfs device delete /dev/sdc /media/mountPoint
  • Note : le volume doit être monté

Forum Linux.debian/ubuntu Rétrécir partition root sur un serveur dédié

Posté par . Licence CC by-sa
0
2
sept.
2017

Bonjour,

Je viens de louer un serveur dédié et j'ai installé Promox.
Malheureusement ils ne proposent pas du paramétrer le partitionnement.

Je me retrouve donc avec une configuration par défaut qui ne me conviens pas vraiment :

# lsblk
NAME                   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda                      8:0    0 931.5G  0 disk
├─sda1                   8:1    0   199M  0 part /boot
├─sda2                   8:2    0     1G  0 part [SWAP]
├─sda3                   8:3    0     1K  0 part
└─sda5                   8:5    0 930.3G  0 part
  └─system-root        253:0
(...)

Forum Linux.général resize d'un fs après resize du disk vmdk

Posté par . Licence CC by-sa
0
9
août
2017

Hello all,

J'ai augmenté la taille d'un disk (vmdk) d'une vm et j'aimerai donc augmenter la taille du fs d'autant.
j'ai lu qu'il y a une commande resize2fs qui permet de faire ça mais je ne sais pas trop comment m'y prendre dans mon cas.
J'ai tenté de faire ça, mais comme il dit :"rien à faire !"

root@app1:~# resize2fs /dev/sda1
resize2fs 1.42.13 (17-May-2015)
Le système de fichiers a déjà 8388608 blocs (4k). Rien à faire !
Je ne maîtrise pas bien (...)

Wiki Monter un volume/répertoire GlusterFS sur Ubuntu/Debian

0
27
juin
2017

Testé sur : Ubuntu 16.04, Raspbian Jessie
Ce wiki traite de la partie client de GlusterFS pour la partie serveur voyez ce wiki : GlusterFS sur Ubuntu/Debian

Introduction

  • On utilise FUSE pour monter un dossier GlusterFS. Ces dossiers sont distribués entre X quantités de serveurs selon se que vous avez configuré et sont assez tolérant face aux pannes. Vous ne pouvez hélas pas configurer le client pour contacter votre grille mais un serveur qui lui sera en contact (bittorent) avec les autres serveurs (via aussi des liens direct (hostname)).

Montage d'un volume GlusterFS

Pré-requis

Passez en admin (root)

Sur Ubuntu/Raspbian

sudo su

Sur Debian/Ubuntu minimal

su

Installez glusterfs-client

apt-get install glusterfs-client

Création du point de montage local

mkdir /media/monNouveauMontage

Montage en ligne de commande d'un répertoire GlusterFS

Adaptez puis entrez cette commande dans votre terminal

mount -t glusterfs HOSTNAME:PORT:/NomVolume /media/monNouveauMontage
  • HOSTNAME => peut valoir l'ip, le nom de domaine ou tout path réseau valable
  • :PORT => votre numero de port (non requis, supprimez aussi le deux points si vous utilisez le port par défaut)
  • :/NomVolume => le nom du volume dans dans la grille GlusterFS
  • /media/monNouveauMontage => mon point de montage local
  • Infos : Manually Mounting Volumes

Monter le répertoire au démarrage/boot via script fait maison

Passez en admin (root)

Sur Ubuntu/Raspbian

sudo su

Sur Debian/Ubuntu minimal

su

Ouvrez votre éditeur de texte en créant votre script /opt/scripts/mountGlusterPartition.sh

nano /opt/scripts/mountGlusterPartition.sh
  • ( CTRL + X => Save&Quit )

Ajoutez dedans les lignes après les avoir adapté à votre config

#!/bin/bash
sleep 10 #req if system is on SSD
sudo mount -t glusterfs 127.0.0.1:/NomVolume /media/monNouveauMontage
  • 127.0.0.1 => votre boucle locale
  • :PORT => votre numero de port (non requis, supprimez aussi le deux points si vous utilisez le port par défaut)
  • :/NomVolume => le nom du volume dans dans la grille GlusterFS
  • /media/monNouveauMontage => mon point de montage local
  • Infos : Manually Mounting Volumes

Rendez votre script exécutable et accordez lui les bons droits d'accès

chmod 551 /opt/scripts/mountGlusterPartition.sh

Ajoutez au fichier /etc/rc.local juste avant exit 0 l'appel de votre script afin de la lancer votre script au démarrage. Pour se faire éditez /etc/rc.local

nano /etc/rc.local

Puis ajoutez donc dedans (en l'adaptant)

/opt/scripts/mountGlusterPartition.sh

Wiki GlusterFS sur Ubuntu/Debian

0
26
juin
2017

Sommaire

Ce wiki traite de la partie serveur de GlusterFS pour la partie client voyez ce wiki : Monter un volume/répertoire GlusterFS sur Ubuntu/Debian

logo glusterfs fourmis qui mange une feuille

Qu'est-ce que GlusterFS ?

GlusterFS permet de créer des volumes/répertoires virtuels agrégeant un nombre X de serveurs. Pour cela GlusterFS crée des volumes (sorte de partition JBOD) à cheval sur les serveurs que vous stipulez lors de la création du volume et dispose d'un mode de redondance (replication) afin de lutter contre les pannes de stockage. Par défaut, sans réplication, gluster fait une sorte de raid0 (si vous uploader 10 fichiers sur un pool contenant deux Servers/Node, vous aurez 5 fichiers par server) (source). Vous pouvez utiliser l'argument stripe nombreDecoupage si vous souhaitez que les fichiers soient découpé avec leur data propre dispersée sur les différents stockages (le but étant d'augmenter les performances en lecture).
En une phrase, il permet de faire un cluster de stockage.

GlusterFS supporte :

Les types de volume/répertoire sont :

  • RAID0 non Strip / JBOD (fichier) (les fichiers sont répartis sur les différentes unités de stockage (bricks), si vous perdez une unité les données sur les autres bricks sont encore valable et accessible)
  • RAID0 Strip (data) (chaque fichier est découpé N fois et ses datas respective distribuées sur N espaces de stockage, en cas de perte d'une unité de stockage TOUTES les données sont perdues; infos)
  • Replication X - Raid1 (les fichiers sont dupliqués X fois à travers les Nodes comme du Raid1, perdre une unité de stockage n'a aucune incidence sur les données)
  • Distributed Replicated (les fichiers sont distribué sur certains nodes et dupliqués sur d'autres comme du Raid10; infos)
  • Distributed Stripped Replicated - RAID10 Strip (chaque fichier est découpé en N morceau répartis sur N Nodes et répliqué X fois sur X Nodes)

La mise en place est simple :

  1. vous installez le serveur sur au moins une machine
  2. vous connectez les serveurs entre eux.
  3. vous créez un volume virtuel
  4. avec un logiciel client vous pouvez accéder à votre volume (qui se comporte comme une partition) en vous connectant à n'importe lequel des deux Serveurs/Nodes.

Note : vous pouvez créer un raid local sur plusieurs disques. Par contre vous ne pouvez hélas pas créer un raid gluster dans un autre raid/jbod gluster.

Fonctionnement

ndlr : simple et si possible imagé

_


_

Installer GlusterFS Server

Passez en admin (root)

Sur Ubuntu/Raspbian

sudo su

Sur Debian/Ubuntu minimal

su

Installez le logiciel glusterfs-server

apt-get install glusterfs-server attr

Note : si vous souhaitez installer une version spécifique de Gluster utilisez l'attribut --version=id_version par exemple :

apt-get install glusterfs-server --version=3.7.15-ubuntu1~xenial1

Pour connaître la version du package installé, entrez dans un terminal

apt-show-versions glusterfs-server

Donner le droits d'accès (rw) au fichiers log

sudo chmod 777 /var/log/glusterfs/*.log

Lancez le démon

service glusterfs-server restart

_


_

Désinstaller glusterfs-server

Passez en admin (root)

Sur Ubuntu/Raspbian

sudo su

Sur Debian/Ubuntu minimal

su

Au choix :

Supprimez gluster sans supprimer les données (volumes, peer, etc)

apt-get remove glusterfs-server

Supprimez gluster ET ses données

apt-get purge --auto-remove glusterfs-server
rm -R /etc/glusterfs
rm -R /var/lib/glusterd

_


_

Création de Raid

Créer un volume type RAID1 avec choix du nombre de réplication

Adaptez puis entrez cette commande dans votre terminal

sudo gluster volume create NomVolume replica 2 transport tcp HOSTNAME_server1:/media/superPartition HOSTNAME_server2:/media/superPartition force
  • HOSTNAME => peut valoir l'ip, le nom de domaine ou tout path réseau valable d'un des server du cluster
  • NomVolume => le nom du volume dans dans la grille GlusterFS
  • replica 2 => le nombre de fois que les fichiers doivent être dupliqué
  • transport tcp => on utilise TCP/IP
  • force => ne se met qu'à la fin de la commande, permet d'utiliser le mode root
  • exemple officiel : gluster volume create NEW-VOLNAME [replica COUNT] [transport tcp | rdma | tcp,rdma] NEW-BRICK…

Ensuite démarrez votre volume/répertoire

sudo gluster volume start NomVolume

Note : remplacez start par stop pour arrêter un volume (c'est un umount version gluster)

Créer un volume avec un Arbitrer (replica 3 arbiter 1)

infos : Arbiter volumes and quorum options in gluster
(ndlr : à tester et corriger)
Le Nœud Arbitrer est chargé d'aider à élire un Noeud Maitre après une coupure réseau importante (split brain). Il est choisit automatiquement par GlusterFS parmi les Noeuds, il prend le troisième Nœud (bricks) et il n'est pas possible de le configurer/modifier (source).
Le paramètre replica doit être à 3 pour pouvoir utiliser un Arbitrer. Il faut donc au minimum 3 machines pour ce mécanisme.
Note : en raid1 (replica 2) lorsqu'une machine est absente tout est cassé. Ici (replica 3 arbiter 1) tant qu'au moins deux machines sur 3 de chaque séries sont connectées entre elles (peu importe lesquelles), tout continue de fonctionner.

sudo gluster volume create NomVolume replica 3 arbiter 1 transport tcp HOSTNAME_server1:/media/superPartition HOSTNAME_server2:/media/disque2 HOSTNAME_server3:/media/mon/path force
  • HOSTNAME => peut valoir l'ip, le nom de domaine ou tout path réseau valable d'un des server du cluster
  • NomVolume => le nom du volume dans dans la grille GlusterFS
  • replica 3 => le nombre de fois que les fichiers doivent être dupliqué
  • transport tcp => on utilise TCP/IP
  • force => ne se met qu'à la fin de la commande, permet d'utiliser le mode root
  • exemple officiel : gluster volume create replica 3 arbiter 1

_


_

_


_

Options & Utilisations

Note : Pour utiliser les commandes suivantes dans un script vous devez ajouter en fin de commande force --mode=script

Ajouter un Noeud/Node (ajouter peer)

sudo gluster peer probe HOSTNAME

HOSTNAME peut valoir l'IP, le nom de domaine ou tout path réseau valable d'un des server du cluster
Note : Une fois que le pool est établi, seuls les membres de confiance (trust) peuvent ajouter de nouveaux serveurs au pool. Un nouveau serveur ne peut PAS s'ajouter au pool, il doit être ajouté par le pool. (source)

Retirer un Noeud/peers (supprimer peer)

sudo gluster peer detach HOSTNAME

HOSTNAME peut valoir l'IP, le nom de domaine ou tout path réseau valable d'un des serveurs du cluster
Note : Tout les volumes ouvert en commun entre ses pairs (peers) doivent être stoppé AVANT.

Retirer un Noeud/peers et les bricks liés

Récupérez les infos des bricks à supprimer

sudo gluster volume info

Soit on supprime le peer de son bricks

sudo gluster volume remove-brick nomBricks replica 1  HOSTNAME:/media/monDisk/monDossier force

Soit on supprime le bricks

sudo gluster volume delete nomBricks

Lancez enfin la commande pour détachez le Node/peers

sudo gluster peer detach HOSTNAME

HOSTNAME peut valoir l'IP, le nom de domaine ou tout path réseau valable d'un des server du cluster
Note : Tout les volumes ouvert en commun entre ses pairs (peers) doivent être stoppé AVANT.

Ajouter un ou plusieurs serveurs à un volume / augmenter la taille d'un volume

sudo gluster volume add-brick NomVolume HOSTNAME:/media/maPartition

NomVolume => le nom du volume dans dans la grille GlusterFS
HOSTNAME => peut valoir l'ip, le nom de domaine ou tout path réseau valable d'un des server du cluster
/media/maPartition => le path où stocker les données sur le serveur
Exemple officiel : gluster volume add-brick VOLNAME NEW-BRICK
Source : http://www.gluster.org/community/documentation/index.php/Gluster_3.2:_Expanding_Volumes

Afficher le status des connexions en cours

sudo gluster peer status

Afficher les infos des volumes

sudo gluster volume info

Supprimer un serveur d'un volume en cours en mode répliqué (raid) /diminuer un volume

sudo gluster volume remove-brick monVolume replica 2 HOSTNAME:/media/maPartition

NomVolume => le nom du volume dans dans la grille GlusterFS
replica 2 => le nombre de replication
HOSTNAME => peut valoir l'ip, le nom de domaine ou tout path réseau valable d'un des server du cluster
/media/maPartition => le path où stocker les données sur le serveur
Source : https://support.rackspace.com/how-to/add-and-remove-glusterfs-servers/

Supprimer un volume

sudo gluster volume delete NomVolume

Note : ça ne supprime pas les fichiers.
Le volume doit être stoppé avant via

sudo gluster volume stop NomVolume

Lister les fichiers logs

sudo ls  /var/log/glusterfs/

Restreindre l'accès à une ou plusieurs IP/plage d'IP

sudo gluster volume set nomVolume auth.allow 192.168.1.2,192.168.*.1

nomVolume => le nom identifiant votre volume
192.168.1.2,192.168.*.1 => un exemple d'ip suivis d'un exemple de plage d'ip à autoriser
Note : Fonctionne aussi si le volume est en cours de fonctionnement.

Foire Aux Questions

Que se passe-t-il si on ajoute sur le serveur comme point de montage un dossier dans lequel il y a un ou des fichiers/dossiers?

Réponse : Le ou les fichiers sont ignoré par GlusterFS purement et simplement. Ils sont toujours accessible via le système de fichier du serveur mais pas via un quelconque volume glusterfs.

Que se passe-t-il si on ajoute sur le client comme point de montage un dossier dans lequel il y a un ou plusieurs fichiers/dossiers ?

Réponse : Le ou les fichiers disparaissent jusqu'à ce que le volume soit démonté (umount), il ne semble rien leur arriver de malheureux. Lorsque le volume est démonté en cas d'écriture vers son point de montage, alors les données sont écrites sur le disque dur principal (système), ce qui peut être un problème pour certains usages (motion sur raspberry pi entre autre).

Si un serveur doit lire des données, va-t-il uniquement le lire localement où va-t-il utiliser les autres serveurs afin de compenser la latence des disques dur?

Réponse : les données sont envoyées/reçues vers les différents serveurs en même temps.

Que se passe-t-il si un des bricks/disques dur tombe en panne en cours avec un volume fonctionnement ?

Réponse : Si vous êtes en raid1, il n'y a aucune perte de données et le service continue de fonctionner mode osef. Si vous êtes en JBOD/raid0 non stripping, le point de montage est toujours accessible et seules les datas présentent sur le bricks planté ne sont plus accessible. Il va de soit que si le disque dur en panne était le seul ou le dernier représentant d'un volume, le volume tombe aussi.

Peut-on synchroniser des serveurs en local (malgré un loopback foireux (Hairpinning)

Impossible d'utiliser le nom de domaine depuis l'intérieur du réseau) pour ensuite les disséminer sur d'autres connexions sans changer la configuration ? (et sans utiliser Tor)

Réponse : Une solution est de configurer en utilisant un hostname, puis en modifiant le ficher /etc/hosts (infos) pour indiquer les IP locales des différents Nodes correspondant à chaque nom de domaine. Une fois que les machines quittent votre réseau local vous devez bien entendu allez supprimer les valeurs temporaires.

Quelques filtres d'affichages wireshark pour zieuter tout cela ?

Réponse : Entrez une des valeurs suivantes pour voir se qu'il se passe : glusterfs

Les communications sont-elles chiffrées ?

Réponse : Par défaut Non, mais vous pouvez activer le chiffrement par TLS (ex-ssl) en suivant ce tuto : GlusterFS Security.

Les données stockées sur le(s) serveur(s) sont-elles chiffrées ?

Réponse : Par défaut Non. Une feature/extension (Doc - Features/disk-encryption) est en fin de conception afin de rendre gluster compatible avec le chiffrement côté serveur (disk encryption).

Quels sont les ports utilisés par les serveurs gluster ?

Réponse : 111 (portmap/rpcbind), 24007 (GlusterFS Daemon), 24008 (GlusterFS Management) et un port par volume/répertoire à partir de 49152. Si vous utilisez NFS alors les ports 38465, 38466 et 38467 sont aussi requis.
Source : Get started with GlusterFS - considerations and installation

Si on a un volume répliqué sur deux Nodes/Serveurs ("replicate 2") et que l'un d'eux n'est pas présent au démarrage de l'autre, le volume fonctionne-t-il?

Réponse : Non (!!!) Monter le volume devient impossible même en local (127.0.0.1) !

Quelle est la différence entre le paramètre "replicate" et "geo-replication"?

Réponse : replicate applique les modifications en temps réelle sur tout les Serveurs d'un Volume et lit les données sur X Serveurs en même temps. Geo-replication par contre fait des mises à jours régulières des modifications du système de fichier depuis un serveur Maître vers des serveurs Esclaves et ne lit les données que depuis le serveur Maitre.

Que se passe-t-il si le point de montage tombe en panne en cours de fonctionnement ?

Réponse : Il est automatiquement remplacé par un autre en cas de mirroring.

Que se passe-t-il si on fait un raid local (sur la même machine) et que la carte réseau n'est pas connectée

Réponse : le raid/jbod ne sera pas accessible tant que la machine ne sera pas connectée au réseau et ce même si le raid/jbod est uniquement local.

_


_

Wiki RaspberryPi remplacer son Système de Fichier par F2FS (formatage)

1
10
fév.
2017

Introduction

  • F2FS ("flash-friendly file system") est un système de fichiers (filesystem) conçu pour les mémoires Flash. Sa conception lui permet d'être réputé plus rapide en écriture que les autres systèmes de fichiers (NTFS, ext4, zfs) sur les mémoires flash (SSD, eMMC, etc). La différence est significative sur raspberry pi.

Note : je vous conseil de d'abord tester sur une seconde carte mémoire
Note Bis : vous pouvez suivre exactement la même procédure pour formater la carte mémoire de votre appareil Android, arrêtez-vous juste après "Injection des fichiers précédemment sauvegardé"

Résumé de la procédure :

  1. Copie sur PC (Linux) de TOUS les fichiers de la carte SD/microSD du Raspberry Pi
  2. Formatage de la carte SD/microSD en F2FS
  3. Ré-injection des fichiers précédemment sauvegardés
  4. Édition des fichiers de démarrage du système

Mise en place en ligne de commande

Note : la carte mémoire du Raspberry Pi est divisée en deux partitions, une pour le boot (dont nous éditerons juste un fichier) et la seconde qui est celle que nous allons formater en F2FS et qui contient le Système de Fichier.

  1. Branchez votre carte mémoire à votre ordinateur

  2. Ouvrez un Terminal de commande (shell)

  3. Créez le dossier où ranger les fichiers du Raspberry Pi pendant le formatage

    mkdir /tmp/backup_sd

    • Ici j'ai choisi de créer un dossier dans /tmp/ ainsi le dossier et son contenu seront supprimés au redémarrage de la machine.
  4. Copiez les fichiers de votre carte mémoire vers un dossier sur votre ordinateur

    sudo cp -v -a /mnt/cartememoire/* /tmp/backup_sd

    • /mnt/cartememoire/ est le path du point de montage de votre carte mémoire (l'option -a est nécessaire). Sur Ubuntu par défaut le montage s'effectue dans /media/$USER/identifiant-partition-sur-carte-memoire/
  5. Installez le package f2fs-tools

    sudo apt-get install f2fs-tools

  6. Récupérez le path de la partition à formater. (par exemple /dev/sdf2)

    df -h

  7. Démontez la partition que nous allons formater

    sudo umount /media/$USER/identifiant-partition-sur-carte-memoire

  8. Formatage de la partition root de la carte mémoire

    sudo mkfs.f2fs /dev/sdf2

  9. Montage de la partition créée (sur ubuntu la partition s'auto-monte automatiquement)

    sudo mount -t f2fs /dev/sdf2 /media/raspberrypi

  10. Injection des fichiers précédemment sauvegardé

    sudo cp -v -a /tmp/backup_sd/* /mnt/cartememoire

  11. Éditez le fichier /etc/fstab sur la partition précédemment formatée de notre carte mémoire. La ligne correspondant à / (la racine) doit ressembler à quelque chose du style :

    /dev/mmcblk0p2 / f2fs defaults,noatime,discard 0 0

  12. Enfin remplacez rootfstype=ext4 par rootfstype=f2fs (en minuscule) dans le fichier cmdline.txt lui-même dans la partition intitulée "boot" de votre carte mémoire

  13. Démontez la carte SD

    sudo umount /dev/sdf1 & sudo umount /dev/sdf2

  14. C'est terminé !

Forum général.général On a développé un nouveau système de fichiers en peer-to-peer

Posté par . Licence CC by-sa
8
28
jan.
2016

Je sais qu'il y a pas mal de sysadmins et développeurs ici présent donc je souhaitais partager ça ici dans l'espoir de récolter un peu de feedback.

On vient de lancer notre petit bébé qui est un système de fichiers décentralisé en peer-to-peer après quelques mois de développement. Il permet notamment de créer des infrastructures de stockage en quelques minutes.

Si vous voulez regarder ça de plus près (et le tester) c'est par ici - https://infinit.sh. N'hésitez pas si (...)

Journal SSHFS est un vrai système de fichiers en réseau

23
28
août
2015

Cher journal,

Comme tu dois le savoir, il y a (au moins) deux façons générales d'accéder à des fichiers à distance :

  • les protocoles de transfert de fichiers, tels que FTP ou HTTP ;
  • les systèmes de fichier en réseau, tels que SMB/CIFS et NFS.

La différence, c'est qu'un protocole de transfert sert… à transférer des fichiers, évidemment, tandis qu'un système de fichiers en réseau permettra des choses comme l'ouverture de fichiers, la lecture à une position arbitraire, l'écriture (sans tout envoyer) (...)

Forum Programmation.c++ Exploration système de fichier en UTF8 & accès MySQL ?

Posté par (page perso) . Licence CC by-sa
1
20
août
2015

Salut à tous,

J'ai déjà de bonne bases en C++. C'est le seul langage de programmation que maîtrise réellement.

Je cherche à programmer un logiciel d'indexation spéciale, un truc qui n'existe pas encore, je vous le garanti ! Lorsque j'aurai terminé, il s'agira d'un démon qui tournerais sur un NAS. Ce NAS proposerait par ailleurs une application web basé sur cette indexation. Et tout sera en GPL.

J'ai commencé à programmer l'indexation en elle-même en PHP mais c'est beaucoup trop lent (...)

Forum Linux.général loop device sur une série de "petits" fichiers ? (et non un seul gros)

Posté par (page perso) . Licence CC by-sa
1
13
août
2015

Salut à tous,

Par pitié, ne me demandez pas « pour quoi faire ? » ; je vous le dirai plus tard si ça march'

Disons qu'il s'agit d'une question théorique, concernant la "boite à outils Linux".

Nous connaissons "tous" la possibilité d'obtenir un block-device sur un fichier, et de monter un FS qui s'y trouve par la même occasion avec :

mount -o loop example.img /home/you/dir

Mais imaginons que l'on n'ai plutôt une série de fichiers :

chunk0001 (16 Mio)
chunk0002 (16 Mio) (...)