Et si la meilleure des cartes RAID était libre ?

97
10
fév.
2014
Technologie

ZFS comme son nom ne l'indique pas n'est pas juste un système de fichiers. Plus je l'utilise plus je dirais même que le système de fichiers n'est qu'une des fonctionnalités sympa de ZFS. ZFS est avant tout un moyen d'organiser de façon efficace ses ressources de stockage, une sorte de carte RAID surpuissante.

NDA : merci à Nicolas Casanova, Tonton Th, NeoX, Jiehong, jcr83 et ZeroHeure pour leur relecture attentive

Exploiter inotify, c’est simple

93
24
nov.
2014
Linux

Intégré à partir de Linux 2.6.13, le mécanisme inotify permet de mettre en place des actions associées à l’évolution de l’état du système de fichiers. À l’occasion des 10 ans de ce projet, cette dépêche va vous donner des pistes pour exploiter ce mécanisme qui pourra vous simplifier bien des tâches d’administration.

GlusterFS 3.2 — La géo‐réplication

42
8
mai
2011
Virtualisation

GlusterFS ou plus simplement gluster est un système de fichiers en espace utilisateur. Il a une forte connotation cluster ou cloud. Il existe deux types de système de fichiers de ce genre, les systèmes natifs en espace noyau comme Lustre / Ceph ou ceux utilisant l’interface FUSE. Dans la même catégorie que gluster, on retrouve MooseFS, sur lequel le magazine GMLF a réalisé un article en avril 2011.

L’intérêt des systèmes en espace utilisateur est la facilité de programmation, ainsi que le fait de s’appuyer localement sur un des systèmes de fichiers standard du noyau : ext3, ext4, XFS… Dans le cas d’un système de fichiers « clusterisé » comme gluster, chacune des partitions formant le cluster peut être formatée avec un système de fichiers différent. Il n’est pas nécessaire que ceux‐ci soient homogènes.

Avec un système de fichiers « clusterisé », il est possible d’agréger des volumes (partitions) provenant de plusieurs serveurs (NAS, SAN…), afin de ne montrer aux clients qu’un seul volume. C’est un peu la généralisation aux grappes de machines Linux (les clusters) du gestionnaire de volumes LVM que l’on trouve sur tous les serveurs Linux et qui permet (entre autres) l’agrégation de partitions.

La particularité de gluster est de ne pas s’appuyer sur un serveur de métadonnées (contrairement à pNFS et MooseFS). Tous les nœuds de la grappe sont équivalents. Il est donc particulièrement robuste aux pannes. À noter que depuis la version 3.1, gluster est distribué sous la licence libre AGPL, la licence publique générale Affero (GNU Affero General Public License), alors qu’il était auparavant distribué sous licence GPLv3. Ce changement de licence est évidemment conçu pour protéger le développement de gluster d’une utilisation abusive (sans retour de contribution) dans les « nuages »…

dfc(1): une alternative à df(1) apportant couleur et graphe

Posté par (page perso) . Édité par baud123. Modéré par baud123. Licence CC by-sa.
37
1
avr.
2012
Ligne de commande

Il y a maintenant une quinzaine jours, j'ai entrepris l'écriture d'un petit utilitaire se voulant une alternative au fameux df(1).

J'ai d'abord commencé le développement avec comme objectif mon propre plaisir à développer puis je me suis vite rendu compte qu'il se trouvait des personnes intéressées par ce projet.

Les versions se sont succédées à un rythme soutenu jusqu'à la version 2.3.0 sortie aujourd'hui. J'ai estimé que la maturité de ce programme était maintenant suffisante afin de mériter une dépêche et de le faire connaître aux personnes pouvant potentiellement être intéressées.

Qu'apporte dfc(1) que ne propose pas déjà df(1)? En voici la liste :

  • Gestion des couleurs avec modes automatique, toujours et jamais (similaire à ce que l'on peut trouver dans les commandes ls(1) et grep(1)).
  • Affichage d'un graphe montrant le taux d'utilisation des disques.
  • Possibilité d'afficher les options de montage.
  • Ajustement automatique de l'affichage en fonction de la taille du terminal.

En plus de ces options, dfc(1) gère également une fonction de filtrage par type de système de fichiers (inclusion et exclusion), le choix de l'unité de mesure pour l'affichage (human-readable, Kio, Ko, Gio, etc.), le décompte du nombre d'inodes, la somme des données (y compris les inodes si l'option est activée) et l'affichage du type de système de fichiers.

Pour l'instant, dfc(1) ne fonctionne que sur GNU/Linux mais un portage est en cours pour prendre en charge notamment FreeBSD et le portage vers d'autres plate-formes (autres *BSD et OSX) devrait se faire à plus ou moins moyen-terme.

dfc 3.0.0 : nouvelle version majeure pour cette alternative haute en couleurs à l'utilitaire df(1)

Posté par (page perso) . Édité par Nÿco, Xavier Claude et Florent Zara. Modéré par Florent Zara. Licence CC by-sa.
34
31
mai
2012
Ligne de commande

Pour ceux ayant raté ma dépêche présentant dfc(1) le 1er avril dernier, sachez qu'il s'agit d'un utilitaire en ligne de commande se voulant une alternative au vénérable df(1), apportant notamment de nombreuses options supplémentaires ainsi qu'un affichage coloré comportant des barres de graphe.

Plusieurs lecteurs de LinuxFr.org avaient fait part de leurs suggestions d'améliorations et requêtes de nouvelles fonctionnalités en commentaire de la dépêche et elles ont pour la plupart pris place dans cette nouvelle version majeure de dfc(1), aux côtés d'autres améliorations.

Journal Quelles solutions adopter pour améliorer un parc existant ? La suite !

30
1
fév.
2012

Deux ans plus tard, voici (enfin) un retour sur les choix que j'ai fais rapport à ce que j'indiquais ici.

  • Concernant l'accès aux données: j'ai opté pour le système de fichiers réparti et à tolérance de pannes MooseFS. C'est GPL, stable (il manque toutesfois une vraie recette pour la HA en ce qui concerne le serveur de métadonnées), extrêmement simple à configurer et faire évoluer. L'autre avantage, c'est que vous y accédez comme n'importe quel système de fichiers (...)

Red Hat rachète la société Inktank à l'origine de Ceph

29
4
mai
2014
Red Hat

Ce 30 avril 2014, Red Hat annonce avoir engagé le rachat de Inktank, société à l'origine du système de fichiers distribué Ceph, pour la somme de 175 millions de dollars.

Cette acquisition, accompagnée de celle de Gluster en octobre 2011, permet à Red Hat de se placer en tant que leader dans le domaine des systèmes de fichiers distribués libres. Gageons que ce rachat permettra au projet Ceph de se développer plus rapidement et de bénéficier de l'expertise de Red Hat dans l'écosystème autour du noyau Linux.

Journal Rachat de Gluster par Redhat

Posté par . Licence CC by-sa.
28
5
oct.
2011

Redhat a annoncé le 4 octobre 2011 avoir acheté Gluster, la maison éditrice de Glusterfs.

Pour rappel, Glusterfs est un système de fichier réparti ayant une gestion centralisée. Il offre la possibilité d'ajouter des espaces de stockage à la volée et utilise FUSE pour rendre disponible de l'espace de stockage sur un client. Il peut agréger des espaces de stockage en ext4, ext3 ou xfs et même tout fs POSIX (mais Gluster dit que ce n'est pas beaucoup testé)

(...)

Sortie de ZFS On Linux (ZOL) 0.6.3

28
14
juin
2014
Linux

La version 0.6.3 de ZOL (ZFS On Linux) vient fraîchement d'être mise à disposition. Bien que n'ayant que peu communiqué (sur la liste de discussion en tout cas), depuis la dernière version sortie en août 2013, les développeurs du projet n'ont pas chômé puisqu'il y a eu près de 200 corrections de bugs et de nombreuses fonctionnalités ajoutées au projet avec notamment : la compatibilité pour les noyaux Linux <= 3.14, la comptabilité avec les ACL POSIX et un nouvel outil de supervision dédié le ZED daemon.

Journal btrfs avance à grands pas

Posté par . Licence CC by-sa.
24
20
fév.
2012

Bonjour, lecteurs fréquemment affublés d'un nom de mollusque bivalve et passionnés par les développements dans le monde austère et précautionneux du stockage de nos chères données.

btrfs, "le petit système de fichiers qui monte", progresse chaque jour, notamment sous les houlettes d'Oracle (qui entend peser de tout son poids pour le faire admettre comme un concurrent sérieux à ZFS) et Redhat. Une petite recherche ciblée sur le net m'a permis de dénicher quelques nouvelles intéressantes.

ZFS, l'aîné et la (...)

Journal SSHFS est un vrai système de fichiers en réseau

23
28
août
2015

Cher journal,

Comme tu dois le savoir, il y a (au moins) deux façons générales d'accéder à des fichiers à distance :

  • les protocoles de transfert de fichiers, tels que FTP ou HTTP ;
  • les systèmes de fichier en réseau, tels que SMB/CIFS et NFS.

La différence, c'est qu'un protocole de transfert sert… à transférer des fichiers, évidemment, tandis qu'un système de fichiers en réseau permettra des choses comme l'ouverture de fichiers, la lecture à une position arbitraire, l'écriture (sans tout envoyer) (...)

Journal Exanodes publié en GPLv2 : OpenExanodes

19
25
oct.
2015

Bonjour Nal,
Un journal bookmark signalant qu'Exanodes vient d'être libéré entièrement, et publié en GPL v2. Exanodes est un système de fichiers distribué permettant par exemple la construction d'ensembles de stockage (d'origines matérielles diverses, de systèmes hétéroclites, au travers de multiples types de réseaux) Exanodes est pensé pour la tolérance de fautes.

Petit rappel : DAS, pour Direct Attached Storage est le système où les unités de stockage sont physiquement rattachées aux unités de calculs. Le NAS, pour Network Attached (...)

Journal nouvelle version pour Moosefs : 1.6.24

17
15
mar.
2012

bonjour nal,

juste un petit message à la communauté pour signaler le passage de la version 1.6.20-2 à la version 1.6.24 du système de fichiers distribué moosefs.

cette première mise à jour d'une longue liste a pour but la migration majeure vers la version 1.7 d'ici la fin de l'année.

annonce de la nouvelle version :

http://www.moosefs.org/news-reader/items/moose-file-system-v-1624-released.html

la roadmap peut être trouvée à cette adresse :

http://www.moosefs.org/roadmap.html

moosefs est un système de fichiers distribué, son architecture comporte un serveur maitre (...)

Forum général.général On a développé un nouveau système de fichiers en peer-to-peer

Posté par . Licence CC by-sa.
8
28
jan.
2016

Je sais qu'il y a pas mal de sysadmins et développeurs ici présent donc je souhaitais partager ça ici dans l'espoir de récolter un peu de feedback.

On vient de lancer notre petit bébé qui est un système de fichiers décentralisé en peer-to-peer après quelques mois de développement. Il permet notamment de créer des infrastructures de stockage en quelques minutes.

Si vous voulez regarder ça de plus près (et le tester) c'est par ici - https://infinit.sh. N'hésitez pas si (...)