bonjour nal,
juste un petit message à la communauté pour signaler le passage de la version 1.6.20-2 à la version 1.6.24 du système de fichiers distribué moosefs.
cette première mise à jour d'une longue liste a pour but la migration majeure vers la version 1.7 d'ici la fin de l'année.
annonce de la nouvelle version :
http://www.moosefs.org/news-reader/items/moose-file-system-v-1624-released.html
la roadmap peut être trouvée à cette adresse :
http://www.moosefs.org/roadmap.html
moosefs est un système de fichiers distribué, son architecture comporte un serveur maitre conservant les métadonnées (mfsmaster), des serveurs de réplications des métadonnées (mfsmetalogger), et des serveurs de données (mfschunkserver)
il est basé sur fuse, possède un système de "poubelle" intégrée, et des snapshots, sélection simple du nombre de réplicats sur le cluster, par fichiers, ou répertoire, il est libre, etc…
testé depuis l'article d'avril 2011 du Gnu/Linux Mag France, je dois avouer qu'il est simple à mettre en place, robuste, et je dirais élégant quant à la configuration.
il respecte à mon avis la sainte règle du KISS.
le seul soucis que je lui connaisse, c'est son comportement face aux petits fichiers : en dessous de 64Ko (taille minimal du chunk), changer de techno.
pour des fichiers de quelques Mo, l'essayer, c'est l'adopter.
pour ceux qui auraient déjà tester, la fonctionnalitée qui tue de cette nouvelle version à mes yeux : la gestion de la topologie : donc, possibilités de repartir les données sur plusieurs places géographiquement séparées.
j'invite tout le monde à troller sur le spof du mfsmaster, c'est le classique du moosefs. (ceci dit, avec les relais de métadonnées, j'ai déjà testé avec succès plusieurs bascules sans soucis)
# Chouette
Posté par Jux (site web personnel) . Évalué à 4.
Wow, ça a l'air vachement chouette.
Quelques petites questions :
- Que se passe-t-il si le maître tombe ? Est-il facile de démarrer le processus maître sur une autre machine ou cela demande-t-il une reconfiguration de l'ensemble des "data servers" ?
- Ca donne quoi niveau performances comparé à ses concurrents ?
- Est-ce que c'est déjà utilisé en prod ? Si oui, avec combien de machines / données ?
[^] # Re: Chouette
Posté par mcjyc (site web personnel) . Évalué à 4.
quelques petites reponses :
surement, il a mal.
oui, par contre, il faut que la machine de meme catégorie que le maître : le maître necessite bcp de mémoire, surtout quand il fork pour dumper ses métadonnées toutes les heures.
sur un esclave de metadonnées, le processus tourne est se synchronise en "temps réel" sur le maitre.
pour basculer un serveur de metadonnées, en serveur maître, il faut :
on stoppe le serveur de metadonnées : mfsmetalogger stop
on lance un : mfsmetarestore -a
puis un : mfsmaster start
ca monte en charge tres bien. on trouve de partout des benchs… mais bon, les benchs… ca depend enormement de la taille de tes fichiers, de ton goal (nombre de replicats)
, du nombre de serveurs, etc…
on a vecu le passage de la version 2 de glusterfs à la version 3 à l'époque. je crois que ca nous a calmé… (ca, c'est pour le troll moosefs vs glusterfs)
deux serveurs pour le mfsmaster et le mfsmetalogger (pour info, 83 000 000 fichiers, 37.8 Go/64 en Ram : clairement, ces deux chiffres dependent de la taille des fichiers)
5 serveurs, chacun avec 12 disques de 2 To. 109 To utile (1000 != 1024) 109T dispo, 60T occupé, 49T libre, 56%
il marche bien depuis l'année derniere, il sert à nos backups. jamais reussi à l'ecraser sous la charge, sauf en virant un serveur, en modifiant la conf du maitre, pour forcer la rebalance des chunks à pleine vitesse. mais c'est malheureusement classique dans ce genre d'architecture…
# ceph
Posté par Tryphon_bzh . Évalué à 3.
Bonjour à tous,
dans le même genre que moosefs, je signale aussi l'existence de "ceph". ceph-fs poursuit le même but que moosefs. Attention, il est encore selon les auteurs au stade "experimental" alors que moosefs a plus de bouteille apparemment (désolé je n'ai pas testé).
Il est robuste, simple à mettre en place (très "KISS" lui aussi), n'a pas de "single point of failure", mais ne gère pas encore le nombre de réplicats aussi finement que moosefs.
Il gère aussi la topologie, mais pas pour faire un système de fichier réparti géographiquement, juste pour mieux répartir la charge entre les racks, serveurs, disques durs…
Il est orienté performance, je le teste depuis 3 mois et j'en suis satisfait moi aussi ;-). Le développement est très dynamique (une version tous les mois "release often release soon"), très ouvert, sous licence LGPL, le module est même intégré au noyau linux depuis la version 2.6.34.
Même constat sur les petits fichiers : les performances chutent terriblement, pour le reste ça dépote.
son fonctionnement est très original, surtout pour la gestion des métadonnées (pas de serveur maitre), mais ce sont les auteurs qui en parlent le mieux :
http://ceph.newdream.net/ .
Question robustesse, j'ai fait énormément de bêtises, et je n'ai pas encore réussi à perdre mes données.
[^] # Re: ceph
Posté par mcjyc (site web personnel) . Évalué à 3.
parfaitement d'accord avec toi.
la seule chose qui m'avait arreté au début, il y a un an ou deux avec ceph, c'etait la "dépendance" à btrfs.
mais il est clair que plus btrfs sera reconnu comme stable, plus ceph aura le vent en poupe.
je crois que les snapshots sous ceph utilisent les fonctionnalités de btrfs : à vérifier, je me trompe peut être, et cela a peut évoluer depuis.
[^] # Re: ceph
Posté par Tryphon_bzh . Évalué à 2.
Oui, c'est bien ça : ceph peut fonctionner avec d'autres systèmes de fichiers, mais btrfs est obligatoire si l'on veut faire des snapshots.
[^] # Re: ceph
Posté par aNeutrino . Évalué à 3.
MooseFS a la capacité de prendre des instantanés trop.
Nous utilisons MooseFS dans la production depuis 2005.
Nous stockons deux pétaoctets de données à ce sujet. Il est très fiable.
# cas d'utilisation
Posté par jay . Évalué à 3.
Merci pour le journal je ne savais pas que ce genre de chose existait. Sinon c'est quoi typiquement l'utilisation d'une telle technologie ?
[^] # Re: cas d'utilisation
Posté par mcjyc (site web personnel) . Évalué à 3.
dans le cas d'un stockage déporté, ca te permet facilement d'augmenter ta capacité de stockage sans investir dans du matériel hors de prix.
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.