Forum Linux.général ZFS, Lessfs et déduplication

Posté par  .
Étiquettes :
-1
9
mai
2012

Bonjour forum,

je regarde les divers systèmes de fichiers dispo sous linux pour faire de la déduplication sur un serveur de backup, et j'ai 3 candidats :
- lessfs
- zfs
- opendedup (sdfs)

Je voulais savoir si parmi vous quelqu'un avait déjà mis en pratique la déduplication sur ces filesystems en production, si ça marchait bien, les pièges à éviter, bref avoir un petit retour d'expérience ?

Merci pour vos retours ;)

  • # Opendedup

    Posté par  . Évalué à 3. Dernière modification le 09 mai 2012 à 23:29.

    Je viens d'apprendre l'existence d'Opendedup.
    Je vois que c'est un système de fichiers qui utilise Fuse et qui fait de la déduplication. Chouette, je regarde vite fait car je suis intéressé.

    Sur la page officielle du projet:
    - uniquement en 64 bits. Bon ok admettons (si je ne suis pas content, libre à moi de proposer un patch, je sais)
    - System Requirements: Java 7… wtf :)
    - 2 Gio de mémoire. Ha ben oui quand même !

    Ils indiquent qu'il n'y a quasi aucune perte de performances. Ca devient méga intéressant.
    Autrefois Fuse bouffait pas mal de perfs. Ce n'est actuellement plus le cas semble-t'il mais je n'ai pas testé. Et donc leur utilisation de Java ne réduit pas non plus les perfs (en admettant qu'ils ne pipottent pas).

    • [^] # Re: Opendedup

      Posté par  . Évalué à 3.

      il n'y a quasi aucune perte de performances

      Avec le allers-retours noyau-espace utilisateur, les calculs de déduplication (hash) et la jvm, ce serait très étonnant.

      FUSE ça devrait être réservé à du prototypage ou des services non critique. Là, si tu veux dédupliquer, c'est sur un volume important de données type serveur de mails ou de partage de fichiers, bref, du très critique.

    • [^] # Re: Opendedup

      Posté par  . Évalué à 1.

      J'avais marqué Opendedup à titre indicatif, mais j'ai du mal à croire qu'il n'y ait pas de pertes de perfs comme dit au-dessus.

      Sinon pour le stockage des données je passerai bien sous freebsd / freenas qui gère le zfs nativement, mais je ne connais pas suffisamment les systèmes bsd pour administrer correctement le bouzin.

  • # Lab

    Posté par  . Évalué à 0.

    Bon, ben je vais me faire un lab avec une machine et 3 partitions, lessfs, zfs et ext4, pour voir un peu les gains de place que je peux avoir.

    Pour la rapidité d'écriture, je m'en fiche un peu vu que c'est que pour du stockage.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.