Forum Linux.général Système de fichier compressé.

Posté par  .
Étiquettes : aucune
2
26
jan.
2012

Salut, je me suis posé la question, dans le cas d'un disque dur que je souhaite dédier à l'archivage, de la gestion sous Linux de systèmes de fichiers compressé.

Après une brève recherche sur BigG et wikipedia, j'ai trouvé que peu de réponses (cramfs, SquashFS JFFS2, ...)

La plupart ont d'importantes restrictions quand à la taille des fichiers, la taille totale du système, et pire, ne sont accessible qu'en lecture.

Est ce que d'autre systèmes de fichiers existes ? Ou peu être des systèmes type Fuse/Sshfs.

Est ce que l'emploi de tels systèmes de fichiers est intéressant ?

  • # Déduplication

    Posté par  . Évalué à 2.

    Une alternative à la compression l'usage de la déduplication qui peut aussi permettre d'économiser de la place disque.
    ex: lessfs

    Si vous n'aimez pas ce commentaire c'est qu'il est ironique.

    • [^] # Re: Déduplication

      Posté par  . Évalué à 1.

      Le site est extrêmement pauvre en documentation - ou alors je suis passé à côté.
      Du coup, j'ai lu l'article de linux magazine mentionné en revue de presse.
      L'exemple avec les trois documents texte me fait bien rire.
      En pratique, je suis curieux de connaître le ratio de duplication d'information sur un poste de travail. Et encore plus celui détectable par un système de fichiers. Ce n'est pas parce que vous avez collé le logo de votre société dans deux documents que le système pourra les dé-dupliquer; ce n'est pas aussi trivial.
      Il me paraît plus réaliste de proposer cette fonction sur un serveur de fichiers central pour jouer sur la duplication d'information inter-utilisateur. Et dans ce cas, un module FUSE n'est pas forcément la meilleur approche.

      • [^] # Re: Déduplication

        Posté par  (site web personnel) . Évalué à 2.

        En effet, la déduplication ne devient intéressante que pour de très gros volumes et permet d'obtenir des ratios très intéressants.
        Pour un usage sur le poste de travail, cela n'apportera qu'un gain en espace mineur.

        • [^] # Re: Déduplication

          Posté par  . Évalué à 3.

          Lessfs fait de la déduplication ET de la compression, notamment LZO dont il est question plus bas.

          Si vous n'aimez pas ce commentaire c'est qu'il est ironique.

  • # REX

    Posté par  . Évalué à 2.

    Les systèmes de fichiers comme squashfs sont destinés à des usages lecture seule. Ils en tirent des optimisations supplémentaires.

    Ils peuvent être combinés avec des systèmes de fichier en lecture/écriture grâce à unionfs. C'est ce qu'utilisent certaine distribution live pour permettre de conserver ses données entre deux démarrages.

    J'ai utilisé un module de FUSE pour avoir un système de fichiers compressé en lecture écriture sur une carte compact flash (donc de faible capacité et faible bande passante). Cela fonctionnait plutôt bien pour un usage courant (bureautique, navigation Internet).

    L'inconvénient est que cela s'exécute en espace utilisateur et pas dans le noyau. Et c'est très notable au niveau de l'activité processeur.

    Je ne sais pas pourquoi les systèmes de fichiers natifs comme ext3 ne proposent pas en standard la compression et le chiffrement.

    • [^] # Re: REX

      Posté par  . Évalué à 2.

      grâce à unionfs

      aufs saimieu non ?

      • [^] # Re: REX

        Posté par  . Évalué à 0.

        peut être, pas testé. j'ai souvent vu du unionfs sur les distro live.

  • # BTRFS

    Posté par  . Évalué à 2.

    Compression assurée par LZO il me semble.

    Sinon je pense à ZFS, mais je ne sais pas du tout où en est le portage Linux. Il existe au moins un truc pour Fuse, avec lecture/écriture/compression/chiffrement, mais aux dernières nouvelles c'était en beta.

    • [^] # Re: BTRFS

      Posté par  . Évalué à 3.

      LZO récemment, sinon c'est GZIP.
      Sauf que c'est pas parfait et on tombe souvent dans le "out of space" si on a le malheur de copier un gros fichier. Seulement les derniers noyaux sont supposément avoir corrigé le problème (voir fixs pour ENOSPC 2.6.37 puis 3.x).

      Il veut de l'archivage, donc ZFS n'aidera pas si c'est sur un disque externe. Il faudrait exporter / remonter le pool à chaque fois.

  • # Un soft un peu plus ancien

    Posté par  . Évalué à 0.

    Pas mal (déjà utilisé sur des millions de PC) :
    http://www.alamopc.org/pcalamode/reviews/archive1/rev011.htm

  • # BTRFS

    Posté par  . Évalué à 0.

    Pour remettre des pièces dans la machine, j'ai lu récemment que Btrfs était en bonne voie, il semble y avoir de la compression, etc ...

    http://linuxfr.org/news/btrfs-avance-a-grands-pas

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.