Journal btrfs avance à grands pas

Posté par . Licence CC by-sa
24
20
fév.
2012

Bonjour, lecteurs fréquemment affublés d'un nom de mollusque bivalve et passionnés par les développements dans le monde austère et précautionneux du stockage de nos chères données.

btrfs, "le petit système de fichiers qui monte", progresse chaque jour, notamment sous les houlettes d'Oracle (qui entend peser de tout son poids pour le faire admettre comme un concurrent sérieux à ZFS) et Redhat. Une petite recherche ciblée sur le net m'a permis de dénicher quelques nouvelles intéressantes.

ZFS, l'aîné et la source d'inspiration de btrfs, jouit déjà d'une bonne réputation en entreprise. Il n'est pas intégrable nativement au noyau Linux pour des questions d'incompatibilités de licences. Il continue de narguer btrfs avec sa tonne de fonctionnalités mais commence à se faire du mouron quand il examine la feuille de route de son cadet, lequel compte bien le rattraper en terme de possibilités. Citons notamment :

  • Les modes RAID5 et RAID6 (apparemment déjà implémentés par des développeurs de chez Intel et qui devraient rencontrer le public dans le noyau 3.4 ou 3.5)
  • Le mode "3 copies" (imaginez un RAID1 sur 3 blocs au lieu de 2)
  • La possibilité d'envoi/réception par le réseau des snapshots (comprendre : juste les blocs modifiés)
  • Le chiffrement
  • Le "scrubbing" automatique en tâche de fond (pour régulièrement traquer les corruptions et ventiler uniformément les données entre les disques)
  • L'optimisation de placement des extents en tenant compte des vitesses des supports de stockage (en gros, on placerait les extents les plus fréquemment utilisés sur les supports les plus rapides)
  • De nouveaux algorithmes de compression (qui se tirent la bourre à qui sera le plus rapide (Snappy, de chez Google, ou LZ4, en plus de zlib et LZO))
  • L'arlésienne : enfin un fsck en lecture/écriture ! (Oracle met à ce propos une grosse pression sur Chris Mason, son employé et développeur principal sur le projet btrfs)
  • La déduplication, fréquemment demandée par les utilisateurs, est un projet à moyen terme/en priorité basse. De l'aveu de Chris Mason, il n'est pas trivial à traiter.

Je ne saurais trop vous recommander la récente présentation de btrfs par Avi Miller (un collègue de Chris Mason chez Oracle et co-développeur) lors de la conférence Linux.Conf.Au 2012. C'est tout chaud et les 48 minutes que durent la vidéo sont riches en enseignements. Avec humour et une pointe d'auto-dérision, Avi Miller détaille l'état d'avancement de btrfs ainsi que ses nouveautés qu'on peut attendre à court et moyen terme dans btrfs... J'ai trouvé notamment dans cette vidéo très intéressante la comparaison visuelle (34'14") des comportements d'ext4, XFS et btrfs quand on tente de créer énormément de fichiers. Les démonstrations effectuées sont également très parlantes et mettent en avant ce qu'on peut faire avec les snapshots ainsi que la robustesse de btrfs et sa capacité (pour peu qu'on utilise du RAID) à se remettre d'une corruption de bloc.

Quelques liens sources, à commencer par la vidéo de présentation évoquée plus haut (48 minutes qui valent le détour, croyez-moi) :

  • # Licence

    Posté par . Évalué à 5.

    Et ouais, comme quoi ya pas que les systèmes à licence BSD qui se voient obligés de réimplémenter des choses parce que la licence de la solution proposée ne convient pas.

    • [^] # Re: Licence

      Posté par . Évalué à 7.

      De mémoire, dans le cas de ZFS, il n'y avait pas que la licence qui posait problème : le côté tout en un du bazar (FS+LVM+Raid et tutti quanti) vs empilement de couches bien définies faisait que soit on pétait tout le VFS pour le faire rentrer, soit qu'il resterait une excroissance toute moche dans le kernel.

      • [^] # Re: Licence

        Posté par (page perso) . Évalué à 2.

        Vue la liste des fonctionnalités de btrfs et des prochaines nouveautés, je me demande lequel de ZFS ou btrfs est le plus "bazar" tout en un ?

        • [^] # Re: Licence

          Posté par . Évalué à 7.

          il me semble que btrfs reutilise les differentes couches du kernel plutot que de reinventer la roue.

    • [^] # Re: Licence

      Posté par . Évalué à 1.

      Et ouais, comme quoi ya pas que les systèmes à licence BSD qui se voient obligés de réimplémenter des choses parce que la licence de la solution proposée ne convient pas.

      Tu viens de te réveiller? Parce que c'est pas nouveau: NVidia --> Nouveau, XFree --> X.org, etc.

    • [^] # Re: Licence

      Posté par (page perso) . Évalué à 2.

      Je ne voudrais pas caser votre trip, mais ZFS est intégré au noyau de FreeBSD depuis quelques années maintenant, ça ne pause aucun soucis d'avoir un ZFS performant.

      Par contre c'est bête de bosser sur un 2eme système qui va faire la "même chose"

      • [^] # Re: Licence

        Posté par (page perso) . Évalué à 0.

        Je ne voudrais pas caser votre trip, mais ZFS est intégré au noyau de FreeBSD depuis quelques années maintenant

        Vraiment ? Bravo les BSDistes alors : les licences copyleft ce n'est pas assez libre pour eux seulement quand ça les arrange on dirait.

      • [^] # Re: Licence

        Posté par (page perso) . Évalué à 1.

        FreeBSD c'est comme Free Mobile ou je confond ?

        ----> []

  • # Login

    Posté par (page perso) . Évalué à 8.

    Un autre article très bien sur Btrfs c'est celui qui est paru dans le Login de ce mois:

    http://static.usenix.org/publications/login/2012-02/openpdfs/Bacik.pdf

    Sinon est-ce que quelqu'un peut m'expliquer à quoi joue exactement Oracle avec ZFS et Btrfs ? Pourquoi développer ainsi deux systèmes concurrents ? Pourquoi ne pas changer la licence de ZFS pour permettre son incorporation dans Linux (si la stratégie est de privilégier Linux) ou bien pourquoi ne pas stopper le développement de Btrfs (si la stratégie est de privilégier Solaris) ?
    J'avoue que je ne pige pas.

    • [^] # Re: Login

      Posté par . Évalué à 2.

      Linux pour l'entrée de gamme, Solaris pour le haut de gamme comme chez les copains d'IBM. Avec quand même un peu de Linux pour le HPC.

    • [^] # Re: Login

      Posté par . Évalué à 3.

      Parceque le design BTRFS est plus mieux:
      https://lwn.net/Articles/342892/

      • [^] # Re: Login

        Posté par (page perso) . Évalué à 3.

        C'est pas XFS le plus fort ?

        https://lwn.net/Articles/476263/

        • [^] # Re: Login

          Posté par . Évalué à 2.

          Hahaa, XFS se défend, ce qui semble surprendre pas mal de monde, moi le premier. Quand j’ai lu l’article, je m’apprêtais à aller troller comme un porc sur un bug que j’avais rencontré qui faisait tout bonnement crasher le xfsrepair sur ARM (plateforme de bon nombre de NAS). Néanmoins, ce bug a été corrigé quelques mois après que je l’ai reporté, et je ne peux que tirer mon chapeau (sans le manger) aux développeurs.

          Cet article ne parle néanmoins que d’un point, les workload générant beaucoup de méta-données, ce qui était autrefois le point faible de XFS, et qui a été fortement amélioré. J’aimerai bien voir une comparaison sur un spectre plus large.
          Ce qui est sûr, c’est que XFS reste un choix « raisonnable » (bien plus que reiserfs par exemple) quand on voit qu’il bénéficie de toujours autant de développements après tant d’années. Je doute qu’il puisse rivaliser avec le "gros" ext4 et le "tendance" btrfs, mais s’il parvient à continuer à vivre et évoluer, c’est déjà bien !

          • [^] # Re: Login

            Posté par (page perso) . Évalué à 4.

            Ce qui est sûr, c’est que XFS reste un choix « raisonnable » (bien plus que reiserfs par exemple)

            C'est sûr que XFS se porte mieux que Reiser's Former Spouse (c'est pas ça que reiserfs veut dire ?).

    • [^] # Re: Login

      Posté par . Évalué à 4. Dernière modification le 20/02/12 à 15:23.

      quelqu'un peut m'expliquer à quoi joue exactement Oracle avec ZFS et Btrfs ?

      Expliquer, non. Simplement émettre l'hypothèse qu'il s'agisse d'un "doublon fonctionnel" de sécurité : pour le moment Oracle Solaris convient, mais à terme il est probable que Linux le remplace totalement (avec au passage un abaissement du coût de développement). Peut être qu'il s'agit donc d'un exemple "ne pas mettre tout ses oeufs dans le même panier", et que Oracle joue la prudence, tant pour le présent avec zfs que l'avenir avec btrfs et linux plus globalement.
      ?

      • [^] # Re: Login

        Posté par (page perso) . Évalué à 7.

        Ou qu'ils font n'importe quoi comme nokia ou intel, parce que de toute façon, c'est tellement dérisoire de payer une équipe de X personnes quand on est proches de 110000 employés.

    • [^] # Re: Login

      Posté par (page perso) . Évalué à 4.

      Peut etre qu'eux aussi sont bloqués par des problemes de copyrights ou de brevets detenus par des tiers...

  • # Concurrent à ZFS

    Posté par (page perso) . Évalué à 7.

    btrfs, "le petit système de fichiers qui monte", progresse chaque jour, notamment sous les houlettes d'Oracle (qui entend peser de tout son poids pour le faire admettre comme un concurrent sérieux à ZFS)

    Ah, vraiment ? ZFS étant le système de fichier concurrent chez… Oracle eux-mêmes, j'ai comme un doute quand à cette affirmation…

    • [^] # Re: Concurrent à ZFS

      Posté par (page perso) . Évalué à 7.

      J'imagine que changer la license de zfs, ça serait abandonner un avantage compétitif de Solaris face à Linux. Mais à coté, comme les clients le veulent aussi sur leurs serveurs linux, ils ont décidés d'investir dans btrfs en vue d'avoir un avantage face à des concurents ( en plus de bloquer la certifications de leur distro, khof rhel 6 khof pour bloquer les revenus )

      Ceci expliquerais sans doute pourquoi Oracle tente de mettre ça par défaut dans leur distro ( http://www.phoronix.com/scan.php?page=news_item&px=MTA0ODU ) alors que Fedora ( qui est pourtant pas la derniére en terme de feature expérimental ) à encore repoussé ça à Fedora 18 ( http://www.h-online.com/open/news/item/Fedora-puts-back-Btrfs-deployment-yet-again-1436704.html ).

      Et ça serait pas la premiére fois que Oracle fait des trucs qui semblent incohérents, entre avoir Virtualbox et faire un sprint xen, avoir mysql et oracle db, etc.

      Et ils ont peut être tellement d'argent ( au vue des tarifs pratiqués et du nombre de commerciaux, ça serait pas étonnant ) qu'ils veulent juste occuper tout le marché, ou simplement tellement grand que la main gauche sait pas ce que fait la droite. Au final, on devrais se réjouir d'avoir un éditeur propriétaire pas très orienté logiciel libre qui contribue un peu à autre chose que des projets qu'il a racheté ( certes, ça ne rachéte pas tout le reste ). C'est mieux que rien.

  • # Btrfsck

    Posté par . Évalué à 3.

    L'arlésienne : enfin un fsck en lecture/écriture ! (Oracle met à ce propos une grosse pression sur Chris Mason, son employé et développeur principal sur le projet btrfs)

    Si je me fie à l’article de phoronix linké, on dirait que la deadline était le 14 février. Et en effet, dans le dépot git de btrfs-progs, branche "dangerdonteveruse" (danger, ne jamais utiliser):
    http://git.kernel.org/?p=linux/kernel/git/mason/btrfs-progs.git;a=shortlog;h=refs/heads/dangerdonteveruse

    Oh, pleins de nouveaux commits sur btrfsck !

    Bon, ça n’inspire pas encore confiance, mais on s’approche de la disponibilité de l’outil… Néanmoins, rien n’est joué pour F17.

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.