Forum général.cherche-logiciel Par quoi remplacer BTRFS pour du JBOD (raid sans split)?

Posté par  . Licence CC By‑SA.
1
23
avr.
2019

Je soupçonne btrfs d'être à l'origine de problèmes avec Nextcloud (du genre "Message":"expected filesize 1222932422 got 1073737728") et souhaiterais donc le remplacer par quelques choses de mieux foutu si cela existe.

La contrainte est d'être compatible JBOD (raid non strip) avec si possible la capacité à continuer de fonctionner en cas de perte d'une partie de la mémoire (comme avec mhddfs qui hélas n'est pas stable chez moi).

  • # ZFS !

    Posté par  (site web personnel) . Évalué à 4.

    si tu peut séparer disque "os" et disques "stockages" installe ZFS On Linux et créé un pool ZFS sur ton stockage !

    bon ça doit marcher aussi en disque "os" mais j'ai jamais testé

    • [^] # Re: ZFS !

      Posté par  . Évalué à 0. Dernière modification le 23 avril 2019 à 15:24.

      Merci pour ton conseil.

      ZFS utilise tout l'espace disponible dans la RAM pour créer un énorme cache : le ARC « adaptive replacement cache » (source)

      L'ARC est-il obligatoire ? Quid si ma machine dispose de peu de ram disponible ?

      Les fichiers sur ZFS sont-ils découpés (strip) ou conservés entier ? (1)

      En cas de défaillance d'un disque, la partition est-elle récupérable ? (1)

      En cas de formatage/changement de l'OS de la machine (sur un autre disque dédié), la partition ZFS est-elle récupérable ?

      1 Le but étant d'avoir le moins de boulot possible lors de la reconstruction afin d'éviter qu'un autre disque ne tombe en panne

      • [^] # Re: ZFS !

        Posté par  (site web personnel) . Évalué à 4. Dernière modification le 23 avril 2019 à 21:51.

        Je ne l'utilise que sous FreeBSD, mais je suppose que son fonctionnement sous linux est assez proche.

        L'ARC est-il obligatoire ?

        Oui.

        Quid si ma machine dispose de peu de ram disponible ?

        L'ARC laissera 1GB de libre ou la moitié de la RAM si vous disposez de moins de 2GB. C'est configurable et surtout, ce cache se videra en cas de besoin.

        Les fichiers sur ZFS sont-ils découpés (strip) ou conservés entier ? (1)

        Ce la dépend de la manière dont vous créer les «pool». Ceci dit, c'est hautement configurable, on peut ajouter ou retirer des disques (ou partitions) au pool à la volée, voire séparer un pool (split) ou mettre un disque hors ligne. Consultez la partie «virtual device» du manuel de zpool.

        De plus, il ne s'agit pas à proprement parler de «fichiers» mais de «blocs».

        En cas de défaillance d'un disque, la partition est-elle récupérable ? (1)

        Oui. En tout cas, je l'ai toujours récupérée. Mais je travaille peu avec des partitions, sauf pour le système racine.Il faut alors que le partitionnement alors soit identique sur chaque disque pour faire du strip ou du mirror .

        En cas de formatage/changement de l'OS de la machine (sur un autre disque dédié),
        la partition ZFS est-elle récupérable ?

        Oui, c'est pratique lorsque l'on a tout vautré en bricolant son FreeBSD.

        • [^] # Re: ZFS !

          Posté par  . Évalué à 1. Dernière modification le 24 avril 2019 à 00:58.

          Merci pour tes réponses fort convaincantes 👍

          Quels sont les éventuels inconvénients de ZFS ? (par ex avec btrfs il y a le soucis des tailles de fichiers incorrects, le processus btrfs-transaction qui parfois consomme beaucoup de CPU; avec mhddfs c'est le point de montage qui saute)

          • [^] # Re: ZFS !

            Posté par  (site web personnel) . Évalué à 3.

            Quels sont les éventuels inconvénients de ZFS ?

            Le seul inconvénient de ZFS sous linux est le conflit de licence qui impose une redistribution sous forme de sources et donc une recompilation à chaque mise à jour kernel.

            Cela étant dit c'est potentiellement géré par ta distribution (debian et ses dérivées en tout cas le font).

            Après ZFS/Linux est un peu moins utilisé que sous les autres OS, mais à la base le FS est rock-solide, est utilisé en prod sur des NAS depuis une dizaine d'années (chez sun/solaris à l'origine, puis d'autres avec les intégrations FreeBSD (FreeNAS par ex)).

            • [^] # Re: ZFS !

              Posté par  . Évalué à 2. Dernière modification le 04 mai 2019 à 18:10.

              conflit de licence qui impose une redistribution sous forme de sources et donc une recompilation à chaque mise à jour kernel.

              C'est exactement ça. Par exemple c'est transparent sous Debian, les mises à jour du noyau sont plus longues.
              Dans les faits ça ne change rien.

  • # mdadm avec ce que tu veux

    Posté par  . Évalué à 2.

    mdadm (la gestion du RAID incluse dans le noyau) fait le JBOD. Ça te donne une partition que tu utilises avec le système de fichiers de ton choix.

    Tu peux concaténer des disques et/ou des partitions.
    Genre la troisième partition de ton disque principale, plus tout ton disque secondaire.

    • [^] # Re: mdadm avec ce que tu veux

      Posté par  . Évalué à 3.

      D'après mes tests précédents avec mdadm, il semblerait qu'hélas lorsqu'on perd un disque l'entièreté des données de la grappe sont perdues (et ce même sans stripping).

      • [^] # Re: mdadm avec ce que tu veux

        Posté par  . Évalué à 2.

        Effectivement, le périphérique md devient totalement HS si un des composants est HS.
        Je n'avais pas pensé à cette contrainte que tu as exprimé.

        En fait on peut forcer à continuer l'utilisation du truc, mais ce n'est pas explicitement fait pour, et ça risque de merder grave car le système de fichiers n'est « pas au courant » donc il étale ses données partout.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.