Forum Linux.debian/ubuntu Glusterfs-server - pourquoi l'arbitre se rempli-t-il de données ?

Posté par . Licence CC by-sa
2
10
oct.
2017
  1. Quelqu'un saurait-il pourquoi l'arbitre de mon volume Glusterfs (replica 3 arbiter 1) se rempli de données?

  2. N'est-il pas censé stocker uniquement des fichiers vide?

screenshot-2017_10_10-GLusterfs-server-Arbitre_volume_replica_arbiter1_conso_stockage

  1. Quand vous tapez "gluster volume info", vos volumes avec arbitre sont-ils aussi affiché comme de vulgaire replica 3? (moi ça indique "Number of Bricks: 1 x 3 = 3" et dans les infos n'est pas indiqué quel bricks est l'arbitre bref rien à voir avec se qui est indiqué dans la doc (voir ici))

screenshot-2017_10_10-glusterfs-server_volume_infos-Volume_replica3_arbiter1

Note : lors de la création du volume j'ai bien vérifié que quand je crée un fichier texte l'arbitre stocke un fichier vide et sur le coups c'est bien se qu'il s'était déroulé.

PS: auriez-vous une alternative crédible à glusterfs ne nécessitant pas 10ans d'étude ni d'avoir l'anglais comme langue natale?

  • # Hello

    Posté par . Évalué à 3 (+3/-3). Dernière modification le 11/10/17 à 00:59.

    PS

    Je pense qu’on devrait arrêter avec les post-scriptum sur les forums ou dans les mails. Ça n’a vraiment aucune raison d’être. Tu fais ce que tu veux bien sûr… mais puisque tu peux facilement mettre cette phrase à un endroit où elle ira bien (ici elle va très bien là où elle est d’ailleurs)…

    auriez-vous une alternative crédible à glusterfs

    Perso, non. J’imagine qu’il y en a au moins une.

    ne nécessitant pas 10ans d'étude

    Les systèmes de fichiers distribués, on ne peut pas vraiment dire que ça fasse parti du b.a ba de l’informatique… Ça me semble nécessairement d’une complexité plutôt élevée.

    Ceci étant dit, en posant ces questions ici tu es en train d’étudier le bousin, donc bonne chance, j’espère que quelqu’un qui connaît le sujet pourra t’apporter des réponses techniques.

    ni d'avoir l'anglais comme langue natale?

    « Faire de l’informatique » (mettre en œuvre un FS distribué ça en fait partie selon moi) sans être capable de lire et écrire en anglais (pas seulement technique…) je ne crois pas que ce soit possible. La grande majorité des ressources sont en anglais, puisque c’est cette langue qui se retrouve utilisée comme langue commune entre des européens, des chinois, des russes, des… C’est aujourd’hui vrai pour l’ensemble des matières scientifiques et ça l’est tout particulièrement pour l’informatique, depuis ses débuts.

    • [^] # Re: Hello

      Posté par . Évalué à -2 (+0/-3). Dernière modification le 11/10/17 à 13:26.

      Les systèmes de fichiers distribués, on ne peut pas vraiment dire que ça fasse parti du b.a ba de l’informatique… Ça me semble nécessairement d’une complexité plutôt élevée.

      Je ne vois pas en quoi Glusterfs doit être plus compliqué à utiliser que syncthing juste parce que voila.
      On pourrait très bien remplacer le système pourris actuel par un système où on ajoute les Nodes en contactes et ils se chargeraient de s'auto-configurer.
      Par contre on est dans un milieu où des logiciels libre sont utilisé par des boites qui font des surcouches pour faciliter l'utilisation par leur clientèle mais en proprio histoire que le reste de l'humanité ne puisse pas en bénéficier. (nous offrant un belle démo de pourquoi utiliser la GPLv3 plus tôt que la LGPL)

      « Faire de l’informatique » (mettre en œuvre un FS distribué ça en fait partie selon moi) sans être capable de lire et écrire en anglais (pas seulement technique…) je ne crois pas que ce soit possible.

      On ne demande pas que les dev traduisent tout, par contre très clairement y en a marre de ces projets, surtout libre, qui font de la discrimination, par pur fainéantise ou égoïsme, en ne permettant pas la traduction ni de la doc ni des projets.
      Les projets libre, et la science vu que tu la cites, ont besoin d'être accessible au plus grand nombre et pas à une petite "élite", si non on avance pas.
      D'ailleurs je ne vais pas reporter ce bug (dont je ne trouve aucune infos sur le net) à la communauté glusterfs à cause de la barrière de la langue.
      La discrimination par la langue c'est un sujet très, très, très sensible chez les belges. :P

      J'ajouterais qu'il est pas croyable de voir des assoc (frama, FDN, etc) défendre l'auto-hébergement et la lutte contre les gafams alors que les outils informatiques ne sont ni accessible au grand publique, ni fonctionnel (un POC n'est pas une solution stable et utilisable pendant un siècle).

      Si vous codez un logiciel sans une interface chatoyante, alors vous faites de la merde. Donation bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat

      • [^] # Re: Hello

        Posté par . Évalué à 5 (+2/-0).

        On ne demande pas que les dev traduisent tout, par contre très clairement y en a marre de ces projets, surtout libre, qui font de la discrimination, par pur fainéantise ou égoïsme, en ne permettant pas la traduction ni de la doc ni des projets.

        Comment font-ils cela ? Une équipe qui refuse de permettre la « localisation » de son programme pourquoi pas (encore que…) mais pour la doc… Tu as un exemple de projet qui refuse ce genre de contribution ?

        Je ne vois pas en quoi Glusterfs doit être plus compliqué à utiliser que syncthing juste parce que voila.

        Parce que le premier est un système de fichiers alors que le second est une application pour l’utilisateur final ?

        Les projets libre, et la science vu que tu la cites, ont besoin d'être accessible au plus grand nombre et pas à une petite "élite", si non on avance pas.

        D’où la nécessité d’utiliser le plus petit commun dénominateur qu’est l’anglais :)

        • [^] # Re: Hello

          Posté par . Évalué à 1 (+2/-2).

          D’où la nécessité d’utiliser le plus petit commun dénominateur qu’est l’anglais :)

          Si l'anglais semble le dénominateur commun des pays de l'OTAN, pas dit que se soit le cas pour les autres. (Quid des pays hispanique et de l'Asie?)
          De plus cela favorise les anglo-saxons et ceux qui ont la chance d'avoir été dans des écoles en immersion pendant que les autres doivent patauger.
          Dans le sujet si tu ne l'a pas déjà vu je t'invite à regarder Linguisticae - L'anglais responsable des crashs aériens ? - MLTP#18 qui est fort intéressante.
          Je suis d'avis qu'afin de lutter contre cette discrimination on oblige toutes les écoles (du monde) à faire immersion dans une langue commune.

          Comment font-ils cela ? Une équipe qui refuse de permettre la « localisation » de son programme pourquoi pas (encore que…) mais pour la doc… Tu as un exemple de projet qui refuse ce genre de contribution ?

          C'est simple, ils tapent leur doc sur des sites où traduire n'est pas possible pour la communauté.
          De tête tout les FS distribués, rudder, nextcloud, …
          Certains n'implémentent pas non plus de module de traduction dans le logiciel et donc exit beaucoup d'utilisateurs qui auraient pu apporter leur pierre à l'édifice (ne serait-ce que populariser des projets et leur donner plus de visibilité)

          Parce que le premier est un système de fichiers alors que le second est une application pour l’utilisateur final ?

          Les personnes qui pensent ainsi ont fait la richesse de Bill Gates :P
          Perso je pars d'un constat simple : en 2017 et malgré que beaucoup nous vendent le monde moderne comme super évolué, un album photo numérique privé ne peut pas remplacer un album photo argentique privé. (le but originel de mon cloud c'est de stoker les ressources culturelles et historique de mon quartier sans dépendre d'entreprise/institution chelou, pas de jouer au SysAdmin)

          Si vous codez un logiciel sans une interface chatoyante, alors vous faites de la merde. Donation bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat

    • [^] # Re: alternative

      Posté par . Évalué à 1 (+0/-0).

      Perso, non. J’imagine qu’il y en a au moins une.

      Il y en a mais je voudrais l'avis d'utilisateurs histoire de ne pas me retrouver avec la même blague que glusterfs (un logiciel qui est bien en théorie mais pas du tout en pratique).

      Entre autre :

      • Ceph - trop compliqué d'après les commentaires sur le net

      • OrangeFS - inconnu du monde francophone

      • Tahoe-LAFS - trop compliqué

      • MooseFS - ???

      • BeeGFS - ???

      Si vous codez un logiciel sans une interface chatoyante, alors vous faites de la merde. Donation bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat

      • [^] # Re: alternative

        Posté par . Évalué à 4 (+1/-0).

        trop compliqué

        Quel est ton besoin au juste ? Tu ne devrais pas plutôt t’orienter vers des solutions comme ownCloud ou autre ?

        • [^] # Re: alternative

          Posté par . Évalué à 2 (+1/-0).

          Mon but c'est de rendre scalable et durable un nextcloud justement.

          Si vous codez un logiciel sans une interface chatoyante, alors vous faites de la merde. Donation bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat

          • [^] # Re: alternative

            Posté par (page perso) . Évalué à 1 (+0/-1).

            scalable

            Pour quelqu'un qui râle contre les logiciels et documentations en anglais, c'est moyen :-)

            • [^] # Re: alternative

              Posté par . Évalué à 1 (+0/-0). Dernière modification le 16/10/17 à 13:30.

              Faudrait expliciter car ça fait juste troll (on dirait une expression flamande :D )
              C'est comme si wikipedia s'était restreint à l'anglais parce que "voila les autres langues servent à rien".

              Preuve que ce type d'exclusion n'est pas une obligation de la nature: il suffit de suivre mes tutos en français. :P

              Si vous codez un logiciel sans une interface chatoyante, alors vous faites de la merde. Donation bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat

              • [^] # Re: alternative

                Posté par . Évalué à 4 (+1/-0).

                Sa remarque portait sur le fait que tu emploies toi-même « scalable » qui est un mot anglais, pas encore officiellement dans la langue française, sauf erreur de ma part.

                Le Wiktionnaire propose : Échelonnable, extensible, évolutif.

        • [^] # Re: alternative

          Posté par . Évalué à 2 (+1/-0).

          Note que je te remercie d'essayer, tant bien que mal, d'apporter ta pierre à l'édifice. Je m'attendais à me taper un énième vide démotivant.

          Si vous codez un logiciel sans une interface chatoyante, alors vous faites de la merde. Donation bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat

          • [^] # Re: alternative

            Posté par . Évalué à 4 (+1/-0).

            Plutôt mal puisque je n’ai pas le temps de m’intéresser à GlusterFS… C’est vrai que je me sens seul sur ton fil :)

            Il y a vraiment de quoi faire dans ce domaine (il n’y a pas de pas de wiki correspondante en français…).

            Je me demande bien quels commentaires tu as pu lire pour décréter que Ceph, c’est plus compliqué. Les commentaires pour ça… c’est pas forcément représentatif. Je pense qu’il faut tester avant de pouvoir dire que c’est trop compliqué.

            Une ressource en français, qui date de 2014, https://blog.groupe-sii.com/comparaison-hdfs-glusterfs-ceph/

            Ceph a sorti une version LTS en août de cette année.

            Je parle de Ceph parce que c’est le premier qui m’a attiré l’œil en lisant la liste du lien plus haut… Je ne vais pas m’y pencher plus mais ça semble être un domaine passionnant et très « vivant », pardon, alive ;)

            Je vois aussi que chacun de ces FS est plus ou moins lié à un éco-système particulier, tu n’as pas précisé : tu travailles avec quelle distribution ?

            Lustre a aussi l’air pas mal du tout.

            • [^] # Re: alternative

              Posté par . Évalué à 1 (+0/-0). Dernière modification le 11/10/17 à 22:34.

              Je me demande bien quels commentaires tu as pu lire pour décréter que Ceph, c’est plus compliqué. Les commentaires pour ça… c’est pas forcément représentatif. Je pense qu’il faut tester avant de pouvoir dire que c’est trop compliqué.

              Sur Reddit. Je conçois que ça vaut se que ça vaut, mais je n'ai hélas qu'une vie et les compétences/motivations d'un seul être humain. Bref pas les épaules pour tester toutes les solutions existantes (il y en a beaucoup).
              Profiter du savoir de mes contemporains m'éviterait une perte de temps et une démotivation certaine.

              Je vois aussi que chacun de ces FS est plus ou moins lié à un éco-système particulier, tu n’as pas précisé : tu travailles avec quelle distribution ?

              Côté serveur de stockage :ubuntu (x64).
              Coté client : ubuntu (x64 et arm), raspbian (arm), debian (x64).

              Je ne vais pas m’y pencher plus mais ça semble être un domaine passionnant et très « vivant », pardon, alive ;)

              Honnêtement je trouverais ça plus passionnant si ce milieu était moins fragmenté (trop de logiciels) et si les ressources francophones abondaient plus (ou tout simplement existaient).

              PS: désolé que ma perte de motivation transparaisse un peu dans le ton de mes messages, honnêtement ce bug vient de me pourrir toute ma semaine :'( (et malgré que je ne touche plus au cluster depuis deux jours, mon arbitre continue a grossir, maintenant il fait 1,1To. Pour l'expérience j'attends de voir s'il se transforme complètement en replica 3 avant de désinstaller le logiciel)

              Si vous codez un logiciel sans une interface chatoyante, alors vous faites de la merde. Donation bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat

              • [^] # Re: alternative

                Posté par . Évalué à 3 (+0/-0).

                désolé que ma perte de motivation transparaisse un peu dans le ton de mes messages

                Pas besoin de t’excuser pour ça.

                Pour l'expérience j'attends de voir s'il se transforme complètement en replica 3 avant de désinstaller le logiciel)

                Tu penses que ça devrait prendre combien de temps (si c’est bien ce qu’il se passe) ?

                • [^] # Re: alternative

                  Posté par . Évalué à 1 (+0/-0). Dernière modification le 12/10/17 à 00:13.

                  Il reste 100Go :P

                  Pour le moment un des data node est à 43886 éléments, totalisant 1,2 To
                  et l'arbitre est à 43887 éléments, totalisant 1,1 To
                  Mais je en comprends pas trop se qu'il fout, il émet 2,5Mo/s vers un data node sans arrêt depuis plusieurs heures (et en même temps l'arbitre reçoit a peu près pareil depuis le second data node)

                  Si vous codez un logiciel sans une interface chatoyante, alors vous faites de la merde. Donation bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat

                  • [^] # Re: alternative

                    Posté par . Évalué à 4 (+1/-0).

                    Mais je en comprends pas trop se qu'il fout, il émet 2,5Mo/s vers un data node sans arrêt depuis plusieurs heures (et en même temps l'arbitre reçoit a peu près pareil depuis le second data node)

                    Je vais peut-être dire une connerie mais ce ne serait pas absolument normal pour ce genre de FS d’être en permanence en train de synchroniser ses nœuds, donc de générer du trafic réseau ?

                    • [^] # Re: alternative

                      Posté par . Évalué à 2 (+1/-0). Dernière modification le 12/10/17 à 01:17.

                      Oui, mais là il n'y a pas d'ajout de fichier et l'arbitre est censé gérer uniquement les méta-données (c'est pas gros des méta-données). D'ailleurs vu le nombre de fichiers il dispose déjà des méta-données.
                      Je pense qu'il bug, il a probablement bien créé tout les fichiers vide mais il a décidé de les remplir pour une raison obscure.
                      Et les 2,5Mo/s qu'il émet je n'ai actuellement pas la moindre idée de se que c'est (c'est du charabia dans wireshark).

                      Il y a quelques jours avant que je ne remplisse le raid et qu'il bug, quand le cluster glandait, comme maintenant, l'arbitre tournait entre 50 et 250ko/s par noeud.

                      Si vous codez un logiciel sans une interface chatoyante, alors vous faites de la merde. Donation bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat

                      • [^] # Re: alternative

                        Posté par . Évalué à 2 (+1/-0). Dernière modification le 12/10/17 à 16:59.

                        Bon ben voila : pendant la nuit vers 1h38 la taille maximale de tout mes volumes glusterfs replica 3 arbiter 1 est passé de 8To (la taille des Data Node) à 3To (la taille de l'arbitre).
                        Il s'est donc bien transformé en replica 3 et maintenant sa synchro terminée il a repris un trafic réseau normal (entre 60ko/s et 200ko/s par noeud).

                        screenshot-2017_10_12-GlusterFS-Ubuntu-BUG-Replica3Arbiter1_transform_in_to_replica3

                        Pour le petit troll (oui un logiciel peut troller !), le fichier test.txt que j'avais créé au début quand j'ai remarqué le bug, lui ai bien réparti (vide sur l'arbitre et plein sur les DataNode).

                        Si vous codez un logiciel sans une interface chatoyante, alors vous faites de la merde. Donation bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat

Envoyer un commentaire

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.