Actualités de l'association LinuxFr

Posté par (page perso) . Édité par BAud, M5oul et Florent Zara. Modéré par Xavier Claude. Licence CC by-sa
67
19
déc.
2015
LinuxFr.org

Quelques petites actualités concernant l'association LinuxFr : cette dépêche contiendra des problèmes logiciels, du suspens, un bilan financier, des soucis matériels, pas de neige, un rapport moral, mais aussi une visite au datacenter et une élection du bureau. Et tout cela le même jour, le 9 décembre 2015.

Sommaire

Compte-rendu d’intervention sur le serveur zobe le 9 décembre 2015

Le problème de sauvegarde

Voir les dépêches précédentes si vous voulez un peu d'historique sur les serveurs de l'association (1, 2, 3, etc.).

Nous utilisons duplicity pour sauvegarder via ssh+rsync+gnupg le serveur de production de LinuxFr.org. Ces derniers mois, les erreurs ont commencé à se multiplier sur la sauvegarde complète hebdomadaire (échecs les 10 octobre, 4, 8 et 29 novembre) : les écritures s'arrêtent brutalement avant la fin du transfert de données, les signatures des fichiers et la liste des fichiers sont vides et, du coup, la sauvegarde est inutilisable et les sauvegardes incrémentales suivantes échouent.

Exemple :

 1048553614 oct.   4 06:44 duplicity-full.20151004T024201Z.vol27.difftar.gpg
  984166400 oct.   4 06:54 duplicity-full.20151004T024201Z.vol28.difftar.gpg
          0 oct.   4 07:00 duplicity-full.20151004T024201Z.vol29.difftar.gpg
          0 oct.   4 07:07 duplicity-full.20151004T024201Z.vol30.difftar.gpg
          0 oct.   4 07:13 duplicity-full.20151004T024201Z.vol31.difftar.gpg
          0 oct.   4 07:16 duplicity-full.20151004T024201Z.vol32.difftar.gpg
          0 oct.   4 07:23 duplicity-full.20151004T024201Z.vol33.difftar.gpg
          0 oct.   4 07:29 duplicity-full.20151004T024201Z.vol34.difftar.gpg
       4096 oct.   4 07:34 duplicity-full.20151004T024201Z.vol35.difftar.gpg
          0 oct.   4 07:37 duplicity-full.20151004T024201Z.vol36.difftar.gpg
          0 oct.   4 07:39 duplicity-full-signatures.20151004T024201Z.sigtar.gpg
          0 oct.   4 07:40 duplicity-full.20151004T024201Z.manifest.gpg

Nous avons d'ailleurs mis en place une détection d'erreur dans le log duplicity via grep -qsE "^(GPGError:|gpg:|BackendException:|Traceback)", mais ça restait du curatif. En cas de souci, on benne la sauvegarde pourrie et on recommence.

On a creusé un peu le souci et voici quelques infos collectées :

  • l'outil de fuzzing afl évoqué dans un journal sur le fuzzing pour éprouver les entrées de vos développements n'a pas été utilisé pour tester rsync ou duplicity. Dommage.
  • des bugs sur duplicity évoquent des fichiers vides, ça semble possible d'y arriver de plusieurs façons. Bug ouvert #1084778 "manifest.gpg have zero size which breaks next backup" ou #606182
  • il y a beaucoup de bugs ouverts sur Launchpad et personne n'est affecté aux bugs importants
  • les dernières versions duplicity 0.6.x ne sont pas disponibles dans Debian/Ubuntu, qui sont passées aux 0.7.x de toute façon, et a priori le bug est toujours là de toute façon
  • les données SMART sur nos disques ont commencé à nous annoncer une "FAILURE PREDICTION THRESHOLD EXCEEDED" sur un des disques, et d'autres avaient un taux d'erreur qui augmentait
  • un peu plus tard, un disque a carrément disparu du point de vue système d'exploitation.

La visite au datacenter

Il fut donc décidé d'aller faire un saut au datacenter pour changer tout ou partie des disques (des 73.4GB 10000RPM SAS 2.5" MAY2073RC de 2006), d'en profiter pour ajouter la carte d'administration distante DRAC dont on parle depuis des années et de réinstaller le système complet en 64 bits avec une Debian fraîche.

Avec l'accord du trésorier, ravi qu'on lui modifie le budget prévisionnel qu'il venait de nous envoyer pour l'assemblée générale, nous nous sommes procurés huit disques durs de seconde main (pas cher le refurbished et ça permet d'avoir de la réserve) et une carte DRAC d'occasion aussi.

Et une intervention (par Nils et Oumph) a donc eu lieu au datacenter le 9 décembre 2015 (et il n'a pas neigé).

La carte DRAC fonctionne et a été installée dans la bête (en haut à droite sur l'image) :

Entrailles de zobe

Un des disques durs avait juste été viré du RAID par la carte. Comme ça, pour rire. Du coup on a remis les disques en RAID 5 avec 7 disques + 1 de réserve (hotspare). On a installé une Debian Jessie 64 bits. On a retiré à chaud le disque pré-défaillant pour remplacement. Au redémarrage, on a re-découvert la blague de Dell sur l'option cochée par défaut sur le RAID "rester bloqué au démarrage bêtement si le RAID a eu un souci" (ça doit être drôle lorsque l'administrateur lance un redémarrage à distance). On déclare le disque remplacé comme nouvel hotspare et on décoche la case pénible.

On aurait bien mis à jour le BIOS du serveur mais la procédure était prévue pour un bash et une RedHat, et on avait un dash et une Debian (c'est surtout l'aspect « rpm: command not found » le souci). Et puis bon ça faisait déjà plus de 2 heures qu'on était dans le calme et la douceur d'un datacenter. Donc ça sera pour une autre fois. Fin d'intervention, direction fin de configuration dans un bar avec WiFi connu pour avoir hébergé des First Jeudi (bonjour Armel), en attendant l'assemblée générale en fin de journée.

Reste à savoir si cela va régler le souci de sauvegarde avec duplicity (oui c'était quand même ça le problème à la base) ; en tout cas, la première sauvegarde dimanche s'est bien déroulée.

Assemblée générale de l’association LinuxFr

Côté bilan moral, je vous invite à parcourir les dépêches de section LinuxFr.org qui retrace les évolutions du site, les stands tenus, etc. Nous avons aussi discuté du futur, de l'avenir et de la suite (et merci à @hurdmann pour la fluidification des échanges).

Côté bilan financier, peu de mouvements, en sortie dons et adhésions (April, LQDN), en entrée dons et adhésions et quelques revenus d'un livret A qui rapporte de moins en moins. Au final, un exercice négatif de quelques centaines d'euros.

Le conseil d'administration et le bureau ont été reconduits.

  • # Dons

    Posté par (page perso) . Évalué à 10.

    Je vois que pour faire un don, il faut soit faire un chèque et le poster (feignant comme je suis, je trouve ça particulièrement chiant), soit vous embêter pour obtenir votre RIB et faire un virement.

    Vous pourriez peut être également vous inscrire sur HelloAsso. J'ai découvert ça en lisant un article sur Next INpact, HelloAsso, le financement participatif au service des associations (pour le moment réservé aux abonnés, ça passera en accès libre d'ici moins d'un mois).

    Apparemment, à l'inverse d'un PayPal, ils ne se prennent aucun frais, se finançant en invitant les contributeurs à leur donner également une petite pièce lorsqu'ils effectuent un don.

    • [^] # Re: Dons

      Posté par (page perso) . Évalué à 3.

      J'ai évoqué la question dans la dépêche sur les dons, pour expliciter la raison du RIB/IBAN non public et pour donner un avis totalement non éclairé sur HelloAsso (ie. je ne connais pas et à part constater que le logiciel n'est pas libre, pas plus d'avis).

  • # flash BIOS/FIRMWARE

    Posté par . Évalué à 2.

    A présent que vous disposez d'un DRAC, plus besoin d'aller sur site, vous pouvez effectuez le flash à distance.

    • [^] # Re: flash BIOS/FIRMWARE

      Posté par . Évalué à 1.

      Avec quelle méthode ?

      En tous cas, on peut trouver facilement, pour mettre à jour le BIOS d'un serveur Dell, un .EXE pour DOS, et ça se fait facilement avec une clef USB DOS (on doit pouvoir le faire avec FreeDOS, je pense).

      • [^] # Re: flash BIOS/FIRMWARE

        Posté par . Évalué à 5.

        Si t'as une bande passante importante des deux côtés, tu peux utiliser la méthode suivante:

        • créer ton ISO avec tous les firmwares dont t'as besoin grâce à Dell Repository Manager (Windows only par contre)

        • configurer ta machine locale en serveur NFS, coller l'ISO dedans (on peut aussi imaginer pousser l'ISO sur un serveur NFS du datacenter)

        • faire booter l'iDrac sur le NFS - "system > console/media", puis "enable virtual media", définir le path pour l'ISO, rebooter le serveur, et utiliser "BIOS Boot Manager" pour booter sur un "Virtual CD" qui est en fait ton ISO

        • et magiquement, le Dell va mettre à jour tous ses firmwares.

        Compter quand même une bonne heure pour que tout se fasse

  • # Merci pour la photo

    Posté par . Évalué à 10.

    Je suis curieusement super content de voir la photo de la bête (ne me faites pas dire que j'aime les photos de zobe).

    C'est toujours intéressant de voir que derrière un site distant, il y a du matos, des gens qui s'en occupent: a force d'entendre parler de cloud de nuage et tout ça, on oublie l'aspect matériel. J'avais vu aussi la photo du serveur du lip6 il y a quelques années, c'était sympa :)

    Merci pour le compte rendu :)

  • # Merci

    Posté par (page perso) . Évalué à 5.

    Merci pour tout votre boulot les gars :-) Vous donnez de votre temps pour les auutres, et ça nous permet d'avoir des actualités sympas et sans publicité, alors merci !

  • # gerer le raid a distance

    Posté par . Évalué à 0. Dernière modification le 29/12/15 à 21:35.

    je sais pas si vous connaissez, avec le driver megacli de lsi (si carte perc) vous pouvez faire pas mal de choses à distance (au travers de ssh), comme flasher le matériel (disque dur, carte, etc.), modifier le raid à chaud, etc. …
    http://hwraid.le-vert.net/wiki/LSIMegaRAIDSAS

  • # Statut duplicity

    Posté par (page perso) . Évalué à 3.

    Reste à savoir si cela va régler le souci de sauvegarde avec duplicity (oui c'était quand même ça le problème à la base) ; en tout cas, la première sauvegarde dimanche s'est bien déroulée.

    En tout cas on n'a plus eu d'erreur depuis le 9 décembre.

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.