Journal Debian amd64 + RAID rulez

Posté par  (site web personnel) .
Étiquettes : aucune
0
21
fév.
2005
Bonjour cher journal.

Il faut vivre avec son temps, parfois, il faut prendre des risques, aussi j'ai craqué pour un athlon64 3200+@2,2GHz. J'ai collé ça sur une Asus nforce3 K8N-E Deluxe (deluxe parceque le papy devant moi a acheté tous les modèles vanilla qui restaient). 1Go de PC3200 de base.

Après quelques jours de sueur, je suis parvenu à installer une sid-amd64 sur 4 disques neufs en Raid selon l'archi suivante:

2x120Go IDE (hda et hdc) + 2x250Go SATA (sda et sdb)

hdx partitionné en:
hd[a|c]1=500Mo
hd[a|c]5=10Go
hd[a|c]6=10Go
hd[a|c]7=500Mo
hd[a|c]8=500Mo
hd[a|c]9=20Go
hd[a|c]10=80Go

sdx partitionnés en
sd[a|b]1=500Mo
sd[a|b]5=10Go
sd[a|b]6=10Go
sd[a|b]7=219Go

La dessus, j'ai collé les partitions MD Raid suivantes:
/=500Mo= md0=[hda1+hdc1] en raid 1, + sda1 et sdb1 en spare
/usr=10Go=md1=[hda5+hdc5] en raid 1, + sda5 en spare
/var=10Go=md2=[hda6+hdc6] en raid 1, + sdc5 en spare
/tmp=1go=md3=[hda7+hdc7] en raid 0 (2x+rapide)
swap=1Go=md4=[hda8+hdc8] en raid 0 au 'centre' des disques
/home=80Go=md6=[hda10+hdc10] en raid 1, sans spare.
/homerafa=40Go=md5=[hda9+hdc9+sda6] en raid 5, sdc6 en spare
/spare=438Go=md7=[sda7+sdb7] en raid 0 sans spare

Objectivement, je me suis fait suer comme rarement. En fait, je n'avais pas autant transpiré depuis l'apparition des modules dans le noyau de linux. J'ai redémarré sans le support MD un nombre assez remarquable de fois jusqu'à avoir tout bien compris. Et ce sans compter les mises à jour des CD Netinst amd64 pour cause de bug (parfois, partman ne repérait pas les partitions RAID qu'il n'avait pas créé lors de sa session, même s'il indiquait qu'elles étaient là, bref j'ai transpiré).

Vous aurez sans doute compris que j'ai perdu des données il n'y a pas longtemps pour me donner tant de mal. Oui, j'ai perdu 6 semaines de compta dans la perte d'un disque. J'ai estimé qu'en 2005, l'heure était venue de passer aux choses sérieuses.

/home est exporté, ainsi que /spare. /spare tient lieu de fusible, en plus de l'alerte par mail. On y stocke des trucs, et quand on peut plus les lire, c'est que un des disques SATA délire.

A la fin, ça donne la machine linux la plus rapide qu'il m'ait été donné de tripoter. Pour du monopro, ça va plus vite que tout ce que j'ai vu. apt-build est utilisable comme jamais. En fait, même si je m'en doutais, j'étais loin de réaliser à quel point le fossé technologique séparant Intel d'Amd se creuse. Je suis halluciné à quel point un proc à 150E met dans l'espace un P4C 3GHz.

Sérieusement, si vous n'êtes pas encore passé à l'acte, passez à linux en 64bits, ça pète des flammes.

  • # 64 bits++

    Posté par  . Évalué à 2.

    Suite a un mv malheureux (mv * /home/toto/titi /mnt/ fait en root a la racine), j'ai ma conf qui a pris un serieux coup, alors j'en ai profité pour exploiter mon amd64 a sa juste mesure en testant une install debian-amd64. Au finale je suis pas mal impressionné par le gain de performance, mais je constate quand meme que quelques applications bouffent beaucoup plus de mémoire qu'avant (eclipse pour ne pas la citer), c'est du aux histoires des registres mémoires ou au java trop gourmand ??

  • # Perte de données...

    Posté par  . Évalué à 7.

    Vous aurez sans doute compris que j'ai perdu des données il n'y a pas longtemps pour me donner tant de mal. Oui, j'ai perdu 6 semaines de compta dans la perte d'un disque. J'ai estimé qu'en 2005, l'heure était venue de passer aux choses sérieuses.

    Les choses sérieuses, c'est plutôt de faire des backups... parce qu'un RAID, ça te protège que d'une et une seule chose : une perte d'un disque dur (au mieux d'un contrôleur). Il reste beaucoup de moyens pour tout casser :
    - une fausse manip d'un admin (probablement toi)
    - un problème logiciel
    - une mise à jour qui se passe mal
    - un gros soucis électrique, un incendie
    - un voleur de serveurs (sisi, ça s'est vu !)
    - un disque dur qui claque, personne qui le remarque (oui, c'est un des avantages du RAID), et le second qui claque quelques semaines plus tard
    - un trou de sécurité et un serveur nax0risé
    - ...

    enfin, c'est mes 2 cents... "votre kilométrage peut varier" comme ils disent de l'autre côté de la mare.

    • [^] # Re: Perte de données...

      Posté par  (site web personnel) . Évalué à 1.

      Parce que tu crois que je t'ai attendu pour apprendre à faire des sauvegardes ? ;-)

      Non, sérieusement.

      J'en fais, des sauvegardes. C'est d'ailleurs pour ça que je n'ai eu que 6 semaines de pertes de données.

      Et comme tu le dis si bien, si ça me protège d'une seule chose, c'est de la perte d'un disque. Et c'est justement ça que je lui demande, parce que pour le reste, j'ai plusieurs disques CDRW qui tournent.

      Rafael

      • [^] # Re: Perte de données...

        Posté par  . Évalué à 1.

        J'en fais, des sauvegardes. C'est d'ailleurs pour ça que je n'ai eu que 6 semaines de pertes de données.

        On ne vit pas dans le même monde...

      • [^] # Re: Perte de données...

        Posté par  (site web personnel) . Évalué à 2.

        Je pense qu'il parle de sauvegarde quotidiennes voire plus frequentes encore. Parce que la quand je t'ai lu je me suis dit "6 semaine de perdu, il devrais faire des backup régulier". A moins que tu ai eu des pb sur les CD-RW aussi auquel cas c'est vraiment pas de bol.

  • # /boot

    Posté par  (site web personnel) . Évalué à 2.

    J'suis déçu, tu nous parle pas de /boot que t'as mis en mirroring, avec boot sur l'autre disque dur si le premier est détecté défaillant par le bios au moment du boot...

    • [^] # Re: /boot

      Posté par  (site web personnel) . Évalué à 3.

      J'avais trouvé que j'avais fait assez long pour l'heure. J'ai pas encore activé ça mais ça va venir. J'ai pour l'heure besoin de ce que ma femme me se sente pas trop geek, parce que j'ai un peu galéré pour monter ce raid sur amd64.

  • # Re:

    Posté par  . Évalué à 4.

    > swap=1Go=md4=[hda8+hdc8] en raid 0 au 'centre' des disques

    C'est une "connerie". swap et raid ne fond pas bon ménage. Un jour ça va planter.
    Utilises les priorités du swap. C'est aussi rapide et ça marche.

    • [^] # swap sur raid

      Posté par  (site web personnel) . Évalué à 1.

      En fait, avec 1Go de ram, la machine n'a pas encore consommé de swap, meme après moults compilations.
      Je vais retirer le raid 0 sur le swap.

      Merci du conseil.

      • [^] # Re: swap sur raid

        Posté par  . Évalué à 1.

        Pour info, voilà ce que j'ai :
        /etc/fstab :
        /dev/big_a3 swap swap defaults,pri=4 0 0
        /dev/big_b3 swap swap defaults,pri=4 0 0

        Le problème swap/raid, est que raid peut fait un "malloc". Or, s'il y a peut de mémoire, pour que le malloc marche il faut passer par le swap, le swap doit passer par raid, raid doit passer par le swap, etc, etc.

        C'est rare, mais ça arrive.

        • [^] # Re: swap sur raid

          Posté par  . Évalué à 1.

          Donc je predis que ta box plantera si elle load trop en meme temps qu'un de tes disques physique crash. Tu devrais plutot utiliser du raid 1 pour faire du swap.

          • [^] # Re: swap sur raid

            Posté par  . Évalué à 1.

            > Tu devrais plutot utiliser du raid 1 pour faire du swap.

            Lis la doc de raid (logiciel). Ce n'est pas supporté.

  • # Et LVM ?

    Posté par  . Évalué à 2.

    Avec du LVM au dessus du RAID, ça aurait été plus propre non ?
    - moins de partitions
    - moins de tailles à calculer/prédire/pifomettriser...

    • [^] # Re: Et LVM ?

      Posté par  . Évalué à 3.

      Faut peut-être pas trop en demander. C'est galère pour utiliser Raid avec Debian, si en plus tu ajoutes LVM, ...

      • [^] # Re: Et LVM ?

        Posté par  (site web personnel) . Évalué à 2.

        J'y ai pensé. Surtout parce que le LVM est plus facile à mettre en place avec les dernières versions de l'installeur debian dispo sur amd64. M'enfin bon d'une verison à l'autre (d'une semaine à l'autre) partman foirait le raid ou pas.

        J'ai préféré de pas tenter le diable, surtout que j'avais laaaargement assez d'espace disque pour créer une partition /usr très large.

        J'ai préféré ne pas rajouter une couche d'abstraction.

        Rafael

        • [^] # Re: Et LVM ?

          Posté par  . Évalué à 1.

          Un petit conseil en passant.

          dans les ensembles qui contiennent un spare sata, tu devrais plutot passer un de tes pata en spare au profit du sata. Non seulement tu diminue les risque de crash systeme si ton controlleur pata est defaillant (on sait jamais, les 2 controlleurs pata peuvent foirer), mais en plus, si c'est ton sata qui est defectueux, tu pourras le hot-swapper plus facilement qu'un pata.

      • [^] # Re: Et LVM ?

        Posté par  . Évalué à 1.

        Galere ???

        ca marche tres bien. De plus le nouvel installeur (compare a la stable) gere la chose tres bien. Mise a part une ramance au bout d'un moment.

        Le seul 'hic' c'est de risque d'avoir de serieux problemes a la mise en place d'un lvm pour les partitions systemes.

        • [^] # RAID focntionne bien ou pas dans l'installeur

          Posté par  (site web personnel) . Évalué à 1.

          Je répète que c'est sur une debian non officielle, AMD64. La réalité est ce qu'elle est, c'est une nouvelle plateforme, et elle n'est pas pour l'heure superposable à une sarge i386 en terme, disons, de zéro souçis à l'install.

          Je dis que je me suis galéré, que j'ai redémarré un paquet de fois sans le support MD avec toute une tripotées de CD netinst ou autre. Et la réalité c'est que je me suis fait suer sans piger ce qui clochait.

          En fait, partman, sur plateforme amd64 au moment où j'ai installé ma machine, foirait un peu, et j'ai patiné quelques heures.

          On peut utiliser une sarge amd64 en prod, mais disons que pour l'heure c'est un poil risqué. Tout recompiler en 64bits, ça fait forcément émerger des bugs imprévus.

          Maintenant, ça vient d'où le bug, du source ou du compilateur. Mes problèmes se sont résolus quand j'ai eu installé puis rebooté une fois sur le noyal d'origine, puis dans cette machine toute basale, compiler un noyau dernier cri avec gcc 3.4 . Là ça a passé le reboot.

          SInon, j'avoue, j'en ai perdu mon latin quelques jours.

          Au bout du compte le jeu en vaut la chandelle. La machine pulse comem jamais, et Gnome 2.8.1 est excellent. <sans troller>

          • [^] # système et lvm

            Posté par  (site web personnel) . Évalué à 2.

            J'ai eu l'occasion de réinstaller le tout un bon paquet de fois. J'ai effacé les partitions pour les refaire plus qu'à mon tour. J'en ai profité pour essayer la solution de partitions système sur LVM. Ca fonctionnait nickel au reboot.

            Mais je voulais du RAID, donc j'ai pas retenu.

            J'avoue que j'ai pas essayé de coller du lvm sur du RAID. En fait, je tenais à savoir où allaient mes données, et quel niveau de raid les abritait.

            Rafael

  • # EVMS

    Posté par  (site web personnel) . Évalué à 2.

    Apres avoir lu tous les commentaires, je m'étonne de n'avoir vu aucune mention sur EVMS.

    EVMS est un projet développé par IBM et qui avait pour but principal de devenir le successeur de LVM, mais les dev noyau ont choisi LVM2.
    L'équipe EVMS a choisi de continuer le projet et propose des patchs noyaux (bien qu'il ne soit pas obligatoire de patcher son noyau pour utiliser EVMS) et un utilitaire présent sous différent aspect ( evms en mode console, evms-gui en graphique et aussi une version ncurses). Il propose aussi une image initrd afin de démarrer les outils spécifiques à EVMS afin que le noyau reconnaisse les nouvelles partitions.

    EVMS permet grâce à un seul outil de gérer du RAID/LVM(2)/FS(jfs,xfs ...).

    En gros, tu te serais fait autant chier à installer tout ça, mais apres c'est que du bonheur car un seul outil. Néanmoins, les utilitaires raid et mdadm par exemple reste compatibles, EVMS utilisant le driver MD du noyau.

    le lien vers le site ->http://evms.sourceforge.net/(...)

    Je ne sais pas si j'ai été tres clair, mais il me semble que ce projet mérite d'être plus connu.

    • [^] # Re: EVMS

      Posté par  (site web personnel) . Évalué à 2.

      J'ai eu essayé un moment, éclairé de l'obscur article de GLHMF à ce sujet. (pas super clair, c'est le moins qu'on puisse dire.)

      Mais enfin bon, j'avoue je ne lui ai pas donné sa chance, vu que j'avancais parallèlement avec le partman debian. Vu que mon expérience globale allait croissante, j'ai trouvé la solution fonctionnelle avant.

      En fait, quand tu crée des partitions raid de 80 ou 200Go, ça prend un temps considérable, tant à la création qu'à la remise en service en cas de foirage. Ca met l'épisode "mise en place des partitions" autour de 1h et demie (entre la construction des volumes raid et leur formatage, parce que si tu poursuis une install avec un /usr pas fini de créer ni formater, et bien tintin la suite, mon coco). La mise en place des volumes se fait en tache de fond, donc c'est à toi de lancer un cat /proc/mdstat dans une console à coté.
      Au bout d'un certain temps, tu te satisfais d'une solution que tu parviens à maitriser.

      Mais EVMS me semble très bien. Surtout si tu dois gérer une ferme de disques, avec des tailles de volumes barbares.

      Moi c'était pour ma station (suffisement musclée, il est vrai :) ), donc j'ai choisi la soluce standard Debian amd64.

      Mais pour info, en mode expert, on peut utiliser evms depuis l'installeur debian (ou tout au moins un de ceux que j'ai eu essayé).

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.