Forum Linux.général Sauvegarde de gros volume

Posté par  (site web personnel) .
Étiquettes : aucune
0
8
oct.
2012

Bonjour,

Je suis à la recherche d'une solution de sauvegarde pas pour mon petit chez moi mais pour le boulot donc pas de bricolage ou truc bancal.
Actuellement j'ai un SAN/NAS qui héberge les fichiers (utilisateurs, base de données oracle, mysql, binaires…) en provenance de différentes méthodes (nfs, rsync, cifs, iscsi…) la nuit tout ce petit monde est copié sur une partie du nas pour ensuite, en journée, être copié sur un disque usb. Disque usb que je prends le soir en partant.

Mon problème est le temps de copie sur le disque usb, il y a en gros 200Go qui se ballade tout les jours comme ça et du coups ça prends du temps pour au final arriver à la conclusion que ma journée de travail n'est pas assez longue pour tout copier.

Nous avons pensé à externaliser sur un serveur distant mais malheureusement pas assez de débit Internet. Rallonger ma journée de travail… Elle me parait assez longue comme ça. Reste la dernière solution en test actuellement, prendre un petit nas (en test j'ai un netgear readynas duo) partir avec le disque dur le soir. Bon sur ce modèle c'est pas pratique car une fois les deux disques branché il créé automatiquement un RAID 0 ou RAID 1 et comme j'aimerais avoir une rétention plus longue c'est compliqué à mettre en place et puis un disque de 1To c'est quand même long à répliquer pour le petit contrôleur de la bête et le peu de mémoire (256Mo).

Je suis un peu à court d'idée, vous faite comment ?

  • # Backup incrémental ?

    Posté par  . Évalué à 3.

    Si tu en as la possibilité, l'idéal serait de remplacer la copie des 200Go par un backup incrémental (via rsync par ex) pour énormément diminuer les données à transférer.

    Ensuite, vers un disque USB, ca reste lent et pas vraiment automatisé puisqu'il faut le prendre avec soi, sans compter qu'en cas d'incendie dans la journée, tu perds tout. Pour ma part, j'opte pour un dédié: la faiblesse de l'upload est compensée par le gain en volume grâce au backup incrémental.

    • [^] # Re: Backup incrémental ?

      Posté par  (site web personnel) . Évalué à 1.

      200Go c'est déjà en incrémentable avec rsync (http://blogoflip.fr/article127/gestion-des-sauvegardes-avec-rsync) :( Ensuite pour l'automatisation udev et ces règles vont bien, je branche le disque et ça lance le backup.

      Pour l'incendie je passe devant la salle info reste que le débranchage du disque sera barbare avec probablement de la casse sur le fs.

      Born to Kill EndUser !

      • [^] # Re: Backup incrémental ?

        Posté par  . Évalué à 2. Dernière modification le 08 octobre 2012 à 14:00.

        un système de déduplication pourra peut-être diminuer encore un peu la taille de 200 Go ? Nous utilisons backuppc, en ce moment il sauvegarde 37 To de données en seulement 8 To d'espace physique occupé.

        Sinon il y a peut-être de l'optimisation à faire sur le disque : USB 3, e-Sata, SSD, etc.

        ou alors au lieu de sauvegarder tous les jours, le faire seulement tous les deux jours.

        • [^] # Re: Backup incrémental ?

          Posté par  (site web personnel) . Évalué à 1.

          Une sauvegarde tout les deux jours c'est pas possible et en plus ça fera encore plus de volume à sauvegarder. Backuppc utilise le même principe que les hardlink de rsync.

          Ce que j'ai oublié de parlé c'est que le disque usb est branché sur un serveur qui tourne sur esx puisque c'est un serveur de virtualisation, ensuite le disque est mappé sur une VM. Je pense que le temps de descendre toute les couches fait encore perdre du temps mais pas tant que ça. Avec cette contrainte je suis limité dans les possibilités de connexion avec le matériel actuel. Le serveur esx est en usb 2.

          Born to Kill EndUser !

          • [^] # Re: Backup incrémental ?

            Posté par  (site web personnel) . Évalué à 2.

            La déduplication ce n'est pas les hardlinks (d'ailleurs l'un n'empêche pas l'autre).

            Ceci dit, si vous avez réellement 200Go de données qui changent chaque jour, la déduplication risque de n'être utile que pour la partie OS / données statiques - le backup initial quoi.

            Mais à la lecture des autres posts, vise un changement d'interface vers une qui ait des débits plus importants.

            Python 3 - Apprendre à programmer dans l'écosystème Python → https://www.dunod.com/EAN/9782100809141

            • [^] # Re: Backup incrémental ?

              Posté par  (site web personnel) . Évalué à 1. Dernière modification le 09 octobre 2012 à 07:00.

              Je vais quand même faire un test avec backuppc dans ce cas.
              Les fichiers les plus lourds sont les exports de la base oracle, les fichiers à plat d'oracle et les boites mails des utilisateurs, le reste bouge peu.

              Born to Kill EndUser !

          • [^] # Re: Backup incrémental ?

            Posté par  . Évalué à 0.

            Je trouve aussi que faire un transfert sur un disque USB à partir d'une VM ESX est très très long. Le iSCSI est du coup beaucoup plus performant. QNAP fait des boitier disque simple qui fait du iSCSI comme le TS-119P mais c'est pas donné par rapport à un bête disque USB.
            J'en ai un qui marche très bien. Sinon en ce moment une alternative serait l'utilisation d'un micro serveur HP (ref. 658553-421) livré sans OS avec offre de remboursement de 100 EUR il sort à environ 250 euros. Il peut recevoir 4 disques SATA II mais ils ne sont pas extractibles à chaud, c'est le seul bémol. Maintenant avec la bonne distribution c'est une bonne alternative aux NAS. J'en ai déjà installé deux et j'en suis aussi très content.

  • # Matériel

    Posté par  . Évalué à 2.

    Quel est la partie qui prend du temps dans ton backup actuellement ?
    Le taux de transfert (usb 2 ?)
    Le taux d'écriture sur le disque ?
    Le fait de faire un rsync incrémental ?

    Dans les cas matériel, un upgrade matériel (usb3, esata, disque plus rapide (SSD ?)) est il possible ? à condition bien sûr que le matériel hôte support le nouveau format (usb, esata) ou puisse aussi être upgradé.

    • [^] # Re: Matériel

      Posté par  (site web personnel) . Évalué à 1.

      Quel est la partie qui prend du temps dans ton backup actuellement ?

      Je pense que c'est la limite de débit de l'interface usb qui plombe la sauvegarde.
      Les évolutions matériels sur les serveurs même sont difficile car j'ai deux serveur esx et une baie netapp.

      Born to Kill EndUser !

      • [^] # Re: Matériel

        Posté par  . Évalué à 1.

        Quel rapport avec l'hyperviseur? Tu as bien de l'usb quelque part puisque tu a un disque… Remplace donc ton contrôleur usb2 par un usb3, on en fait des tout petits qui marchent très bien sous linux, 20€… Le disque qui va avec et hop.

  • # Copie USB pendant la nuit

    Posté par  . Évalué à 2.

    Deux disques externes, un chez toi, un autre au boulot, la copie est lancée la nuit. Le matin quand tu arrives tu échanges les deux disques.

    Tu peux aussi faire ça avec 7 disques, un par jour. Un employé différent par jour rapporte un disque précis chez lui. Ça fait 7 sauvegardes, dans 7 endroits différents. Je crois que c'est pas mal utilisé pour les sauvegardes sur bande cette méthode.

    • [^] # Re: Copie USB pendant la nuit

      Posté par  . Évalué à 2.

      faut juste pas que l'employé qui doit amener le disque du vendredi soit malade, sinon ca fait 3 jours sans backup :(

    • [^] # Re: Copie USB pendant la nuit

      Posté par  (site web personnel) . Évalué à 1.

      La majorité des backup entre serveurs se font la nuit et la plage disponible est courte bien sur trop courte… J'vous l'ai dit monsieur, vous êtes trop cours ;)

      Born to Kill EndUser !

      • [^] # Re: Copie USB pendant la nuit

        Posté par  (site web personnel) . Évalué à 1.

        il te faut plus de 8-9 heure pour transférer 200 Go sur un disque dur externe ?

        Il doit manquer des informations. Tu dis que 200 Go c'est le résultat de la sauvegarde incrémentielle. Peut-être que c'est le calcul de celle-ci qui est trop long et qui fait traîner la sauvegarde. Il n'y a pas moyen de précalculer ça la nuit ?

        En tout ça fait combien de Go réels ?

        « I approve of any development that makes it more difficult for governments and criminals to monopolize the use of force. » Eric Raymond

      • [^] # Re: Copie USB pendant la nuit

        Posté par  . Évalué à 1.

        Tu les échanges le soir alors. La copie commence pendant la nuit, et se termine pendant la journée.

  • # raid 1

    Posté par  (site web personnel, Mastodon) . Évalué à 1.

    Tu prends une baie qui fait du hotswap avec 2 emplacements et tu achètes 3 disques.
    Le soir, tu en débranches 1 et tu le remplaces par celui en rab, il va se synchroniser pendant la nuit/la journée et tu recommences.
    Si tu prends une baie avec 4 disques, ça te permet de faire tourner la synchro pendant environ 72h.

    Après, tu peux combiner avec du raid 0+1 ou un truc du genre mais l'idée est là.

    • [^] # Re: raid 1

      Posté par  (site web personnel) . Évalué à 1.

      C'est ce que je test en ce moment mais le délai pour reconstruire un raid de 1To est vachement long !

      Born to Kill EndUser !

      • [^] # Re: raid 1

        Posté par  (site web personnel) . Évalué à 2.

        Ben oui, avec un changement physique de disque, le contrôleur RAID1 n'a comme possibilité que de dupliquer complètement 1To, même si seulement 1Go a changé.

        Python 3 - Apprendre à programmer dans l'écosystème Python → https://www.dunod.com/EAN/9782100809141

  • # disque réseau Gigabit

    Posté par  . Évalué à 4.

    As-tu essayé un disque dur réseau sur de l’Ethernet gigabit ?

    -> pas cher, taux de transfert 100Mo/s -> surement limité par le disque dans les 80Mo/s (200Go en moins d'une heure)

    -> tu fais un lien direct Serveur <- câble -> disque dur, avec une interface Giga qui traine sur ton serveur( au pire tu ajoutes une carte) -> pas d'engorgement du réseau et indépendance physique.

    -> tu tires le câble jusque dans ton bureau ( ou une autre pièce) : protection contre le feu …

  • # Non rien

    Posté par  . Évalué à 0. Dernière modification le 09 octobre 2012 à 17:10.

    (à oublier)

  • # BackupNinja avec en Backup rdiff-backup

    Posté par  (site web personnel) . Évalué à 0.

    Je te conseille BackupNinja https://labs.riseup.net/code/projects/backupninja
    C'est facile à mettre en place et bien pensé.
    Ça utilise rdiff-backup (http://www.nongnu.org/rdiff-backup/index.html) qui n'enregistre/transmet que les parties modifiées des fichiers, ton problème de temps sera réglé ;)

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.