Journal World Backup Day

Posté par (page perso) .
12
31
mar.
2014

Salut les moules,

Le 31 Mars est bientôt fini, j'en profite donc pour vous poser la question qui fait mal:

Avez-vous fait vos backups ?

En effet, le 31 Mars n'est pas un jour comme les autres puisqu'il s'agit du World Backup Day, une journée d'émulation collective permettant à chacun de se poser les questions sur ses données, leur importance, et surtout leur sauvegarde. Arrêtons de remettre à demain !

Bon, la news étant plutôt fade vu l'heure avancée de la journée, j'aimerais en profiter pour vous demander quelles sont vos stratégies de backups, les bons plans et autres petites recettes qui vous permettent de mieux dormir la nuit. Personnellement, j'ai perdu un stock de photos suite à un bête disque dur qui marche pas, et depuis la sauvegarde de données me trotte dans la tête. J'ai fini par mettre en place un petit quelque chose mais je ne suis pas encore totalement satisfait (est-ce seulement possible ?)

Mon backup à la rache:

  • j'utilise l'excellent rdiff-backup pour sauvegarder mon ~ excepté quelques dossiers qui ne sont pas si importants que ça. Je sauvegarde aussi une partie de mes propres services web, ce qui me rend bien service puisque l'un d'eux fait parfois n'importe quoi avec ses données sur le disque dur. C'est là que je suis content d'utiliser ce logiciel: il me suffit de lui spécifier de restaurer les données de la veille (une commande shell), et ça repart (je re-récupère les données du jour sans problème)

  • rdiff-backup marche, mais je n'aime pas trop le principe de backup entier/incrémental… la perspective de perdre toute la chaine d'incrémentaux jusqu'au prochain entier parce qu'un seul incrémental est corrompu ne me plait pas trop. Du coup j'utilise aussi bup qui ne fait pas de différence entre les backups entiers et incrémentaux, tout est considéré comme entier pour l'utilisateur et c'est l'outil qui se charge de penser pour moi (j'aime quand les outils pensent pour moi). Bon, en fait la vraie raison c'est que les idées derrière bup sont tout simplement géniales, le code est facile à lire et c'est rapide. Là, pour le coup, je sauvegarde tout mon ~ quotidiennement et ça prend presque jamais de place (faudra que je fasse des stats, tiens). Malheureusement je ne teste pas ces backups, donc je ne peux pas vous garantir sur l'honneur que ça marche. Mais ça m'a quand même l'air sacrément robuste (bup utilise même des informations de parité pour prévenir les problèmes de disque)

  • tout ça c'est bien beau, mais si mon appart brûle, je l'ai dans l'os. Il faut donc que je pense à mettre tout ça dans mes fesses, mais j'hésite encore. Déjà, si c'est un fournisseur de stockage externe, c'est chiffrement obligatoire, et je sais pas encore quel outil serait aussi simple d'utilisation (ie je veux pas avoir à bidouiller plus de 30s dessus). J'ai bien essayé duplicity, qui a l'air de marcher, mais le backup initial était trop long et on peut pas l'interrompre. Ya bien un NAS externe géré par des gens en qui j'ai confiance, mais la connexion est étonnament instable. Du coup, je pense me diriger vers tahoe-lafs, avec parmi les noeuds de stockage quelques fournisseurs de stockage dans le nuage, un ou plusieurs de mes ordinateurs, pourquoi pas faire rentrer quelques personnes en qui j'ai suffisamment confiance pour savoir qu'ils vont pas prendre tout l'espace libre… mais j'y suis pas encore.

Il y a bien entendu des dizaines et des dizaines d'autres manières de faire, mais mon but n'est pas forcément de les essayer, juste de pouvoir dormir sur mes deux oreilles en passant le moins de temps possible dessus, et en essayant de faire en sorte que mes données resteront lisibles dans 50 ans quand je me rendrai compte que j'en aurai besoin.

Et vous, chères mytiloïdes pleines de charme (~NSFW), comment vous faites ?

Ce document est placé sous licence CC0

  • # Le pouvoir de Rsync

    Posté par (page perso) . Évalué à 3.

    J'utilise personnellement Rsync qui me convient.
    1 sauvegarde hebdomadaire sur un serveur maison qui est incrémental (donc les fichiers supprimés sur mon hôte sont conservés) avec synchronisation totale chaque mois (pour éviter de perdre trop de place et du temps à trier).
    Ensuite, une sauvegarde mensuelle sur un disque dur externe en synchronisation avec l'hôte pour la même raison (et cela me permet de faire un peu de redondance).

    Il reste le problème d'une catastrophe type inondation ou incendie qui pourraient tuer les 3 disques. Mais je pense que ça reste déjà une bonne prévention pour les pannes matérielles ou logicielles.

    • [^] # Re: Le pouvoir de Rsync

      Posté par . Évalué à 3.

      Il reste le problème d'une catastrophe type inondation ou incendie qui pourraient tuer les 3 disques. Mais je pense que ça reste déjà une bonne prévention pour les pannes matérielles ou logicielles.

      La solution est très simple par rapport à ce que tu as déjà.

      Tu rsync alternativement sur deux disques externes (chiffrés bien entendu) dont un que tu laisses traîner ailleurs. Tu en as donc un "chaud" sous la main pour les petits problème et un "froid" qui peut avoir une semaine / six mois de lag selon tes besoins mais qui assure la pérennité en cas de catastrophe. Solution très pratique pour ceux qui ont à sauvegarder/restaurer des volumes de données incompatibles avec leur connexion internet. Évidement si tu as 500MB de backup, il y a plus fiable/facile…

      (Et comme les disques externes c'est cher et relou à manipuler, pour 15€ tu peux avoir un rack pour facilement charger tes disques.)

    • [^] # Re: Le pouvoir de Rsync

      Posté par (page perso) . Évalué à 5.

      J'utilise personnellement Rsync qui me convient.

      Pas mieux.

      J’ai deux machines hébergant des données à sauvegarder : un PC portable (“aurora”, ma machine principale, utilisée chez moi et au bureau) et un PC de bureau chez moi (“borealin”).

      Les sauvegardes sont réalisées en plusieurs temps :

      ① D’abord, un script (à base de rsync) sur chaque machine fait une première copie des données à sauvegarder dans un dossier réservé sur la même machine. Ce script est exécuté automatiquement une fois par semaine sur borealin, et manuellement sur aurora — une exécution automatique à heure fixe s’est avérée peu pratique sur mon portable, parce que je ne peux jamais être certain qu’il sera allumé au bon moment. J’ai pris l’habitude de lancer le script le vendredi soir comme la dernière chose que je fais avant de partir du bureau. Au final, le risque que j’oublie de lancer le script est plus faible que le risque que j’oublie de laisser le portable allumé à la bonne heure.

      Les sauvegardes ne sont pas incrémentales. J’ai fait des sauvegardes incrémentales (avec rdiff-backup) pendant quelques années, avant de me rendre compte que, si j’ai déjà eu à plusieurs reprises besoin de récupérer la dernière version sauvegardée d’un fichier, je n’ai jamais eu besoin de récupérer une version plus ancienne. Par ailleurs, tous mes fichiers importants sont déjà placés sous contrôle de version (Git), donc la dernière sauvegarde du dépôt contient déjà tout l’historique si je devais en avoir besoin. En définitive, j’ai décidé de faire l’impasse sur les sauvegardes incrémentales, qui ne sont pas justifiées dans mon cas.

      ② Ensuite, un second script (toujours à base de rsync) exécuté depuis aurora se charge de synchroniser les sauvegardes entre les deux machines : la sauvegarde de aurora est copiée sur borealin, et la sauvegarde de borealin est copiée sur aurora.

      ③ Enfin, les sauvegardes de aurora et borealin (toutes deux présentes sur aurora) sont copiées sur un disque externe que je laisse sur mon lieu de travail. Un sous-ensemble des données de aurora, contenant uniquement mes données professionnelles, est également sauvegardé une fois par semaine sur un serveur de stockage mis à disposition par mon labo (où elles sont par suite dupliquées régulièrement sur un second serveur de stockage, mais ça ce n’est pas de mon ressort).

      J’ai donc à tout moment trois copies de sauvegardes (cinq pour mes données professionnelles) : une sur aurora, une sur borealin, et une sur le disque externe. Pour faire bonne mesure, sur borealin les sauvegardes sont stockées sur un volume RAID 1.

      Et je me demande toujours si je suis assez paranoïaque… Quelle situation à laquelle je n’ai pas encore pensé pourrait rendre mon schéma de sauvegarde inutile ?

      Il reste le problème d'une catastrophe type inondation ou incendie qui pourraient tuer les 3 disques.

      Il y a 4 km entre la copie de sauvegarde stockée sur borealin et celle stockée sur le disque de mon bureau. Je pense que si une catastrophe devait menacer les deux copies simultanément, je me préocuperais davantage de ma propre intégrité physique que de l’intégrité de mes sauvegardes…

  • # Sauvegarde dans un endroit sur

    Posté par (page perso) . Évalué à 2.

    Comme tu le dis, si ton appart brûle, le disque de sauvegarde qui se trouve à coté risque de partir en fumée. Une solution est de chiffrer le disque de sauvegarde et de le laisser à un endroit tranquille, par exemple dans la boite ou tu travailles.

    • [^] # Re: Sauvegarde dans un endroit sur

      Posté par (page perso) . Évalué à -1.

      Meilleur moyen pour ne jamais faire de sauvegarde.
      Un moyen de sauvegarde n'est utile que si utilisé, et un moyen manuel est utilisé quelque fois puis flemme.

      • [^] # Re: Sauvegarde dans un endroit sur

        Posté par . Évalué à 6.

        La solution est un tout et c'est à toi de la définir et de t'y tenir. En dehors de la sauvegarde locale qui est complémentaire à la sauvegarde distante il n'y a que deux solutions:

        • Utiliser le réseau
        • Déplacer un support de stockage

        En fonction de la taille totale du backup, de la taille des deltas, de ta connexion internet, du prix que tu es prêt à payer pour tes sauvegardes, redondance nécessaire et de la fraîcheur requise au pire cas tu choisis l'un ou l'autre.

        Utiliser le réseau est en effet plus pratique, en général les raisons pour que ça ne soit pas possible sont:

        • Connexion trop lente pour envoyer la sauvegarde initiale (certain service propose de recevoir des disques durs)
        • Connexion trop lente pour envoyer les incréments
        • Connexion trop lente pour récupérer les données dans un temps raisonnable
        • Prix au Go trop élevé à partir d'une certaine taille (même glacier te coûte grosso modo le prix d'un disque dur par an)

        Et comme il n'y a pas de miracle. Ce qu'il propose est la seule autre alternative…

        • [^] # Re: Sauvegarde dans un endroit sur

          Posté par (page perso) . Évalué à 1.

          Utiliser le réseau est en effet plus pratique, en général les raisons pour que ça ne soit pas possible sont:
          Connexion trop lente pour envoyer la sauvegarde initiale (certain service propose de recevoir des disques durs)

          Mais la une fois ça peut passer, je ne parlias pas de cette partie.

          Connexion trop lente pour envoyer les incréments

          De nos jours, avoir 1 Mbps en upload n'est pas inhabituel, ça fait 10 Go par jour soit 3 To/an.
          Faut avoir de sacrés besoins de backup pour aller plus loin

          Connexion trop lente pour récupérer les données dans un temps raisonnable

          On revient dans le cas exceptionnel (comme l'init), moins dérangeant, pas le soucis.
          Ce dont je parle, c'est du quotidien : non, au quotidien sa solution n'en est pas une car ce n'est pas un robot.

          Prix au Go trop élevé à partir d'une certaine taille (même glacier te coûte grosso modo le prix d'un disque dur par an)

          Ce qui est encore pas trop mal, c'est sûr qu'après si on veut pas y mettre de sous…

          Ce qu'il propose est la seule autre alternative…

          Avec un gros avertissement : se mettre un réveil tous les x jours et s'y tenir. Désolé de ne pas croire dans l'être humain, sans doute l'expérience ;-)


          Oui, il y a un équilibre à trouver, je rappelle juste que dans 99% des cas, le choix du offline fait qu'en pratique au bout de quelques temps c'est comme si il n'y a plus de backups ou il faut se faire violence, à mettre aussi dans la balance, à prévenir quand on parle de ce genre de solution ce qui n'a pas été fait (on a l'impression que c'est une solution pas mal en lisant). Je préviens, après libre à voir de croire que vous serez différents de tous les autres qui ont fait ça.

          • [^] # Re: Sauvegarde dans un endroit sur

            Posté par . Évalué à 3.

            De nos jours, avoir 1 Mbps en upload n'est pas inhabituel, ça fait 10 Go par jour soit 3 To/an.
            Faut avoir de sacrés besoins de backup pour aller plus loin

            Ou juste ne pas avoir envie de laisser tourner sa machine 24/24 et de pourrir sa connexion. Chopper un incrément de 16Go c'est pas inhabituel de nos jours (photos / video). C'est la taille d'une carte mémoire.

            On revient dans le cas exceptionnel (comme l'init), moins dérangeant, pas le soucis.

            C'est rigolo je viens de tuer le dernier NAS qui me restait pour les backups par ce qu'il ne tenait que 4Mo/s et que ça prenait une éternité pour récupérer les données dessus… C'est beaucoup plus pratique et rapide de mettre un disque dans le mange disque.

            Ce qui est encore pas trop mal, c'est sûr qu'après si on veut pas y mettre de sous…

            C'est juste une question de ratio.

            Sauvegarder 500GB sur Glacier c'est 60€ par an (et du backup sur Glacier c'est pas pratique), 500€ chez S3, et chez tarsnap c'est 1800€. Pour le prix de glacier tu as un disque qui va statistiquement durer 3-8 ans (mais un seul disque).

            Excuse moi de faire le calcul.

            Avec un gros avertissement : se mettre un réveil tous les x jours et s'y tenir. Désolé de ne pas croire dans l'être humain, sans doute l'expérience ;-)

            Non c'est à toi de définir la fraîcheur dont tu as besoin au pire cas. Et pour un particulier en général c'est pas 24h très loin de là. La perspective de sauver 15 ans de données rend souvent acceptable de perdre les X derniers heures/jours/mois.

            Après si tu fais pas, tu fais pas. Mais ne vient pas m'expliquer que la sauvegarde en ligne est la seule réponse.

            • [^] # Re: Sauvegarde dans un endroit sur

              Posté par (page perso) . Évalué à 4.

              Ou juste ne pas avoir envie de laisser tourner sa machine 24/24 et de pourrir sa connexion.

              En plus, ça a un certain coût en électricité.

              « Rappelez-vous toujours que si la Gestapo avait les moyens de vous faire parler, les politiciens ont, eux, les moyens de vous faire taire. » Coluche

  • # rsnapshot

    Posté par . Évalué à 6.

    Rsnapshot est sympa amha, et il n'y a pas de différence entre backups incrémentaux et complets (chaque backup "incrémental" est constitués de hardlinks vers les fichiers qui n'ont pas changés, donc l'arborescence du dernier backup contient toutes les données sauvegardées sans besoin de reconstruction depuis des sauvegardes précédentes).
    Très simple à mettre en place et très rapide puisque basé sur rsync, il me donne pour le moment plus confiance qu'une solution basée sur git, plus complexe.

  • # RAID5 + rsync

    Posté par . Évalué à 1.

    Pour ma part, c'est RAID5 sur mon fixe (que je vais changer en RAID6 dès que possible) et rsync vers ma dédibox et/ou maman de temps à autre.
    Je vais sûrement aussi utiliser tahoe-lafs plutôt que le rsync quand la v2 de yunohost sortira. Ça me permettra d'utiliser un réseau qui sera assez important pour mon usage, je pense.

  • # Et la clef usb ?

    Posté par . Évalué à 0.

    Salut,

    Pour ma part, je produis une simple archive tar de temps à autres que je stocke sur deux clés usb (une qui reste chez moi et une qui est toujours avec moi). Également, mais plus rarement, je sauvegarde le tout sur CD ou DVD (oui, je n'ai pas énormément de données).

    rakoo a écrit:

    tout ça c'est bien beau, mais si mon appart brûle, je l'ai dans l'os.

    Tu peux toujours conserver le plus important sur une clé usb que tu gardes toujours avec toi.

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.