Journal Sauvegarder ses données

Posté par (page perso) .
Tags : aucun
0
8
fév.
2008
Bonjour à tous,

En ce jour de troll, je tiens, non pas à en lancer un nouveau, mais plutôt à poser une question qui nous touche tous, c'est à dire, la sauvegarde de nos données.
Tout le monde ici à déjà dû vivre ces moments terrible de pertes de données d'un disque dur. Perdre des photos, des projets, des mails, ect... c'est une épée de damoclès qui nous menace en permanence.
Et pourtant, tout le monde ici connaît la parade: faire des sauvegardes régulières !! Mais combien d'entre-vous le pratique réellement !? Personnellement, si je fais une sauvegarde tous les 6 mois, c'est déjà bien.

C'est pour cela que j'aimerai connaître votre méthode à vous pour faire vos sauvegarde. Mais principalement j'aimerai savoir si il existe des applications permettant de gérer « intelligemment » ce genre de truc.

Après quelques réflexions, voici les caractéristiques du logiciel parfait que je cherche:

  • Gestion des versions de fichiers et répertoire, un peu à la SVN

  • Gestion souple de règles de sauvegarde de dossier/fichier (par exemple, on dit qu'il faut sauvegarder tel ou tel fichier, ou bien tout le contenu du dossier Alpha (et donc, tout changement intervenant dans celui ci), et même pouvoir dire "tout le dossier Alpha, à l'exception de tel et tel fichier/répertoire contenu dans le dossier Alpha".

  • Gestion de priorité de sauvegarde (genre, les photos personnel sont plus importante, que sa playlist de film/mp3. Ce qui permet de conserver un historique des versions plus important pour les trucs prioritaires - parce qu'il ne faut pas oublier que ça représente tout de même un certain volume, et donc forcement les historiques ne peuvent pas être infini)

  • Transfert sur un ou plusieurs miroir, qui stockent les données dans une énorme archive crypté (!! les données doivent rester confidentiel !!)

  • Compatibilité avec des simples FTP, pour permettre d'augmenter facilement le nombre de miroir

  • Gestion décalé du miroitage (par exemple, je fourni a disque dur à un ami de confiance, qui contiendra mes sauvegardes. Et donc, comme cette machine n'est pas forcement allumé en permanence, le système doit être capable de mettre à jour l'image dès que possible)

  • Système qui fait la tâche de façon automatisé et qui permet de le faire différent niveau de sauvegarde (avec le Cron par exemple)



Le but de tout ceci est bien évidement de gérer facilement, et de façon automatique les sauvegardes des données d'un utilisateur précis, qu'il aura manuellement spécifié. Tout en limitant un maximum la quantité transféré à chaque sauvegarde (transfert uniquement des différences).
Parce que sinon, un gros tar.gz du disque dur fait dans le cron, ça fonctionne, mais c'est loin d'être optimisé niveau bande passante, et pas vraiment très souple (à moins d'avoir beaucoup de temps à perdre).

Alors, est-ce que :

  1. Ça existe déjà, et je me suis cassé la tête pour rien (c'est quand même formidable les LL)

  2. C'est une super idée, mais faut que je développe ça moi même (mais j'ai pas vraiment le temps :s)

  3. C'est n'importe quoi, et ça n'aura jamais d'avenir intéressant (et je ferai mieux d'arrêter l'informatique)

  4. Quand j'écrirai sans fautes d'orthographe, on verra (désolé) ;-)



Merci à tous pour votre attention. :-)

Snarky
  • # rdiff-backup

    Posté par (page perso) . Évalué à 7.

    J'utilise rdiff-backup pour ça (remote incremental backup).
    C'est basé sur du rsync. ca fait pas tout ce tu veux mais ça en fait pas mal !
    Avec un petit script autour, tu peux en rajouter une partie sans trop de problème.
    • [^] # Re: rdiff-backup

      Posté par (page perso) . Évalué à 6.

      Et duplicity qui fait la même chose avec justement l'aspect "je confie mes sauvegardes à un tiers tout en les cryptant".

      Reste :
      - la possibilité que le gars en face ne soit pas dispo (mais bon, au pire le backup échoue et il retentera plus tard)
      - la notion de priorité
      - pas de FTP pour faire les backup (ssh/rsync seulement)
    • [^] # Re: rdiff-backup

      Posté par . Évalué à 4.

      J'utilise également rdiff-backup et j'en suis très satisfait. En gros, il réplique dans un répertoire distant une arborescence locale et ajoute, dans ce répertoire distant, un répertoire spécial contenant tous les "incréments" permettant de "remonter le temps". En gros, si on veut récupérer la dernière sauvegarde, un bête scp suffit. Si on veut la version n-2, n-3, et au dela, on utilise rdiff-backup pour rapatrier les données.

      Exemple : restaurer la version d'il y a 10 jours d'un fichier :
      rdiff-backup --restore-as-of 10D toto@serveurdistant::/home/Backup/toto/fichier /home/toto/fichier


      Autres avantages de rdiff-backup :
      * Il ne stocke que les morceaux de fichiers qui changent. Un fichier de 600Mo qui change de 100ko tous les jours, c'est, sur le serveur de sauvegarde, 600Mo + n*100ko et non n*600Mo.
      * Il sauvegarde tous les attributs étendus et ACLs des fichiers sources même si le filesystem de destination ne les gère pas nativement. Les liens "en dur" sont également préservés.

      Un conseil pour finir : toujours soigneusement avoir la même version de rdiff-backup côté serveur et côté client... En pratique, j'ai constaté qu'une upgrade côté client non faite également côté serveur faisait que les sauvegardes plantaient (le client et le serveur se "prenant les pieds dans le tapis" pendant leur dialogue).

      Tous les matins, avant de partir au boulot, je vérifie le log de ma sauvegarde nocturne pour vérifier qu'elle s'est déroulée sans encombre. Ben oui... parce que c'est bien beau d'automatiser tout ça, mais après, faut quand même garder un oeil pour voir si ça marche bien.
    • [^] # Re: rdiff-backup

      Posté par (page perso) . Évalué à 2.

      J'utilise backup-ninja qui est basé sur rdiff-backup, ça simplifie un peu la config. Je le mets dans un cron quotidien et je sauve vers un disque dur dans un boiter USB.
  • # Au choix

    Posté par (page perso) . Évalué à 2.

    Au taf j'utilisais backup-manager pour les serveurs mais ne convenant plus tout à fais à nos besoins j'ai écrit un shell qui est en cours de débugage (je pense le publier un jour).
    Il gère la copie de fichiers / répertoires, le dump de plusieurs bases mysql, la copie sur bande (dat, lto). Plus tard je pense ajouter la gestion de restauration à partir des bandes.

    Sur un dédié j'utilise toujours backup-manager qui dans ce cas me convient parfaitement.

    Personnelle... c'est quoi une sauvegarde. Non j'déconne mais bon si je perd ma collection de mp3 c'est pas bien grave j'ai toujours les originaux soigneusement rangé dans ma bibliothèque. Pour mes projets au contraire je déconne mais va falloir que j'y pense.

    Si tu a l'âme d'un aventurier tu peux voir du côté de bacula mais attention à l'usine à gaz. Le principe est génial mais j'ai étudié toute une journée la doc (en fr pourtant) et y une foule de chose que j'ai pas pigé. D'un autre côté la doc est certe présente mais je la trouve extrement mal structuré ce qui fait qu'au bout d'un moment t'es paumé au milieu de nul part.

    Born to Kill EndUser !

    • [^] # Re: Au choix

      Posté par (page perso) . Évalué à 2.

      Arf, la sauvegarde des bases de données, c'est pas con aussi :-). C'est un truc que j'oubli trop facilement.
      • [^] # Re: Au choix

        Posté par . Évalué à 2.

        mysqldump ou equivalent
        Puis rdiff-backup sur le fichier dump

        La vie est belle, profitez-en ! :)
        Yves
        • [^] # Re: Au choix

          Posté par . Évalué à 4.

          Il y a des outils qui font toutes les sauvegardes des bases de données, des svn, etc, et ensuite qui utilise rdiff-backup.

          Par exemple j'utilise backupninja qui est super bien :)
          • [^] # Re: Au choix

            Posté par . Évalué à 2.

            Merci pour m'avoir fait connaître cet outil :).

            Depuis le temps que je me disais que je devais mettre en place un backup distant... mais que je ne le faisais pas parce qu'il fallait utiliser des soft compliqués et/ou lourds et/ou bugués et/ou ne faisaient pas ce que je désirais.

            Je viens donc de paramétrer backupninja pour faire des backups distants, incrémentaux, compressés et encryptés sur mon serveur dédié.

            Ne reste plus qu'à attendre la fin du premier fullbackup. À raison de 20gig à transférer limité à 320kbps pour ne pas surcharger ma connexion Internet, il y en a encore pour quelques jours ;).
        • [^] # Re: Au choix

          Posté par . Évalué à 2.

          Moi j'utilise rsnapshot [http://www.rsnapshot.org/howto/] qui fait aussi de la gestion des versions, de la manière suivante : il y a un répertoire de backup (par exemple weekly.0) qui contient tout ton backup au jour J.
          Si tu veux récupérer tes données de la semaine dernière, elles sont dans weekly.1, et ainsi de suite.

          Noter que les fichiers ne sont pas dupliqués, mais sont des liens.

          Pour en revenir au backup de bases de données, il est possible de lui spécifier une commande à exécuter (ex : mysqldump) pour le backup. rsnapshot utilisera ensuite le fichier généré pour le sauvegarder.

          J'utilise très peu des possibilités de rsnapshot, mais ça a l'air assez puissant (en tout cas par rapport à mes besoins).
          • [^] # Re: Au choix

            Posté par (page perso) . Évalué à 2.

            +1 pour rsnapshot qui offre l'avantage que, quand on merde en modifiant (voire supprimant, ça m'est arrivé) un fichier de conf, un cp tout bête permet de récupérer la version précédente.

            Par contre, les possibilités de sauvegarde distante de rsnapshot sont pas terrible (disons qu'il faut que ce soit le serveur à sauvegarder qui initie la connexion, ce qui ne me convenait pas vu que mon serveur de backup n'est pas toujours lancé) donc j'utilise rdiff-backup pour faire un miroir du snapshot le plus récent de rsnapshot. Finalement, j'ai donc un backup journalier en externe, et des snapshots toutes les quelques heures en local en cas de merdouille de ma part.
  • # Attention cependant

    Posté par . Évalué à 5.

    Gestion de priorité de sauvegarde (genre, les photos personnel sont plus importante, que sa playlist de film/mp3. Ce qui permet de conserver un historique des versions plus important pour les trucs prioritaires - parce qu'il ne faut pas oublier que ça représente tout de même un certain volume, et donc forcement les historiques ne peuvent pas être infini)



    Avec la loi sur la riposte graduée, ça va devenir plus difficile de reconstituer sa colllection de films/mp3, donc il va devenir important de les sauvegarder également.
  • # TimeVault

    Posté par . Évalué à 2.

    Une des fonctionnalités mises en avant dans Mac OS X 10.5 est Time Machine, le clone sous Linux en est TimeVault, ça peut t'intéresser si tu es un gnomisateur.

    Une petite URL pour en savoir plus :
    https://wiki.ubuntu.com/TimeVault

    L'avantage est que ça s'intègre à Nautilus, le désavantage est que ça s'intègre à Nautilus :-)
    Je suis en train d'essayer une combo TimeVault+rdiff-backup (TimeVault sauvegarde en local, rdiff-backup sur un serveur distant) pour donner ça en pature à mes utilisateurs.
  • # RAID 1

    Posté par . Évalué à 2.

    A mon troisième disque flingué, j'ai crisé. J'avais bien deux-trois sauvegardes sur CD des trucs importants (enfin, perso, disons), mais le tout-venant (config, etc) est parti aux oubliettes.

    -> Surcouf, achat de deux disques 250 Go mirrorés en RAID soft.

    Je fais toujours une ou deux copies de certains trucs de temps à autre, mais maintenant, au moins, je ne crains plus que les incendies (et ce jour-là, j'aurai autre chose à pleurer que ma config).

    Un peu radical, mais au moins, ça rassure.
    • [^] # Re: RAID 1

      Posté par . Évalué à 4.

      Attention à l'erreur courante de croire que le RAID est de la sauvegarde...
      Fait donc un rm -rf /etc, et essaye de restaurer...
      • [^] # Re: RAID 1

        Posté par . Évalué à 3.

        Pour conserver l'état consistant d'un système, il y a la solution des snapshots LVM qui peut être intéressante. Ça ne protège pas contre les défaillances matérielles mais ça suffit contre les erreurs humaines.

        Et pis c'est pas mal non plus contre les apt-get foireux...

        Cf http://tldp.org/HOWTO/LVM-HOWTO/snapshots_backup.html

        Article Quarante-Deux : Toute personne dépassant un kilomètre de haut doit quitter le Tribunal. -- Le Roi de Cœur

      • [^] # Re: RAID 1

        Posté par . Évalué à 2.

        Je n'ai pas vraiment dit que c'était une solution de backup, seulement une assurance contre un crash de disque. J'ai déjà vu le résultat d'un rm -rf /etc sur un système en prod en RAID 5 (si si, et ne me demandez pas de nom, même si vous seriez très surpris....) Tout ce que ça m'apporte, c'est une assurance contre les défaillances matérielles qui me pourrissent la vie régulièrement comme tout un chacun. Et, en quelque sorte, une garantie de tranquillité entre deux sauvegardes arbitraires de mes données persos (en gros, même si je ne pense que tous les deux mois à faire un backup de mes super photos du ski, moyennant un coup d'oeil aussi quotidien qu'affecteux à la bête, je n'ai pas de soucis à me faire). L'idée de base étant de pratiquer une politique d'administration suffisamment saine pour éviter ce genre de sabotage (inch'allah, comme dirait l'autre ;) )

        -- Damn, j'ai hiberné ou il y a la correction orthographique maintenant sur DLFP ?
        • [^] # Re: RAID 1

          Posté par . Évalué à 1.

          (honte sur moi, c'est Firefox qui intègre un dictionnaire localisé, et en plus j'avais lu cette info sur DLFP....quelle pitié)
      • [^] # Re: RAID 1

        Posté par . Évalué à 2.

        ben moi je me suis fait berné comme un jeunot en bricolant plusieurs racines a base de dbootstap ; par commodité j'avais monté /home et une autre partition de data dans plusieurs espaces chrootés ; mais quand j'ai voulu faire du ménage, je n'ai pas démonté ces partitions au combien précieuses et j'ai envoyé un rm -fr ... je n'avais plus que les yeux pour pleurer ; et difficile d'expliquer a ma femme l'étendue de ma stupidité ...
        • [^] # Re: RAID 1

          Posté par . Évalué à 2.

          ... et difficile d'expliquer a ma femme l'étendue de ma stupidité
          Je crois qu'elle connaissent bien mieux que nous l'étendue de notre stupidité ...
    • [^] # Re: RAID 1

      Posté par . Évalué à 2.

      > Surcouf, achat de deux disques 250 Go mirrorés en RAID soft.

      Je suis assez preneur de détails : il faut acheter quoi exactement ? Et il faut installer quoi sous linux ? Est-ce que ça ralentit beaucoup le système ?

      Merci...
      • [^] # Re: RAID 1

        Posté par . Évalué à 4.

         Je suis assez preneur de détails : 
        http://tldp.org/HOWTO/Software-RAID-HOWTO.html

         il faut acheter quoi exactement ? 
        Des disques. Au moins deux.

        En général on préfère prendre des disques de même taille pour « mirrorer » les disques entiers mais on peut ne dupliquer qu’une partie (ça se fait partition par partition donc un disque peut avoir une partition non dupliquée sur l’autre).

        Éviter d’acheter deux disques du même modèle le même jour : ils auront une durée de vie similaire et auront plus de chance de lâcher en même temps.

         Et il faut installer quoi sous linux ? 
        mdadm
        Les noyaux distribués savent en général déjà gérer le RAID.

         Est-ce que ça ralentit beaucoup le système ? 
        Non.
        Il y a effectivement quelques pourmilles de CPU utilisés et les données sont dupliquées/écrites sur tous les disques mais comme les disques ont les mêmes données, on peut lire sur plusieurs disques.
  • # Ça dure combien de temps un disque?

    Posté par . Évalué à 2.

    Bon alors voilà, je fais jamais de sauvegardes (honte à moi) mais vous me faites de plus un plus flipper avec les journaux réguliers qui en parlent.

    Et donc je me demandais combien de temps ça dure un disque dur?
    Ouaip, je sais ça dépend de l'utilisation, en fait je me demandais surtout y a t-il un moyen de savoir en gros combien de temps mes disques vont tenir.

    Le disque où j'ai mis mon système a 6-7 ans et celui de mon home a environ 3 ans. Et du coup je commence à me faire un peu de soucis pour le premier.
    • [^] # Re: Ça dure combien de temps un disque?

      Posté par (page perso) . Évalué à 3.

      Et donc je me demandais combien de temps ça dure un disque dur?
      Ouaip, je sais ça dépend de l'utilisation, en fait je me demandais surtout y a t-il un moyen de savoir en gros combien de temps mes disques vont tenir.


      Réponse simple et murphyque : pas assez longtemps.

      Début de réponse évoluée : voir le MTBF [1] de ton disque si le constructeur le fournit, utiliser un logiciel pour discuter S.M.A.R.T. [2] avec le disque en question.

      [1] : http://fr.wikipedia.org/wiki/MTBF
      [2] : http://fr.wikipedia.org/wiki/Self-Monitoring%2C_Analysis_and(...)
    • [^] # Re: Ça dure combien de temps un disque?

      Posté par . Évalué à 1.

      pour moi les sauvegardes (au boulot plutot que chez moi) c'est plus pour se prémunir d'une connerie (erreur matériel, mais aussi erreur chaise clavier très courante) que "et si mon dd crash.
    • [^] # Re: Ça dure combien de temps un disque?

      Posté par (page perso) . Évalué à 4.

      En général, un disque dure.... jusqu'à la veille du jour où on a décidé de faire une sauvegarde :-)

      C'est pourquoi mes sauvegardes sont quasi quotidienne : 2 disques identiques et mirroring entre les 2. Dans l'idéal, le disque de sauvegarde est un disque ethernet autonome ou un disque usb, pour le débrancher entre 2 sauvegardes
      • [^] # Re: Ça dure combien de temps un disque?

        Posté par . Évalué à 1.

        En général, un disque dure.... jusqu'à la veille du jour où on a décidé de faire une sauvegarde :-)

        Bon ok jusque là je n'ai jamais décidé de faire une sauvegarde et aucun de mes disques n'a laché. Donc je continuer comme ça :)

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.