Forum général.cherche-logiciel Backup avec déduplication

Posté par  . Licence CC By‑SA.
Étiquettes : aucune
2
17
nov.
2017

J'utilise actuellement Crashplan comme solution de backup dans le cloud.

Malheureusement, cette compagnie se recentre sur les clients pro et augmente ses tarifs en conséquence. Bref, je serai sans doute amené à la quitter dans quelques mois.

Du coup, je voudrais en profiter pour chercher une solution de backup mais avec un cloud "perso", en l’occurrence sur un PC familial situé hors domicile, donc via internet quand même.
NB. J'ai déjà regardé les autres solutions commerciales de backup on the cloud, ce n'est pas l'objet ici.

Je cherche une solution/logiciel présentant la caractéristique la plus importante (pour moi) de Crashplan : la déduplication par bloc à la source.

En effet, il m'arrive de changer l'organisation de mes dossiers/fichiers, de les renommer et d'en changer très partiellement le contenu (ajout de metadata sur les photos). Par ailleurs, je suis en adsl => débit d'upload faible.

Ces deux points rendent les sauvegardes de type rsync inefficaces dans mon cas (tant en place qu'en temps de transfert), quand bien même elles seraient incrémentales.

Bien sûr, la solution doit aussi avoir les autres caractéristiques habituelles d'un backup : retrouver les versions passées d'un fichier (y compris supprimé), chiffrage pendant le transfert, etc…

Merci d'avance pour vos éventuelles suggestions.

  • # Au choix

    Posté par  . Évalué à 6.

    • borgbackup avec borgmatic → testé et approuvé, excellent, command-line
    • duplicati → pas testé, prometteur, interface web sur 127.0.0.1.

    • [^] # Re: Au choix

      Posté par  . Évalué à 3.

      Merci, je vais regarder ces deux propositions.

      J'étais en train d'essayer BUP qui semble aussi répondre au problème.

    • [^] # Re: Au choix

      Posté par  . Évalué à 3.

      Après quelques essais (en local), borgbackup semble effectivement un très bon candidat !
      Je vais focaliser mes essais en non-local sur cette solution.

      Sinon, il y aussi restic (voir une comparaison avec borg et la réponse apportée par un des dev de borg). Je ne l'ai pas encore essayé.

      bup (développé par l'auteur de rsync) est très séduisant mais le fait que la fonctionnalité prune soit encore expérimentale et complexe à implémenter (car bup est basé sur git) ne m'incite pas à utiliser pour le moment. Par ailleurs il semble moins activement développé et utilisé que borg ou restic.

  • # BackupPC

    Posté par  . Évalué à 3.

    Le vénérable. Mais à partir de sa version 4.

    La sauvegarde est effectuée via rsync sur le client et un rsync modifié sur le serveur, mais lorsqu'un nouveau fichier est rencontré (lors d'une sauvegarde de type full, mais ça c'est un détail technique), le checksum est envoyé, et il regarde si il l'a dans le pool (car référencé dans une autre sauvegarde sous un autre nom, un autre endroit, une ancienne sauvegarde…), et si c'est le cas, il se base sur ce fichier pour ensuite vérifier (à coup de checksums aussi) que c'est le même bloc à bloc. En cas de modification du fichier, comme le transfert est via rsync, le volume transféré sera faible (mais le volume stocké n'étant dédupliqué que fichier à fichier sera stocké deux fois). Par contre si tu modifie un fichier et que tu le déplace, alors là, pas de miracle, il transfert tout.

    Bref, ça a l'air de correspondre à ton cahier des charges.

    Pour ma part, j'utilise BackupPC depuis quasiment 10 ans qui sauvegarde toutes mes machines, et ça juste marche. Depuis la version 4, je suis heureux en cas de gros remaniement des mes fichiers.

  • # Ça va doubler l'espace de backup nécessaire pour mes photos

    Posté par  . Évalué à 2. Dernière modification le 17 novembre 2017 à 21:48.

    mais le volume stocké n'étant dédupliqué que fichier à fichier sera stocké deux fois.

    C'est rédhibitoire pour moi. En effet, quand je vide la carte mémoire de mon appareil photo, je lance un backup (en réalité, avec Crashplan, c'est automatique et au fil de l'eau mais peu importe ici). Puis, plus tard, quand j'ai le temps, je taggue mes photos. D'après ton explication, quand je vais refaire un backup, le transfert sera optimisé mais pas le stockage : à l'arrivée, je vais avoir deux fois la taille de mes photos.

  • # zfs send/receive

    Posté par  . Évalué à 1.

    Je me demande si zfs send/receive ne pourrait pas répondre à ton besoin, en ne transmettant que les blocs qui ont changé
    http://portrix-systems.de/blog/brost/zfs-migration-using-incremental-sendreceive/

  • # Finalement...

    Posté par  . Évalué à 1. Dernière modification le 21 novembre 2017 à 11:01.

    Merci pour cette suggestion mais je préfère rester sur le FS par défaut (ext4).

    Bup et Restic ne sont pas forcément loin derrière BorgBackup mais j'ai finalement choisi ce dernier qui m'a vraiment convaincu (fonctionnalités, nombreux retours d’expérience sur le net, très bonne documentation, projet actif, etc…).

    Je vais mettre en place la solution suivante :

    • repos Borg sur un DD dédié dans un des PC locaux avec les archives Borg chiffrés (automatiquement par Borg). Au lieu d'un DD sur un des PC locaux, ça pourrait être un NAS ou un PC local dédié à ce rôle pour éviter d'avoir dans le même boîtier DD "données utilisateur" et DD "archives Borg" mais ce n'est pas obligatoire du fait de l'étape ci-dessous.

    • rclone du repos sur un archivage cloud type Glacier (Amazon), C14 (Online)[1] ou PCA (OVH), beaucoup moins coûteux que du stockage cloud classique (avec quand même l'avantage sur un PC familial off-site d'être toujours en ligne). Je n'aurai à l'utiliser - en restitution - que si je perds les données source et le repos Borg. Le temps de restitution plus long d'un archivage cloud (vs. stockage cloud) n'est donc pas un problème dans mon cas d'utilisateur non professionnel.

    Et au final, ça me paraît assez simple à mettre en œuvre.

    Merci pour vos suggestions !

    [1] C14 ne laisse que 7 jours pour ajouter ou modifier une archive => avec mon pauvre ADSL, le premier envoi (plus de 500 Go) ne passera jamais dans ce délai.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.