SaintGermain a écrit 544 commentaires

  • [^] # Re: Unison ?

    Posté par  . En réponse à la dépêche (R)évolutions dans le monde de la sauvegarde de données. Évalué à 1.

    C'est abordé dans la dépêche : il ne faut pas confondre delta encoding et déduplication. La lecture des liens est un peu longue mais permet de bien comprendre la différence.

    En gros, voici deux exemples montrant les différences (je simplifie hein, il ne faut pas prendre cela au pied de la lettre) :
    - si tu sauvegardes une fois un fichier et qu'à la sauvegarde suivante tu as dupliqué le fichier quelque part, la déduplication n'ajoutera rien de plus alors que le delta encoding ajoutera le fichier dupliqué
    - en partant de l'hypothèse d'une déduplication par bloc de 3 caractères, si tu sauvegardes une première fois la chaîne "123456789" et que tu modifies en "123456780", le delta encoding devrait juste stocker "0" alors que la déduplication stockera "780".

  • # DDAR

    Posté par  . En réponse à la dépêche (R)évolutions dans le monde de la sauvegarde de données. Évalué à 2.

    Afin d'être exhaustif, voici encore un logiciel libre de sauvegarde effectuant de la déduplication :
    http://www.synctus.com/ddar/

  • [^] # Re: Trop de sauvegarde?

    Posté par  . En réponse à la dépêche (R)évolutions dans le monde de la sauvegarde de données. Évalué à 2.

    Je veux bien utiliser les bandes si tu me donnes les sous pour le lecteur ! ;-)
    Comme j'ai pas de sous, je fais avec ce que j'ai…

    Mais comme c'est vraiment pénible de graver, je ne grave que l'essentiel et ça tient sur 2 DVD (bye bye les photos). Pour le cataloguage, je fais à l'ancienne (stylo sur DVD avec la date). Et je ne fais cela que tous les ans ou tous les 2 ans donc ça va (bye bye la dernière année).

    C'est vraiment histoire de calmer ma paranoïa. Je ne sais pas pourquoi je dors mieux quand je sais que mes données critiques sont au moins sur un bon vieux DVD dans une boîte au fond d'une armoire (merde j'ai révélé ma cachette).

    Avec les sommes de contrôles PAR2, j'ai quand même une très bonne probabilité de récupérer le DVD même s'il est endommagé (ça doit quand même être très rare un DVD flingué à plus de 5% en moins de 2 ans).

    Mais rassure-toi, je ne sauvegarderai jamais juste sur DVD. Ce serait du suicide. Un DVD c'est vraiment le plan C ou le plan D.

  • [^] # Re: Trop de sauvegarde?

    Posté par  . En réponse à la dépêche (R)évolutions dans le monde de la sauvegarde de données. Évalué à 2.

    Désolé mais je ne comprends pas ton argumentation.

    Je souhaite sécuriser (au sens je ne veux pas les perdre) mes emails ou mes photos tout en pouvant continuer à y avoir accès, c'est de la sauvegarde ou de l'archivage ?

    Dans l'ancien temps, on archivait sur des bandes et on les ressortait de temps en temps quand on avait besoin d'un fichier (parce que les disques durs étaient chers). Donc à cette époque il y avait une nette distinction entre archivage (sur bande) et sauvegarde (sur disque).

    De nos jours le stockage est devenu bon marché, donc on mets tout sur un disque même si dans l'absolu c'est pas nécessaire car les photos d'il y a 5 ans on y accède pas tous les 4 matins.

    Donc si tu veux mon avis, sauvegarde ou archivage pour un particulier lambda c'est généralement kif-kif.

    Par contre le professionnel qui est en moi considère que la diversification a aussi de bons avantages (et inconvénients). C'est bien beau d'avoir dupliqué sur 100 disques identiques, mais s'ils tombent tous en même temps en panne à cause d'une défaillance de mode commun ça te fera une belle jambe.

    Donc pour les données critiques, utiliser le même logiciel/matériel n'est pas acceptable d'un point de vue fiabilité et il faut diversifier. Plus ton matériel/logiciel est différent, moins tu es sensibles aux défaillances de modes communs.

    Idéalement il faudrait donc utiliser un OS différent, un logiciel de sauvegarde différent, un support de sauvegarde différent et un endroit de stockage différent. Le tout effectué par une personne différente et alimenté par une source d'énergie différente ! (rigolez pas, c'est ce que l'on fait là où je bosse…)

    Bon je force le trait parce que l'on parle de mes photos de tata Ginette là, mais c'est juste pour te faire comprendre que la diversification a des avantages (et des inconvénients).
    Donc graver ses données sur un DVD, bah non je n'irai pas dire immédiatement à un type que c'est foireux. Et je vais continuer à les utiliser malgré ma configuration top-moumoute de sauvegarde/archivage à distance sur un serveur dédié.

  • [^] # Re: Trop de sauvegarde?

    Posté par  . En réponse à la dépêche (R)évolutions dans le monde de la sauvegarde de données. Évalué à 2.

    Mais au final tout tient largement dans un disque de 3 Go, et j'ai deux disques de 1 To pour rsyncer l'essentiel, que j'échange à chaque fois que je passe au coffre à la banque.

    3 Go je trouve que c'est dans le domaine du raisonnable, vu les différences de comportement (photos, docs professionnels de ton épouse). Pas mal l'idée de la banque (quoique peu pratique à mon sens).

    J'ai l'impression qu'il voulait plus dire 3 To non ?

    Autrement je ne comprends pas son argumentaire. Il dit qu'il génére énormément de données à coup de milliers de photos, films et machines virtuelles pour finir par dire que tout tient largement dans 3 Go.

  • [^] # Re: Trop de sauvegarde?

    Posté par  . En réponse à la dépêche (R)évolutions dans le monde de la sauvegarde de données. Évalué à 2. Dernière modification le 20 juin 2012 à 13:33.

    Personnellement je pense que ce n'est pas une si mauvaise idée.

    L'avantage est la diversification : tu stockes sur un support dont les défaillances sont différentes d'un disque dur.

    Par exemple (cas vécus par des proches) c'est plus facile d'effacer par erreur (rm -rf dans le mauvais répertoire, redimensionnement malheureux d'une partition, mauvais paramétrage de l'expiration) ou par accident (foudre ou autre) tout un disque dur.
    Si tu as plusieurs DVD non-réinscriptibles, c'est plus difficile de tout perdre d'un coup.

    De même lors d'un cambriolage ou d'un feu, ton NAS a plus de chance d'y passer (encore que un cambrioleur c'est peut-être pas très fûté) que toute ta collection de DVD gravés (dans une boîte ignifugée !).

    Pour compenser les problèmes de fiabilité d'un DVD, j'ai ajouté des sommes de contrôle PAR2. Comme il est rare qu'un DVD soit complètement illisible, j'ai une bonne probabilité de pouvoir tout récupérer en mettant 5% de redondance.

    Ce qui me gêne le plus est la capacité limitée d'un DVD. Idéalement il faudrait utiliser un bon vieux système à bande (avec ele réfrigérateur pour conserver les bandes).

  • [^] # Re: Trop de sauvegarde?

    Posté par  . En réponse à la dépêche (R)évolutions dans le monde de la sauvegarde de données. Évalué à 2.

    L'exemple donné dans la dépêche est purement artificiel afin de tester un peu les logiciels dans leurs retranchements.

    Pas tant que ça, certains commentaires parle de 200Go de sauvegarde.

    Je parle de l'exemple de la dépêche, qui est purement artificiel. Après si tu parles de certains commentaires en particulier, je ne peux pas deviner (il faudrait leur demander en commentant leurs messages).

    Personnellement j'ai déjà plus de 12 ans d'emails qui totalisent 4 Go (qui dit mieux ?). Bien entendu, si tu es plus jeune, moins nostalgique ou si tes emails sont uniquement sur Gmail (pas bien), le volume sera moins important.

    J'ai aussi plus de 12 ans d'emails mais les emails importants ne représentent qu'une fraction infimes du total (et perdent de leurs importances avec le temps, un facture d'il y a 12 ans, en général je m'en fous donc je supprime), et ils sont dupliqués sur plusieurs machines.

    C'est bien ce que je dis : tu dois être moins nostalgique que moi. J'ai tendance à tout garder même les délires entre potes (c'est assez rigolo à lire avec le recul) et la moindre carte postale envoyée par un ami (quel est l'importance d'une carte postale ?).
    Ce que tu dis n'est pas juste limité aux nombres de Go de tes données, il y a des personnes pour qui leurs effets personnels tiennent dans 2 cartons et d'autres qui accumulent les bibelots et les souvenirs (je suppose que tu es plus dans la première catégorie ?).

    Il faut juste accepter et comprendre que entre l'appartement d'ascète et la maison de tata Ginette, il y a beaucoup d'autres styles de vie.

    Pour les photos (sans même parler de vidéo HD), pour te donner un exemple, c'est relativement rapide d'arriver à une centaine de photos par événement. A raison d'une douzaine d'événements par an et 3 Mo par photos, tu arrives à 3.6 Go pour une année, soit 18 Go pour 5 ans. Bon dans tout cela rien qui ne mérite l'attention des journalistes, c'est juste des souvenirs "Tata Ginette" (les amateurs comprendront).

    Comme je l'ai dis, pas de photo ou de videos pour moi et les stocker sur DVD (et les distribuer) me parait à la fois économique et relativement sûr (compte tenu de la durée de vie des support, mais rien ne garanti que le service de sauvegarde soit là dans 5 ans non plus).

    Je ne peux pas être en désaccord avec ça : c'est expliqué dans ma dépêche, cette forme de redondance est très bien mais parfois délicate à mettre en place de façon automatique. C'est comme le coup d'échanger un disque dur placé chez un copain, en pratique je constate que pour moi je reporte toujours au lendemain.

    Du coup je n'ai pas vraiment envie de faire des sauvegardes complètes tous les mois et si je décide de ré-organiser mes répertoires et/ou de renommer mes fichiers, je ne souhaite pas re-uploader pendant des heures (ce que fera certainement ton tar incrémental). D'où l'intérêt de la déduplication.

    tar prend en charge le renommage des fichiers.

    Je pense que tu n'as pas compris le sens de ma remarque (et peut-être le réel intérêt de la déduplication). Tar n'est pas capable de détecter des fichiers renommés/déplacés/dupliqués (à moins de calculer un checksum, ce qu'il ne fait pas, comment il s'y prendrait ?).
    Si je déplace un répertoire de fichiers (par exemple ma modification 1 dans la dépêche), ton tar incrémental ne va pas reconnaître le renommage et magiquement transmettre uniquement la chaîne de caractère contenant l'ancien nom et le nouveau nom (du coup je suis obligé de perdre des heures pendant la transmission).

    Les logiciels que j'ai présentés détectent cela (et certains vont même encore plus loin en détectant des morceaux communs).

  • [^] # Re: Resturation !

    Posté par  . En réponse à la dépêche (R)évolutions dans le monde de la sauvegarde de données. Évalué à 2.

    Oups tu as raison, je voulais dire IHM graphique ou GUI.

  • # Mayan EDMS

    Posté par  . En réponse au journal [pub] MALODOS 1.3. Évalué à 3.

    Bonjour,

    Tiens c'est rigolo, je cherchais la même chose il n'y a pas longtemps et je suis tombé sur ça (aussi codé en Python) :
    http://rosarior.github.com/mayan/

    Est-ce que ce n'est pas la même idée que ton projet ?

  • [^] # Re: remarques

    Posté par  . En réponse à la dépêche (R)évolutions dans le monde de la sauvegarde de données. Évalué à 3.

    C'est parfait comme logiciel ça !
    Est-ce que la même chose existe pour Windows et Linux ?

  • [^] # Re: ah la déduplication !

    Posté par  . En réponse à la dépêche (R)évolutions dans le monde de la sauvegarde de données. Évalué à 3.

    La déduplication à la source permet aussi d'optimiser le trafic réseau, ce qui est loin d'être négligeable.

    Mais bon il me semble avoir déjà donné tous les arguments pour/contre dans la dépêche non ?

    Le fait que ce soit un point unique de défaillance, le fait que des systèmes intègrent la déduplication directement dans le système de fichier, la nécessite d'avoir des redondances, etc.

  • [^] # Re: Unison ?

    Posté par  . En réponse à la dépêche (R)évolutions dans le monde de la sauvegarde de données. Évalué à 3.

    Unison peut sauvegarder, aucun doute là-dessus.
    Mais si on part là dessus, cp et dd sont aussi (dans un bateau ?) des logiciels de sauvegarde.

    Je pense que ce qui fait la nécessité d'un logiciel de sauvegarde c'est de pouvoir sauvegarder plusieurs fois et de pouvoir revenir en arrière le jour que l'on veut. Ce que ne permet pas Unison.

    Git par exemple s'apparente beaucoup plus à un logiciel de sauvegarde et c'est pourquoi je trouve que bup est une très bonne idée.

  • [^] # Re: Resturation !

    Posté par  . En réponse à la dépêche (R)évolutions dans le monde de la sauvegarde de données. Évalué à 2.

    Si pour toi une IHM est absolument indispensable: BackupPC (vraiment très bien fait) et tahoe-LAFS (plus obscur mais fait son boulot).

    Pour les autres c'est en ligne de commande, donc ils sont tous plus ou moins équivalent.

    Je n'ai pas eu le temps par contre de voir comment chacun des logiciels donnent une vue sur les anciennes versions de chaque fichier/répertoire afin de sélectionner la version que l'on souhaite restaurer.

  • [^] # Re: Trop de sauvegarde?

    Posté par  . En réponse à la dépêche (R)évolutions dans le monde de la sauvegarde de données. Évalué à 2. Dernière modification le 19 juin 2012 à 11:47.

    Ce problème est abordé dans la dépêche :

    Un contre-point intéressant serait de comparer avec une personne qui aurait tous ses emails sous Gmail, ses photos sous Flickr, ses documents sous Dropbox, sa musique avec Deezer et sa vie numérique sous Facebook. Il est plus difficile dans ce cas d'expliquer la nécessité de la sauvegarde (défaillance du fournisseur, capture du consommateur), sans même parler de vie privée.

    Et j'ai donné un lien pointant vers une histoire assez regrettable de piratage de compte Gmail :
    http://www.theatlantic.com/magazine/archive/2011/11/hacked/8673/?single_page=true

  • [^] # Re: Priorisation de fichiers à sauvegarder ?

    Posté par  . En réponse à la dépêche (R)évolutions dans le monde de la sauvegarde de données. Évalué à 2.

    Obnam permet de faire cela manuellement :
    http://liw.fi/obnam/tutorial/

    En gros tu commences par sauvegarder ce qui est important et tu ajoutes petit à petit les fichiers secondaires.

    Donc par exemple :
    obnam backup repertoire_important
    obnam backup repertoire_important repertoire_moins_important
    obnam backup repertoire_important repertoire_moins_important repertoire_pas_important
    etc…

    Ou tu peux aussi jongler avec les options d'exclusion aussi ou sélectionner les fichiers indépendamment.

  • [^] # Re: Trop de sauvegarde?

    Posté par  . En réponse à la dépêche (R)évolutions dans le monde de la sauvegarde de données. Évalué à 6.

    L'exemple donné dans la dépêche est purement artificiel afin de tester un peu les logiciels dans leurs retranchements.

    Personnellement j'ai déjà plus de 12 ans d'emails qui totalisent 4 Go (qui dit mieux ?). Bien entendu, si tu es plus jeune, moins nostalgique ou si tes emails sont uniquement sur Gmail (pas bien), le volume sera moins important.

    Pour les photos (sans même parler de vidéo HD), pour te donner un exemple, c'est relativement rapide d'arriver à une centaine de photos par événement. A raison d'une douzaine d'événements par an et 3 Mo par photos, tu arrives à 3.6 Go pour une année, soit 18 Go pour 5 ans. Bon dans tout cela rien qui ne mérite l'attention des journalistes, c'est juste des souvenirs "Tata Ginette" (les amateurs comprendront).

    Donc on arrive déjà à 22 Go, ce qui avec ma liaison en upload de 1 Mb/s, permet de faire une sauvegarde complète en 49h (!).

    Du coup je n'ai pas vraiment envie de faire des sauvegardes complètes tous les mois et si je décide de ré-organiser mes répertoires et/ou de renommer mes fichiers, je ne souhaite pas re-uploader pendant des heures (ce que fera certainement ton tar incrémental). D'où l'intérêt de la déduplication.

  • [^] # Re: Unison ?

    Posté par  . En réponse à la dépêche (R)évolutions dans le monde de la sauvegarde de données. Évalué à 3.

    Je crois que ni rdiff-backup, ni Duplicy ne font de la déduplication.
    Si tu as deux fichiers identiques, ils vont sauvegarder chaque fichier séparément.
    J'ai limité la dépêche aux logiciels libres de sauvegarde faisant de la déduplication.

  • [^] # Re: Resturation !

    Posté par  . En réponse à la dépêche (R)évolutions dans le monde de la sauvegarde de données. Évalué à 2.

    Et oui je souhaitais aussi faire le point sur la restauration.
    Mais comme expliqué plusieurs fois plus haut, quelqu'un d'autre que moi a soumis la dépêche à ma place alors que j'avais loin d'avoir terminé.

    J'avoue que cela me déprime tellement que je ne souhaite pas corriger quoi que ce soit à moins que l'on retire la dépêche.

  • [^] # Re: Et cela même si vous n'avez pas investi dans un superbe SSD. gnee ?

    Posté par  . En réponse à la dépêche (R)évolutions dans le monde de la sauvegarde de données. Évalué à 1.

    Bonjour,

    Je voulais éclaircir ce point (en particulier sur la robustesse et l'auto-réparation) mais quelqu'un a publié la dépêche à ma place.
    Tu peux te plaindre aux modérateurs…

    Moi j'attends que l'on retire la dépêche avant de faire plus… A ce stade je suis tellement écoeuré que je ne souhaite pas en faire plus…

  • [^] # Re: À propos de backuppc

    Posté par  . En réponse à la dépêche (R)évolutions dans le monde de la sauvegarde de données. Évalué à 3.

    Oui je sais cela fait partie des points que je souhaitais corriger avant de soumettre la dépêche.
    Mais quelqu'un a publié la dépêche à ma place (!).
    J'attends de voir si on peut retirer la dépêche.

  • [^] # Re: Sur le coup, tahoe-LAFS est *vraiment* intéressant!

    Posté par  . En réponse à la dépêche (R)évolutions dans le monde de la sauvegarde de données. Évalué à 3.

    Je n'ai pas fini de rédiger la partie tahoe-LAFS (quelqu'un a publié a ma place…grrr).
    Du coup je vais me faire incendier par l'auteur si il voit la description actuelle.
    Mais oui le projet est très intéressant et il me reste beaucoup à dire sur le sujet…

  • [^] # Re: Soumission de la dépêche

    Posté par  . En réponse à la dépêche (R)évolutions dans le monde de la sauvegarde de données. Évalué à 5.

    La dépêche est loin d'être prête.
    Et je ne souhaite pas perdre trop de temps à répondre aux commentaires portant sur des choses que je voulais justement améliorer avant de la publier.
    La meilleure des solutions est de retirer la dépêche.

    Cordialement,

  • # Soumission de la dépêche

    Posté par  . En réponse à la dépêche (R)évolutions dans le monde de la sauvegarde de données. Évalué à 10.

    Bonjour,

    Il ne me semble pas avoir appuyé sur le bouton 'soumettre' la dépêche.
    Comment se fait-il que quelqu'un ait soumis la dépêche à ma place ?

    Je n'ai pas fini la rédaction et les tests de performances sont biaisés ou carrément faux.
    Pour certains logiciels je n'ai pas eu le temps de corriger ou de compléter la description.

    Cela me met mal à l'aise vis à vis de certains auteurs qui m'ont aidé et qui vont retrouver une description inexacte de leur logiciel.

    Si la dépêche n'est pas retirée par un modérateur, je ne proposerai jamais plus de dépêche tellement je trouve le procédé scandaleux.

    Oui je suis énervé.

  • [^] # Re: Corruption

    Posté par  . En réponse au sondage Quel logiciel libre pour vos sauvegardes ?. Évalué à -1.

    Il faut envoyer les informations par2 ou zfec qui devraint te permettre d'identifier les corruptions ou de réparer.

  • [^] # Re: bup et obnam

    Posté par  . En réponse à la dépêche Synchroniser vos dossiers locaux/distants. Évalué à 1.

    Très intéressant ces deux logiciels.
    Peux-tu faire un retour rapide sur ton utilisation et pourquoi tu utilises les deux (et pas un seul) ?

    Pour bup, le désavantage que je vois est qu'il est basé sur Git et que cela nécessite donc peut-être que chaque client conserve tout l'historique.

    Par contre les deux sont pour du backup et pas vraiment pour de la synchronisation non ?

    Merci