Journal Nos données

Posté par  (site web personnel, Mastodon) .
Étiquettes : aucune
0
1
jan.
2007
Bonjour chère journal,
permet moi de te souhaiter de bon voeu pour la nouvelle année 2007.

Je voudrait parler d'un problème empirique qui est "nos données numérique"
Pourquoi un problème ?
Parce que chez moi cela devient une calamité.

Ce matin je me suis dis, bon je fait une sauvegarde complète de l'année de toutes mes photos. Et la surprise 7.7Go de photos, 2005 tenait sur un seul DVD la il me faut 2 DVD.

Bon il est vrai que durant l'année passé j'ai remplacer feu mon Canon A70 par un eos 350D, de ce fait les photos sont plus volumineuse.

Comment fait vous pour archiver vos données ?

Moi pour mes photos, l'année en cours est stocké sur mon portable et mon desktop (vive sitecopy). Les autres années sont sur DVDs, sur un disque dur externe et le desktop.

Salutations

  • # Redondance et sauvegarde...

    Posté par  (site web personnel) . Évalué à 6.

    Ah les photos ! Avec mes mails, voilà qui fait partie des données que je ne voudrais surtout pas perdre.
    L'ensemble de mes photos sont présentes sur le disque dur de ma machine de bureau.

    Une copie est présente sur une seconde machine qui me sert d'archive/ sauvegarde.

    J'en ai également une copie de l'ensemble sur DVD chez moi, et un double de ces DVD chez des amis dans une ville différente. (je refais ces DVD en moyenne tous les 2 mois).

    Paranoïaque, moi ? À peine !

    • [^] # Re: Redondance et sauvegarde...

      Posté par  . Évalué à 3.

      un peu quand même...

      pour ma part :

      je fais un backup de temps en temps des données pas trop importantes (images ou sites copiés depuis internet, musiques etc), mais pour mes fichiers perso, je fais une synchronisation régulière avec unison sur un petit disque usb (en 2"1/2), et moins régulièrement un backup incrémentiel avec rsync sur un autre disque. Et de temps en temps je copie un dvdrw que je laisse à mon travail ou chez mes parents...

      Only wimps use tape backup: real men just upload their important stuff on megaupload, and let the rest of the world ~~mirror~~ link to it

  • # Pour rire...

    Posté par  . Évalué à 2.

    essaye de relire tes DVD des années précèdantes, tu risques d'avoir des surprises, des mauvaises surprises.


    Je sauvegarde sur DVD mais concerne aussi sur un disque dur, ça m'a sauvé des photos archivées ... 12 mois auparavant; et pourtant c'était une bonne marque de DVD.

    Maintenant, je pense sauvegarder sur deux disques durs à deux endroits différents et sur DVD.


    PS: exisye-t-il sous linux un logiciel qui vérifie l'intégritée des données (photos en locurence ?) régulièrement ? Merci.

    • [^] # Re: Pour rire...

      Posté par  . Évalué à 2.

      Pareil, je sauvegardais sur DVD, jusqu'au jour ou je me suis apercu que je ne pouvais pas tous les relires. Depuis, c'est un mini serveur avec disques en RAID + mon pc fixe + portable pour les donnée importantes et pas grosses + DVD gravé lentement (ca donne de meilleurs resultats j'ai remarqué)

      Sinon pour l'integrité des données, un petit md5sum (ou tout autre logiciel calculant les hash) et pour la régularité, un ti cron :)

    • [^] # Re: Pour rire...

      Posté par  . Évalué à 7.

      Le pb, c'est que les disques durs ont aussi une vie limitée : il m'est deja arrivé de mettre un disque dur dans un coin et quand j'ai voulu le reutiliser, il ne voulais plus demarer (tete bloquée ???)...

      Nos données sont de moins en moins pérène : au début on utilisait des materiaux tres stable (pierre (gravure, dessin)), puis moyennement stable (papier) et enfin numerique (magnétique, gravure tres fine)

      • [^] # Re: Pour rire...

        Posté par  (site web personnel) . Évalué à 3.

        Nos données sont de moins en moins pérène : au début on utilisait des materiaux tres stable (pierre (gravure, dessin)), puis moyennement stable (papier) et enfin numerique (magnétique, gravure tres fine)


        Non seulement les supports sont de moins en moins pérennes (notamment pour des raisons de fragilité à l'épreuve du temps), mais en plus, les technologies pour les lire sont de plus en plus sophistiquées... et le format des données pas toujours ouvert.

        La pierre, le papier dont tu parles, sont des formats réellement ouverts ; d'un autre côté, le stockage numérique actuelle n'a pas beaucoup de sens s'il est effectué en utilisant des formats de données propriétaires (genre .doc, .xls, pour ne citer que les plus connus).

        Un blog très intéressant consacré à ce genre de questions : http://formats-ouverts.org/

        • [^] # Re: Pour rire...

          Posté par  . Évalué à 2.

          La pierre, le papier dont tu parles, sont des formats réellement ouverts


          Ah, tiens, tu peux me dire où je trouve la spécification du Linéaire A ( http://fr.wikipedia.org/wiki/Linéaire_A ), par exemple ?

          • [^] # Re: Pour rire...

            Posté par  (site web personnel) . Évalué à 2.

            Il ne faut pas confondre format et ce qu'on en fait. Avec le format (papier+stylo) je peux écrire en francais, comme je peux écrire dans une langue dont je serai le seul à connaitre... Pourtant j'aurais utilisé le même format dans les 2 cas.

            • [^] # Re: Pour rire...

              Posté par  . Évalué à 2.

              Sauf que c'est pas moi qui confond alors, c'est le commentaire précédent qui compare pierre/papier à .xls/.doc. Il devrait comparer pierre/papier à disque dur/DVD, ou écriture particulière (par exemple le Linéaire A, ou le français) à .xls/.doc .

        • [^] # Re: Pour rire...

          Posté par  . Évalué à 2.


          Non seulement les supports sont de moins en moins pérennes (notamment pour des raisons de fragilité à l'épreuve du temps), mais en plus, les technologies pour les lire sont de plus en plus sophistiquées... et le format des données pas toujours ouvert.


          J'ai vu un reportage y a pas mal de temps qui parlait justement du problème lié à la
          sauvegarde de notre patrimoine "littéraire, musicale, video etc etc"...
          Du fait de la dégradation naturel de nos medium de stockage, il serait possible que dans un certains avenir, toutes nos donnés se perdent.

          etc etc...

      • [^] # Re: Pour rire...

        Posté par  (site web personnel) . Évalué à 2.

        ...donc utiliser deux disques ou plus, et alterner le disque de sauvegarde, de façon à ce qu'ils soient régulièrement utilisés (pas intensément, mais régulièrement, ça évite l'usure, ça permet de faire tourner les parties mécaniques de temps en temps et éviter qu'elles ne "collent", et ça permet de détecter tout de suite si un disque est HS pour le remplacer rapidement)...

        Pour la stabilité des matériaux... il me semble que le système d'archivage à ytès lng terme pour les déchets nucléaires a finalement été basé... sur du papier (bon pas le papier bois que l'on achète pour son imprimante, avec de l'encre spéciale).
        Un des avantages de l'analogique (écrits, photos tirées): même dégradé, on réussi à relire.

        Python 3 - Apprendre à programmer dans l'écosystème Python → https://www.dunod.com/EAN/9782100809141

      • [^] # J'oubliais: (tete bloquée ???).

        Posté par  (site web personnel) . Évalué à 3.

        il m'est deja arrivé de mettre un disque dur dans un coin et quand j'ai voulu le reutiliser, il ne voulais plus demarer (tete bloquée ???)...

        Un truc que m'a indiqué un ancien collègue, Philippe Peynot: mettre le disque au four quelques instants (le temps de le monter à 40 ou 50°C) - histoire de dé-figer certaines graisses liées aux parties mobiles - puis le reconnecter.

        J'ai eu le cas sur un disque dur pour un MacPlus... ça a marché (ensuite, transférer les données et balancer [recycler] le disque qui pose problème).


        Note: dans un bête four électrique, éviter absolument le micro-ondes.

        Python 3 - Apprendre à programmer dans l'écosystème Python → https://www.dunod.com/EAN/9782100809141

    • [^] # Re: Pour rire...

      Posté par  (site web personnel) . Évalué à 3.

      "PS: exisye-t-il sous linux un logiciel qui vérifie l'intégritée des données (photos en locurence ?) régulièrement ? Merci."

      Perso, j' opterais pour un checksum md5 du dvd juste après la gravure et vérification périodique du checksum...

  • # Les disques optiques, c'est bof.

    Posté par  (site web personnel) . Évalué à 2.

    Comme certains utilisateurs qui ont commenté ici, j'ai pris pour habitude de ne plus graver sur DVD ou CD le jour où je me suis rendu compte que ces deux supports n'étaient absolument pas fiables pour plusieurs années d'archivage. Qui plus est, il faut bien souvent attraper le DVD, le mettre dans le lecteur, le monter, tout ça, enfin selon les configurations, ça peut être plus ou moins fastidieux (surtout quand vous avez un lecteur de DVD prêt à rendre l'âme)

    Non, moi j'ai trouvé la solution, certes onéreuse, mais tellement plus simple et perenne: le serveur de stockage en RAID 5.
    C'est un investissement, ok, mais un p'tit boitier Synology Cube station par exemple, ça fait pas un bruit, et ça peut stocker jusqu'à 1,5 To en RAID 5 ou 1 To en RAID 1 pour les plus paranos.

    Ca va faire 3-4 mois que je l'ai, absolument aucune plainte à formuler, et quand j'ai besoin de mes données, j'y accède réellement rapidement.

    • [^] # Re: Les disques optiques, c'est bof.

      Posté par  . Évalué à 1.

      et si ta baraque brule ou tu te fais cambrioler ? (choses que je ne te souhaite absolument bien entendu...)

      le DVD ou le CD c'est très bien (tu peux les exporter hors de ton domicile), mais il faut recopier des données sur des nouveaux médias chaque année, par exemple...

      • [^] # Re: Les disques optiques, c'est bof.

        Posté par  (site web personnel) . Évalué à 1.

        Et tu connais beaucoup de gens qui gravent et rangent les CDs et DVDs dans un coffre anti-incendie ou qui envoient ça dans le coffre de leur banque?

        Ca revient au même hein, la majorité des gens gardent leurs DVDs dans une étagère, si la maison brule, l'étagère aussi. Retour à la case départ pour tout le monde :)

        • [^] # Re: Les disques optiques, c'est bof.

          Posté par  (site web personnel) . Évalué à 3.

          Non mais comme un autre commentaire le dit, il suffit de graver 2 exemplaires et d'en enmenner un chez quelqu'un d'autre (parent, ami, autre ...).

          Après tout dépend de l'importance que tu accordes a tes données ...

          • [^] # Re: Les disques optiques, c'est bof.

            Posté par  . Évalué à 2.

            dans ce cas il suffit de faire un gros NAS chez chacun, et de faire du mirroring coopératif ;)
            (tu garde ses données, il garde les tiennent).

            Puis plus cher le raid5 ?
            Je sais pas trop maintenant, que je vois que les dd de 300 Go sont à 90¤ et que ca risque de diminuer encore. Certes les dvd sont moins cher au Go , mais faut splitter les données (on perd en plus de l'espace disque) , il faut maintenir un catalogue à jour, fait bcp de manipulation juste pour récup 11 Go. Bref c'est pas amha la panacée (meme si j'ai un certain nombre d'archive sous dvd ... et a peu prés tout autant avec des erreur de secteurs ... mais j'ai un lecteur un peu bizarre aussi)

  • # Moi je...

    Posté par  . Évalué à 10.

    Moi je regarde le paysage en direct au lieu de le regarder à travers un appareil photo. Ca m'empêche d'avoir trop de photos.

  • # Alors...

    Posté par  (site web personnel) . Évalué à 2.

    En ce qui me concerne :
    Home en Raid 1 sur 2 disques IDE
    + sauvegarde sur dd externe 2,5"
    + pour les images une sauvegarde sur mon portable.

  • # avec un serveur

    Posté par  (site web personnel) . Évalué à 2.

    Chaque jour mon serveur et mon poste de travail s'échangent les /home ( +base mysql pour serveur ) via rsync a travers ssh. Merci cron

    Chaque semaine ( en théorie, parfois moins ) je lance manuellement une copie le contenu de mes fichiers sur un disque dans un boiter USB ( débranché le reste du temps, pour le pas être touché par la surtension du siècle qui va tout griller)

    En fait dans les deux cas rsync fait une copie différentielle.

    Tout est dans le même pièce, donc je ne suis pas protégé des incendies, des effondrements d'immeuble et des cambriolages.

  • # machine dédiée

    Posté par  (site web personnel) . Évalué à 2.

    * tous les soirs ma sauvegarde part avec rsync (il n'envoie que les différences) vers une machine dédiée que je possède avec un pote chez un hébergeur (je l'ai documentée sur Léa [1]).

    * plus des sauvegardes de données sensibles sur disque dur externe.

    les sauvegardes CD/DVD ne sont vraiment pas fiables. rien ne vaut la sauvegarde sur DD, et périodiquement recopie de toutes les données vers un nouveau DD plus gros... (ceci dit le premier disque qui m'ait jamais lâché était un 160 Go qui me servait uniquement aux sauvegardes :-p)

    [1] http://lea-linux.org/cached/index/Les_sauvegardes.html#Exemple_de_sauvegarde_incr.C3.A9mentale_avec_rsync

    • [^] # Re: machine dédiée

      Posté par  . Évalué à 2.

      Petite question, c'est quel hébergeur que vous utilisez ?

  • # Concernant les photos...

    Posté par  (site web personnel) . Évalué à 6.

    J'ai moi aussi été confronté aux problèmes des fichiers de 3Mo du Canon 350D.
    Ça fait toujours un peu mal au coeur de les recompresser...

    Bref, depuis que j'ai cet appareil j'ai fais le choix de garder beaucoup moins de photos.

    Un peu raté ? -> Poubelle. (en passant, c'est facile de rater des photos avec un reflex)
    Pas d'intérêt ? -> Poubelle.
    Doublon avec une autre photo un peu mieux ? -> Poubelle.


    Bref je trie drastiquement. Et en plus de réduire l'espace de stockage nécessaire, ça rends plus agréable les séances de visionnage.

    • [^] # Re: Concernant les photos...

      Posté par  . Évalué à 1.

      J'aimerais que tu m'explique pourquoi tu trouve qu'il est facile de rater une photo avec un reflex...
      j'en utilise personellement depuis 19 ans, et je n'est que rarement raté une photo a cause du cadrage.
      (pour l'exposition, seul des contre-jours ou un sale eclairage neon de merde qui te colore la photo en gris-bleu ou gris-orange selon le modèle de neon...)

      • [^] # Re: Concernant les photos...

        Posté par  . Évalué à 2.

        surex sousex ?
        De toute facon suffit de tout shooter en raw :D
        puis comme ca on peut compresser en ce qu'on veut, y compris en djvu http://fr.wikipedia.org/wiki/DjVu
        changer la balance des blanc, rattraper une légere sous ou surex ;)

      • [^] # Re: Concernant les photos...

        Posté par  (site web personnel) . Évalué à 2.

        Bah je vois 2 raisons principales :
        - La quantité de réglages qui augmente les possibilités de photos mais donc aussi les possibilités de se planter.
        - La faible profondeur de champ qui est intéressante mais donne rapidement des photos flous si on ne fait pas gaffe.

        Je ne dis pas que ce sont des _problèmes_, mais des possibilités de se planter. Je rate plus de photos qu'avec mon appareil précédent, mais c'est sans doute parce que j'expérimente plus de chose.

        On peut aussi utiliser un reflex en le laissant toujours en auto et en faisant gaffe à avoir une grande profondeur de champ, mais pour ce genre d'utilisation ce n'est pas le meilleur choix d'appareil à mon avis.

    • [^] # Re: Concernant les photos...

      Posté par  (site web personnel) . Évalué à 3.

      Il existe aussi 'jpegoptim' qui recompresse sans perte ! J'ai utilisé ça pour faire rentrer les photos des vacances de ma soeur sur un seul CDR (il y avait genre 10 Mo en trop, ça aurait dommage de devoir trier pour si peu de Mo).

  • # et les bandes?

    Posté par  . Évalué à 1.

    est-ce que quelqu'un a déjà testé la sauvegarde sur bande type LTO?

    les lecteurs sont assez chers, mais l'avantage c'est que le support est peu cher et beaucoup plus volumineux et fiable qu'un dvd; ce qui permet d'en faire des doubles pour stocker dans des lieux différents.

    • [^] # Re: et les bandes?

      Posté par  . Évalué à 1.

      Le problème des bandes est le fait qu'elles sont sujettes aux perturbations electromagnétiques. Cela dit, conservées dans de bonnes conditions, ca marche pas trop mal.

      • [^] # Re: et les bandes?

        Posté par  (site web personnel) . Évalué à 2.

        Le problème des bandes est le fait qu'elles sont sujettes aux perturbations electromagnétiques.

        C'est le cas pour tous les supports magnétiques, comme les DD. A moins que tu sous entends qu'elles sont plus sensibles qu'un disque dur ?

        • [^] # Re: et les bandes?

          Posté par  . Évalué à 1.

          Plus ou moins sensible, je ne sais pas. Par contre, ce que je voulais dire c'est que des bandes ne se stockent pas n'importe comment (pas à côté des hauts parleurs d'une chaine hifi par exemple).

    • [^] # Re: et les bandes?

      Posté par  . Évalué à 3.

      Le principal défaut d'un lecteur à bande, est qu'il faut un système qui sauvegarde la machine qui sauvegarde le reste sur bande. En effet si on perd le catalogue qui se trouve sur le serveur de sauvegarde ce sont des heures d'amusement en perspectives pour reconstruire le tout. Ou alors on est bon pour essayer une à une les bandes jusqu'à trouver l'archive qui nous interresse pour pouvoir la sortir. (Et de là on recommence pour voir si le fichier qui nous interresse est bien dans l'archive concernée, et si ce n'est pas le cas ca peut devenir très vite crispant)

      Bref quand on utilise un archivage par bande il ne faut pas oublier de sauvegarder la machine qui fait les bandes sur un autre support.

  • # Un peu de méthode, que diable!

    Posté par  . Évalué à 10.

    Moi j'ai 4 serveurs dédiés, dont 2 qui tournent dans des coffres forts avec alimentation sans-fil, les alimentations étant reliées à une demi-douzaine d'onduleurs chacunes, et ceux-là font des sauvegardes de leur propres contenus dans des ordinateurs infectés par un virus de mon cru!

    Le troisième serveur est chez un peintre que j'ai embauché à plein temps pour reproduire les photos sur des vraies toiles: c'est plus sûr, en cas de guerre atomique si y'a plus d'électricité!
    Le quatrième serveur est chez ma grand-mère, sous son matelas! Elle a mal au dos quand elle dort, mais je lui ai expliqué que c'était pour la bonne cause!

    Tous ces ordinateurs ne sont pas accessibles en écriture depuis l'extérieur, c'est pas assez sûr, et ils ne peuvent pas monter de clé usb (on ne sait jamais), alors je décompose la photo en petits fichiers que je reproduis 50 fois sur des disquettes 3'5 (parce que C pourri les disquettes, il faut de la redondance) et j'emmène les disquettes moi-même, sur chaque serveur (une disquette par voyage, un serveur à la fois), pour ne pas en perdre plusieurs en même temps si on me vole mes valises!

    Les 49 autres disquettes sont dispersées à travers la ville chez toutes mes connaissances, emballées sous scellé (des fois que les connaissances aient l'idée de changer le contenu)

    D'ailleurs, on est déjà le 2, et si je me dépêche pas de prendre ma photo annuelle, j'aurais jamais le temps de finir ma sauvegarde avant l'année prochaine!!

  • # Un Syno...

    Posté par  (site web personnel) . Évalué à 0.

    ...et 4x250Go en Raid5. ça ne protège pas de 2 disques qui crament, mais c'est déjà mieux que sur disque optique.

    http://www.synology.com/enu/products/CS406series/index.php

  • # Disques externes + snapy

    Posté par  (site web personnel) . Évalué à 2.

    J'ai opté pour deux disques durs externes (USB) de 200Go chacun, et l'utilisation de snapy [*].

    Quand j'y pense (la faille est là), je connecte un des deux disques, et je lance snapy. celui-ci est configuré pour backuper ma machine de bureau sur lequel le disque est connecté (mes documents, développements...) ainsi que le serveur via rsync (dépots courriels format Maildir, pages ouebe & co).

    * connexion uniquement lors de la sauvegarde -> diminution des risques électriques, fausse manip & Co.

    * utilisation de 2 disques, un chez moi et un au boulot, et je les échanges de temps en temps -> en cas d'incendie par exemple, ou de vol.


    Bon, l'idéal serait un vrai serveur, ailleurs (accès vie le Net), et un script automatique pour être sûr que c'est fait périodiquement... mais en attendant, mes données sont dupliquées et récupérables facilement.



    [*] http://www.flibuste.net/libre/snapy/
    Un petit script Python qui utilise cp / rsync pour conserver des snapshots des données (sans duplication des fichiers non modifiés).

    Python 3 - Apprendre à programmer dans l'écosystème Python → https://www.dunod.com/EAN/9782100809141

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.