Beurt a écrit 1607 commentaires

  • [^] # Re: Problème de logique

    Posté par  . En réponse au journal Tout le monde déteste les flics !. Évalué à 1.

    Merci pour cette confirmation très efficace de ce que je pensais.

  • [^] # Re: Problème de logique

    Posté par  . En réponse au journal Tout le monde déteste les flics !. Évalué à 2.

    vu que 30% de la population française vote FN

    Gniii ? je ne connais pas les chiffres mais j'ai bien l'impression que tu ne sais pas faire la différence entre suffrages exprimés et population (et si mon impression se confirme, c'est dommage car ça veut dire que tu ne comprends à peu près rien au monde politique).

  • # PPA ?

    Posté par  . En réponse au journal Putain que la route est longue ! ! !. Évalué à 7.

    Je ne comprends pas bien le réflexe de commencer par installer un logiciel qui n’est pas dans la distrib (et donc pas stabilisé par les mainteneurs pour cette distrib) ???

    Au final, si tu avais fait comme Mme Michu tu aurais pris le soft qui est par défaut et ça se serait bien passé du premier coup, non ?

    Sinon (sous Mandrake/driva puis Mageia le tout avec KDE), j’utilise KDEenlive qui depuis quelques années fonctionne très bien. Donc pas trop de souci (pas zéro bugs non plus). Mais, par contre, je n’y connais rien dans le domaine et je ne fais rien de plus exigeant que ce que tu décris dans ton journal (couper des bouts par ci, assembler des clips par là, rajouter parfois des bidules comme du texte ou du son, mais pas grand-chose de plus).

  • [^] # Re: Quel est l'utilisation de ta sauvegarde de sauvegarde?

    Posté par  . En réponse au journal Mon Backup de backup. Évalué à 2.

    J'en suis bien conscient et rsync pose le même souci (en pire semble-t-il à première vue)… Reste qu'il me faut une solution à mon problème.

  • [^] # Re: Quel est l'utilisation de ta sauvegarde de sauvegarde?

    Posté par  . En réponse au journal Mon Backup de backup. Évalué à 1.

    Suite du retour sur le test fait sur un échantillon plus gros…

    14 jours après le lancement du cp -a sur 60% des contenus (~1,3 Go) et pareil pour les hardlinks, seuls environ 400Go ont été copiés avec un rythme très erratique.

    C'est pas très satisfaisant: c'est extrêmement plus lent que sur l'échantillon plus petit, ça prend pas mal de RAM (actuellement, 4Go sont nécessaires), mais surtout, contrairement au rsync il ne faut pas que le processus soit interrompu. Or sur ce type de durées, c'est difficile (bugs, mises à jour, etc.).

    Je me demande si je ne vais pas interrompre ce test pour essayer dd

  • [^] # Re: Quel est l'utilisation de ta sauvegarde de sauvegarde?

    Posté par  . En réponse au journal Mon Backup de backup. Évalué à 1.

    j'ai lancé le cp -a sur environ 60% de l’échantillon il y 14 jours et pour l'instant environ 20% de la taille en octet de cet échantillon a été copiée. Le rythme d'écriture des octets est d'ailleurs assez erratique (100Go d'un coup, puis quelques ko pendant de nombreuses heures, puis à nouveau quelques Go d'un coup…).

  • [^] # Re: Avancée...

    Posté par  . En réponse au journal Mon Backup de backup. Évalué à 2.

    Alors donc je te le dis pas… :-)

    Et je donne le résultat (plus rapide que prévu :-)):

    Inodes   IUsed   IFree IUse%
    365993984 44973429 321020555   13%
    
  • [^] # Re: Avancée...

    Posté par  . En réponse au journal Mon Backup de backup. Évalué à 1.

    le comptage est commencé… je te tiens au courant…

  • [^] # Re: Pourquoi pas deux backups plutôt qu'un backup de backup ?

    Posté par  . En réponse au journal Mon Backup de backup. Évalué à 1.

    Oui, c'est une bonne idée (qui a d'ailleurs déjà été proposée dans un autre commentaire). On pet même imaginer un système de vérification entre les deux supports de la sauvegarde.

  • [^] # Re: méthode brute ?

    Posté par  . En réponse au journal Mon Backup de backup. Évalué à 1.

    Je n'avais initialement pas pensé à dumpe2fs… Si la solution (toute bête !) du cp -a que je teste actuellement avec de premiers succès (https://linuxfr.org/users/beurt/journaux/mon-backup-de-backup#comment-1666984) est une fausse piste, ce sera dans les choses à tester avec zfs et différents types de « pruning ».

  • [^] # Re: Quel est l'utilisation de ta sauvegarde de sauvegarde?

    Posté par  . En réponse au journal Mon Backup de backup. Évalué à 1.

    Premier bilan d'un test de cp -a suivi d'un rsync -aPHS de validation, on dirait bien que tu as raison !

    Comme j’explique aussi ici : https://linuxfr.org/users/beurt/journaux/mon-backup-de-backup#comment-1666984 j'ai repris l’échantillon qui représente 20 % du backup et ça a effectivement pris environ une nuit (en fait 4 h pour le cp et quelques heures pour le rsync).

    Je fais un test en plus grand actuellement (60 % des données/hardlinks).

    Il se pourrait bien que tu aies eu depuis le début la solution…

    (reste à me souvenir pourquoi il y a un an j'ai écarté la solution du cp ???)

  • # Avancée...

    Posté par  . En réponse au journal Mon Backup de backup. Évalué à 2.

    Une petite mise à jour…

    À la suite de vos nombreuses recommandations (merci !), j’ai décidé de tester deux cas :

    1. re-tester cp -a suivi d’un rsync pour valider la copier
    2. essayer avec un find -mtime xxx de récolter les dernières mises à jour et faire un rsync avec

    Pour l’instant, j’en suis au 1. et les résultats sont excellents !

    J’ai testé le cp -a sur le même échantillon que le test de BUP présenté dans le journal (~20 % des octets et des hardlinks) et le cp n’a pris que 4 h le rsync de validation quelques heures aussi.

    Je vais donc tester sur une plus grosse partie du backup (60 % des données et des hardlinks).

    Merci à gUI pour cette piste que j’avais écartée jadis je ne sais plus pourquoi, mais qui semble très prometteuse.

  • [^] # Re: méthode brute ?

    Posté par  . En réponse au journal Mon Backup de backup. Évalué à 1.

    Si ton NAS le supporte, ZFS peut être une solution intéressante, notemment car il permet de faire des envois de snapshots. Au lieu de faire des hardlinks tu pourrais imaginer créer un snapshot incrémental par jour et un snapshot normal hebdomadaire ou mensuel. Tu pourrais ensuite envoyer régulièrement ces snapshots via la commande zfs send sur une ressource externe de ton choix (sans forcément faire un zfs receive) avant de supprimer ceux-ci sur le nas de backup. L'idée serait que la récupération des données ne serait pas immédiates pour les vieilles données mais il faut s'assurer dans ce cas d'avoir toujours de l'espace sur ton nas pour pouvoir recevoir un ancien snap.

    Le(s) NAS ne supporte pas ZFS nativement… mais c'est quand même quelque chose que je vais explorer dès que possible… Merci pour ces détails de mise en œuvre possible.
    (mon souci principal reste la conservation de l'existant…)

  • [^] # Re: méthode brute ?

    Posté par  . En réponse au journal Mon Backup de backup. Évalué à 2.

    Merci pour ces détails qui pourront être utiles à certains.

    En ce qui me concerne, je suis parfaitement au courant de ces subtilités. Je ne cherche pas à mettre en place ce type de dispositif. Je cherche au contraire à être dans un environnement peu contraint pour les utilisateurs. En premier lieu parce que, comme tu l’écris, la contrainte a déjà été tentée et qu’elle ne fonctionne pas du tout. Quels que soient les arguments avancés. Cette distinction sauvegarde/archivage, c’est une distinction de technicien. Ceux dont je fais la sauvegarde ne peuvent ni ne veulent faire cette distinction (c’est d’ailleurs ce que tu expliques).
    À priori, ils préfèrent même ne pas avoir de sauvegarde plutôt que de se casser les pieds avec des machins pareils… sauf le jour où ils se rendent compte qu’ils ont perdu des données : là ils veulent une sauvegarde, là ils sont pour la discipline, le rangement, etc. Ça dure 3 semaines à 3 mois et puis on oublie jusqu’à la prochaine catastrophe.

    Les gens ont effectivement d’autres choses à faire qu’à être vigilants sur leurs assurances. On a des automates, autant les utiliser pour alléger l’attention des humains sur ces aspects dans lesquels ils sont peu efficaces et pour lesquels ils ont peu d’appétit.

    C’est ce que j’essaie de faire. Je suis conscient que le défi n’est pas élémentaire à résoudre (et en plus moi aussi j’ai très peu de temps à y consacrer).

    Mais grâce à ce journal, plusieurs solutions qui semblent viables émergent déjà (en particulier dans ce fil : https://linuxfr.org/users/beurt/journaux/mon-backup-de-backup#comment-1666771)

  • [^] # Re: méthode brute ?

    Posté par  . En réponse au journal Mon Backup de backup. Évalué à 1.

    Backups quotidiens, hebdomadaires, mensuels et annuels (ou semestriels). T'as souvent des demandes de gens qui réclament un fichier qu'ils sont sûrs d'avoir eu sur leur poste entre le 3 janvier et le 26 mars 2013 ?

    La caricature ne m’avance pas beaucoup. Je te donne donc un exemple réel d’utilisation de l’historique du backup. J’avais perdu un document texte (sans doute un effacement un peu agressif de fichiers un jour sans m’en rendre compte). En revenant loin dans l’historique j’ai retrouvé une ancienne version du document texte, puis en avançant dans le temps de l’historique j’ai pu trouver la dernière version du fichier enregistré (et d’ailleurs, par la même occasion, la date de l’effacement fautif et en faisant un diff j’ai pu déterminer qu’il y a avait eu d’autres fichiers que je n’aurais pas dû effacer et les récupérer).

    Tu comptes garder combien de temps leur backups ? 5 ans ? 10 ans ? l'éternité ?

    Tant que j’ai la place, c’est ça le plan.

    À moins que tes moyens soient illimités (ce dont je doute vu le nas tout pourri que tu utilises) à un moment donné tu es obligé de prendre en compte la technique pour définir un service de sauvegarde fiable, notemment la rétention des données sauvegardées et pas le contraire.

    Il ne faut pas exagérer, je prends en compte la technique et des solutions existent. Les posts plus bas le montrent. À mes yeux, le but de la technique c’est de nous servir, pas l’inverse. Certes, il faudra peut-être que je fasse des concessions à la technique, mais pour l’instant, je n’ai pas vraiment eu à le faire et j’aimerais explorer des solutions qui m’évitent d’avoir à le faire.

    Ainsi, j’ai plusieurs pistes intéressantes :

    • des nouvelles comme :
      • dd
      • revenir vers cp -a qui est peut-être suffisant ? (mais qui me pose des soucis à cause de la structure de la sauvegarde : je devrais sans doute combiner avec btrfs pour dédupliquer entre les répertoires à copier)
    • celles que j’envisageais déjà dans le journal :
      • faire un « pruning » lors de la sauvegarde externe en privilégiant les fichiers les plus récents
      • utiliser ZFS ou BTRFS
  • [^] # Re: méthode brute ?

    Posté par  . En réponse au journal Mon Backup de backup. Évalué à 2.

    Il lui faudrait éduquer un tout petit peu ses utilisateurs en leur disant "si c'est pas dans ce dossier ça disparaît" après deux pertes de documents "retaper un CV pour la 3eme fois" la consigne est retenue.

    Tu as peut-être raison, mais j’espère que non :-) J’espère que je pourrais trouver une solution logicielle qui corresponde au besoin de ces utilisateurs et non faire correspondre les utilisateurs à la solution logicielle (cf. https://linuxfr.org/users/beurt/journaux/mon-backup-de-backup#comment-1666807).

  • [^] # Re: Quel est l'utilisation de ta sauvegarde de sauvegarde?

    Posté par  . En réponse au journal Mon Backup de backup. Évalué à 2.

    je vais re-tester, mais à priori ça me paraît impossible (en raison des hardlinks justement).

  • [^] # Re: méthode brute ?

    Posté par  . En réponse au journal Mon Backup de backup. Évalué à 0.

    J’ai déjà fait quelques réponses similaires dans ce fil : https://linuxfr.org/users/beurt/journaux/mon-backup-de-backup#comment-1666770

    La différenciation sauvegarde/archivage est super saine… Mais elle ne résiste pas à l’UX des personnes pour lesquelles je fais cette sauvegarde. Pour elles, le tri entre le bon grain et l’ivraie que tu suggères n’est pas vraiment possible (ou pertinent). Ainsi, elles ne le feront pas elles-mêmes. Je ne peux pas le faire automatiquement moi-même. Le « pruning » que tu suggères est bien la seule solution automatique pour avoir le moins mauvais résultat.

    Mais, je le considère encore trop mauvais. Je dis ça d’expérience puisque dans les cas d’utilisation de ce backup il y a plusieurs cas avec récupération de données assez anciennes.

    Comme j’explique aussi dans un autre fil (https://linuxfr.org/users/beurt/journaux/mon-backup-de-backup#comment-1666771), il serait pourrait bien que je finisse par faire une sorte de « pruning » juste au moment de la sauvegarde externe : c’est-à-dire que je ne sauvegarde sur des disques externes que les données depuis une certaine date, par exemple depuis 1 an (moins sûr qu’un vrai « pruning » qui élimine plutôt des snapshots intermédiaires, mais techniquement plus simple). Néanmoins, je trouve ça dommage… C’est pourquoi j’explore pour savoir si d’autres solutions existent (et il y en a si l’on en croit justement le fil susnommé).

  • [^] # Re: Ton NAS a un problème

    Posté par  . En réponse au journal Mon Backup de backup. Évalué à 3.

    Mon autre commentaire plus haut parle d'une sauvegarde qui contient plusieurs millions de liens durs (non précisé dans le post) sur une machine de puissance ridicule.

    Alors là tu m'épates ! Comment rsync a pu gérer la RAM ? Il y a combien de RAM sur les NAS ?

    L'option -H est connue pour avaler goulument la RAM et tuer les perfs de rsync…
    (dans mon cas personnel on est monté à plus de 20Go de RAM, swappée bien sûr, sur du rsync natif : chroot Debain et non celui du NAS. Idem sur le rsync du QNAP et sur celui du Synology).

  • [^] # Re: Hum ?

    Posté par  . En réponse au journal Mon Backup de backup. Évalué à 3.

    Merci pour la recherche d’une solution…

    je te rajoute un post à lire :

    Comme je l’écrivais en réponse à barmic (juste avant ta réponse), on ne fait pas toujours ce qu’on veut. Je dois sauvegarder les données de plusieurs machines (genre cadre familial), et ce de façon fiable.

    J’utilise donc backintime sur un NAS en RAID 6. C’est bien : ça a permis plusieurs fois à ceux qui perdent leurs données de les retrouver (et c’est arrivé plus de fois que je ne les compte depuis que le truc est en place).

    Cependant, le RAID 6 n’étant pas, comme tu le signales gentiment :-), parfait je voudrais sécuriser cette sauvegarde. Donc, faire une sauvegarde externe.

    Tu dis que je confonds tout et moi je te réponds tu distingues des choses qui ne résistent pas à l’expérience utilisateur : sauvegarde, archivage ? Pour eux, l’important c’est que leurs données soient conservées toutes seules. C’est ce que j’essaie de faire. Pour info, oui, j’ai déjà essayé de leur faire ranger les trucs à archiver dans un répertoire donné : ça ne fonctionne pas (ils oublient, et les trucs importants sont finalement toujours là où il ne faut pas).

    Peut-être que je pêche par manque de rigidité, mais il se trouve que mon expérience dans le monde du logiciel me fait penser que les solutions qui imposent à l’utilisateur des méthodes différentes des leurs donnent de très mauvais résultats. Ainsi, je crois et je soutiens activement les logiciels qui s’adaptent aux utilisateurs (plutôt que l’inverse donc…). Dans ce cas précis : j’ai des gens qui foutent le boxon dans leurs ordis et qui ont besoin d’une sauvegarde. J’essaie de leur donner, sans les forcer à ranger le boxon qu’ils n’arrivent ou ne veulent pas ranger (et pour eux, c’est déjà rangé, d’ailleurs).

  • [^] # Re: Hum ?

    Posté par  . En réponse au journal Mon Backup de backup. Évalué à 1.

    Je m'attendais à une réaction comme la tienne plus tôt. Donc ma réponse toute prête est en deux temps :
    1. j'essaie justement de faire une sauvegarde plus durable de ces données.
    2. ce NAS contient une copie des données (et non un stockage) qui est relativement plus sûre (compte tenu qu'il faut que 2 disques sur 5 foirent en même temps) que si c'était sur un seul disque.

    Revenons au sujet: comment rendre plus sûre cette première sauvegarde ?

  • [^] # Re: Ton NAS a un problème

    Posté par  . En réponse au journal Mon Backup de backup. Évalué à 3.

    Ton test n'est peut-être pas équivalent s'il n'y a pas dans le NAS d'origine des millions de hardlinks. Parce qu'évidemment, c'est ça le fond du problème dans mon cas (c'est pour ça que j'insiste dessus dans l'intro et la conclusion).

    Mais il n'est pas impossible que mon NAS ait un problème : raison de plus pour en sauvegarder le contenu :-)

    Je trouve que les NAS ne sont pas une si mauvaise solution. Leur fermeture peut être pénible, mais on s'arrange (du côté QNAP on peut quand même y faire tourner plein de choses, et du côté de Synology, un chroot Debian assouplit énormément la situation !). Par contre, le matériel est de (très) bonne qualité et surtout, ça m'évite de passer beaucoup de temps dans des trucs dans lesquels je ne veux pas perdre de temps (c'est à dire la plupart des trucs en fait :-)). Avant de les avoir j'ai eu des PC divers et variés pour faire (ça allait de PC de récup à PC spécialement montés pour l'occasion), et je n'ai eu que des merdes jusqu'à, justement, une énorme perte de données.

  • [^] # Re: Externaliser "sous" le FS

    Posté par  . En réponse au journal Mon Backup de backup. Évalué à 0.

    Merci pour les conseils précieux !

    J'utilise le plus souvent l'externalisation par le RAID1 effectivement. C'est limité à la taille d'un disque (mais on trouve des disques externes de 12To comme les Laci 2Big par exemple). Avec cette technique, il n'y a pas vraiment à restaurer quoi que ce soit. En cas de besoin, il suffit de ré-assembler le RAID depuis le disque externe (mdadm --assemble /dev/md127 /dev/sdb1 par exemple). Si on veux réinjecter les données sur le NAS, il suffit d'assembler le RAID1 depuis le disque externe, puis d'ajouter le RAID6 du NAS en tant que membre, et la synchro se fera dans l'autre sens.

    Elle me plait cette méthode, mais si je comprends bien il faut une autre machine RAID spécifiquement pour le backup (dans mon cas, changer le RAID du NAS de backup n'est pas envisageable: tous les slots sont occupés, et je ne peux justement pas en faire une sauvegarde facilement), et le backup ne peut être restauré que dans un contexte très proche (avec un « demi » RAID 1 sous la main).

    J'utilise DRBD aussi entre 2 machines d'un DC, pour avoir de la redondance. C'est la solution la plus complexe je trouve.J'utilise DRBD aussi entre 2 machines d'un DC, pour avoir de la redondance. C'est la solution la plus complexe je trouve.

    Ah ? connais pas… je vais regarder… (ça a l'air d'être pour les barbus à poils longs, moi je suis plutôt à poils courts…)

    Enfin, pour dd, comme pour le RAID, la restauration est très simple: dd te donne une image de ton périphérique block. Tout dépend de la destination de ton dd (tu peux utiliser un autre périphérique block comme destination, ou alors un fichier). Dans tous les cas, il suffit de refaire un dd dans l'autre sens (inversant source et dest) pour "restaurer"

    Pour le dd, je vois aussi deux obstacles :

    • j'ai l'impression que la restauration doit se faire sur la même structure de fs (probablement dans un RAID 6, non ?)
    • il me faut trouver des HD de 4 To pas chers (car dans le NAS de backup il y a les backup de backintime avec leurs hardlinks, mais aussi d'autres backups qui font au total 4To).

    Aussi, autre option possible (et que j'utilise souvent): un autre serveur de sauvegarde, externalisé. Ton serveur local et le distant sauvegardent tous les deux les mêmes jeux de données, sur des créneaux horaires différents. Le premier transfert sera long, mais les suivants pourront profiter de rsync

    Ça, j'aime bien ! mais dans mon cas, c'est le premier rsync qui pose souci. D'ailleurs c'est ce que j'envisageais de faire sur mon disque externe quand le premier rsync aurait été terminé : refaire des rsync réguliers quand je les ramène chez moi.

  • [^] # Re: Quel est l'utilisation de ta sauvegarde de sauvegarde?

    Posté par  . En réponse au journal Mon Backup de backup. Évalué à 1.

    Quelques semaines ça me va aussi… Mais pas plus de 3 mois !

  • [^] # Re: Externaliser "sous" le FS

    Posté par  . En réponse au journal Mon Backup de backup. Évalué à 1.

    Ils sont cool tes 2cts !

    Et finalement tu utilises quoi toi ? Je présume la syncho RAID puisque c'est celle que tu détailles le plus. Du coup la restauration d'un tel backup nécessite sans doute de re-créer un RAID 1 similaire ? (mais justement avec quelle similarité ?)

    Tout le monde insiste sur le « pruning » la solution est donc sans doute du côté d'un backup externalisé seulement de la dernière année. C'est sans doute ce que je vais tenter cette année :-) Je viens de lancer un find avec un mtime 365 pour voir (et ça prend bien son temps !)…

    Le dd me plaît bien aussi, mais c'est pareil je me demande dans quelle mesure c'est restaurable facilement (je ne pratique pas dd).