Et finalement tu utilises quoi toi ? Je présume la syncho RAID puisque c'est celle que tu détailles le plus. Du coup la restauration d'un tel backup nécessite sans doute de re-créer un RAID 1 similaire ? (mais justement avec quelle similarité ?)
Tout le monde insiste sur le « pruning » la solution est donc sans doute du côté d'un backup externalisé seulement de la dernière année. C'est sans doute ce que je vais tenter cette année :-) Je viens de lancer un find avec un mtime 365 pour voir (et ça prend bien son temps !)…
Le dd me plaît bien aussi, mais c'est pareil je me demande dans quelle mesure c'est restaurable facilement (je ne pratique pas dd).
Oui, c'est sûr qu'on pourrait être mieux organisé avec les données. C'est ce que j'essaie de faire avec les miennes.
Mais, la vie est parfois un peu plus complexe que dans le schéma idéal. Et là ce qui est complexe c'est que je ne sauvegarde pas que ma machine. Et je ne peux pas faire raisonner comme ça les autres sur leurs machines (qui sont toutes en bordel). En bref, backintime leur sauvegarde toutes leurs données (sauf les dépôts SVN/GIT, les binaire et notamment les jeux, et autres bricoles comme les VM qui sont exclues).
Le problème bien évoqué par zurvan est la sécurité de ce backup. Le RAID 6 c'est déjà pas mal, mais pas suffisant. Voilà pourquoi j'essaie maintenant de sécuriser tout ça sur des disques externes. Il serait très complexe d'automatiser un tri (compte tenu de la variété des façon de ranger ce qui est sauvegardé). Le seul tri qui est (moyennement) pertinent c'est le « pruning »… si on l'accepte…
ZFS fait partie des choses que je veux tester… Pas anodin à mettre en œuvre sur un NAS (j'ai l'impression qu'il faut des machines plutôt balaises côté RAM+CPU). Mais c'est prévu…
Il faut peut-être que je me repenche sur la question du cp -al.
Il me semble avoir fait des essais puis abandonné, car :
c'était hyper long (j'ai abandonné des semaines après le commencement). Je crains que le problème reste le même que le -H de rsync : maintenir le dico des hardlink/inodes en mémoire.
ça nécessite une validation postérieure pour vérifier que la sauvegarde est conforme.
Tes problèmes de liens symboliques me donnent l'impression que tu ne fais que du backup incrémentale (ou décrémental). C'est vraiment le cas ? Tu as vraiment besoin de garder 6 ans d'historique quotidiens ? Généralement la fréquences des archives diminue avec l'age (quotidien sur la dernière semaine, hebdomadaire sur l'année, mensuel ensuite par exemple avec des durée de rétention limité) ce qui permet de gagner BEAUCOUP de place.
Le problème ne vient pas des liens symboliques, mais des hardlinks.
Oui, je veux garder mes vieilles infos, c’est pour ça que j’en fais la sauvegarde. Le « pruning » ne me ferait pas gagner tant de place que ça, seulement diminuer le nombre de hardlinks.
Pour reprendre : j’ai un backup incrémental de plusieurs machines sur un NAS (donc qui dit incrémental, dit hardlinks). Je veux sécuriser ce backup → copie du contenu du NAS ailleurs. Mais comme au total ça fait des paquets de To, je veux conserver les hardlinks.
tu fais une copie de ce backup sur ton second NAS
C’est exactement ce que je tente de faire : une copie, non incrémentale, de données comprenant de très très nombreux hardlinks.
Le backup se fait via le réseau, sur un disque externe (e-sata).
M'est avis que tu mélanges archivage et sauvegarde, que c'est pas bien et la source de ton problème.
La question que je me poserais d'abord, c'est est-ce que j'ai besoin de tout mon historique des backups depuis les x années que je fais ce rsync ?
Ma réponse est plutôt oui. Je hais de perdre des données, notamment parce que j’en ai déjà perdues (trop).
Programmer leur perte n’est pas vraiment la solution à mon problème : je cherche à sécuriser ma sauvegarde ! Voilà pourquoi je ne pratique volontairement pas non plus le « pruning »…
(De toute façon la quantité de données gagnée de cette façon est marginale, par contre pas le nombre de hardlinks !)
Personnellement, en dehors d'une zone distincte qui est archivée séparément (avec notemment des scans de papiers importants et photos/vidéos), je fais des purges régulières de mes backups. Je pars du principe que si je ne suis pas capable de me rappeler ce à quoi j'avais accès il y'a X mois, alors ça ne me sert à rien de les garder car je ne saurais pas qu'elles sont dans mes backups dans plusieurs années et ne chercherai jamais à les restorer.
As-tu testé de dupliquer ton filesystem avec dd tout simplement ? ça implique au minimum de mettre tes points de montage en readonly et du coup de mettre en pause tes backups mais j'imagine qu'en quelques jours ce serait réglé.
Non, je n’ai pas (encore) pensé au dd, ça pourrait être une idée… À voir comment un dd de machine RAID pourrait se restaurer dans une éventuelle autre config…
Le débit est effectivement très faible… Ce n’est pas du débit pur, sachant que pour les hardkinks il faut stocker une sorte de dico des inodes en mémoire. En fait, j’ai l’impression qu’il diminue fortement avec le temps (sans doute dès qu’il utilise le swap ???)
Hélas, je ne me souviens pas de tout ce que j’ai essayé ! Mais il me semble bien avoir commencé par un cp -al, qui prenait aussi son temps, mais que j’ai interrompu pour profiter des différents avantages de rsync (le contrôle en particulier).
J’ai fait des tests sans -H (mais ils étaient un peu vains, car je n’avais pas la place dispo pour tout sauvegarder). Je me souviens que c’était plus performant. Je sais plus si j’ai essayé le sans le -S… Je vais peut-être refaire des tests sans -S…
Bon, sinon je ne suis pas entré à fond dans les détails, car il est vrai que la config est un peu alambiquée !
Le NAS de backup, qui ne fait exclusivement que du backup est un QNAP TS-509 Pro (Celeron 1,6 Ghz + 1 Go RAM)… Il est relié en NFS à mon réseau local où (et c’est là que ça se complique) un autre NAS (Synology DS713+ core duo 2.13Ghz + 2Go de RAM) fait le rsync sur un disque (SATA HD 7200 tr/min) relié en e-sata.
Pourquoi aussi compliqué ? Parce que le résultat était encore plus lent en faisant directement depuis le NAS de backup (et en plus les nouveaux backups devenaient eux aussi interminables).
Je préfère ne pas faire un backup dans les nuages pour trois raisons (dans le désordre) :
faut tout chiffrer, et sur mon NAS ça va prendre des siècles
il va me falloir plein de To si les hardlinks ne sont pas maintenus → coût exorbitant
je n'aime pas trop l'idée de laisser mes données à d'autres (je tente de m’auto-héberger quand c'est à ma portée).
Pour ce qui est des bandes : le coût est beaucoup trop élevé pour moi… Les disques durs sont plus à ma portée (même plusieurs), laissés chez des proches très distants…
Est-ce que tu sous-entendais que la fonction publique en France fonctionne plus mal (en terme de rapport coût/objectif à atteindre ?) que le privé (en raison «d'humains qui roulent pour leur pomme») ?
j'utilise beaucoup le data de free, y compris en tethering en particulier à Paris, Lyon et ailleurs, sans de soucis particuliers à deux exceptions notables près pour le data: quasi rien ne fonctionne dans le TGV, et rien du tout dans le métro…
pas de moyen de visualiser l'arborescence que ça représente, aucun moyen de voir si modifier quelque chose d'un style père va impliquer un modification des styles fils, aucun moyen de lier les style de texte à des style de paragraphe, utiliser un style demande toujours pas mal d'actions,…
Tu connais un logiciel de traitement de texte qui fait ça ?
Alors que toi une fois que les distributions incluront ce genre d'outils par défaut tu nous expliquera que gramalec c'est à des années-lumières de ce que fais l'outil de MS et que les gens qui te répondent sont dans des tours d'ivoire etc, etc (tu ne trouve pas ça fatiguant ?).
Je tiens à dire que Language Tool (je n’ai pas vraiment essayé à fond grammalecte) est vraiment meilleur que le correcteur grammatical de Word (qui reste une belle bouse quand même). De ce côté donc, les produits Libres n’ont rien à envier à MS. Bien sûr, Antidote c’est vraiment au-dessus de tout ça !
(Sans parler de de l’affirmation débilement trollistique initiale : « Sinon, objectivement, la suite Microsoft est encore à des années-lumière de LibreOffice. », pour avoir l'obligation d’utiliser MS Word assez souvent, si je reviens systématiquement avec bonheur à LO, c’est bien parce que Word est vraiment mal foutu… Notamment ce bandeau ergonomiquement inadmissible…)
Merci beaucoup, c'est super clair et ça donne de nombreuses pistes d'expérimentation ! Du boulot en perspective (il ne reste plus qu'à trouver le temps ! :-))
Je ne me suis encore jamais penché sur XMPP, mais ce que tu présentes a l'air bien sympa, si j'y comprenais quelque chose :-)
Justement, il s'avère que depuis peu je me demande comment faire du microblogging décentralisé (mais aussi sélectif : microblogguer avec un groupe de personnes défini)… Et si je te comprends bien vous avez simplifié la façon de l'implémenter avec XMPP ?
Si c'est ça, peux-tu expliquer aux noobs comme moi ce qu'il faudrait mettre en place pour pouvoir l'utiliser ? (si c'est possible dès maintenant…)
Peut-on utiliser un serveur jabber parmi ceux qui sont sur le wiki ou faut il un serveur sur lequel on a la main (quelques commentaires du journal sont troublants et il me semble y lire que les choses peuvent se faire au niveau du client seulement ??? Ou je pige vraiment rien ?)
Peut-on utiliser un client jabber classique ? Je comprends que non (c'est ça ?). Quels sont les clients spécifiques qui implémentent ou implémenteraient ça ? Seulement SÀT¹ ?
¹ Mais si je comprends bien SÀT nécessite aussi un serveur web…
En termes de nuisances visuelles, uBlock semble, après quelques heures d'utilisation, apporter le même confort qu'ABE.
En termes de confidentialité, c'est difficile à dire si uBlock équivaut à Ghostery. En première approche, uBlock permet aussi de virer les invasifs +1 de Google et autres boutons Facebook, mais je ne peux en dire plus car je n'ai rien mesuré. Néanmoins, je préfère utiliser uBlock qui est libre que Ghostery (indépendamment de l'efficacité).
Je ne connaissais pas uBlock que je viens d'installer dans mon FF 31.6 pour remplacer le couple AdBlock Edge - Ghostery (ce dernier étant proprio) avec il est vrai, au premier abord, une réelle sensation de fluidité (sachant que je n'ai toujours pas redémarré FF, j'ai juste désactivé les 2 anciens et activé le nouveau et on sent déjà la différence).
[^] # Re: Quel est l'utilisation de ta sauvegarde de sauvegarde?
Posté par Beurt . En réponse au journal Mon Backup de backup. Évalué à 1.
Quelques semaines ça me va aussi… Mais pas plus de 3 mois !
[^] # Re: Externaliser "sous" le FS
Posté par Beurt . En réponse au journal Mon Backup de backup. Évalué à 1.
Ils sont cool tes 2cts !
Et finalement tu utilises quoi toi ? Je présume la syncho RAID puisque c'est celle que tu détailles le plus. Du coup la restauration d'un tel backup nécessite sans doute de re-créer un RAID 1 similaire ? (mais justement avec quelle similarité ?)
Tout le monde insiste sur le « pruning » la solution est donc sans doute du côté d'un backup externalisé seulement de la dernière année. C'est sans doute ce que je vais tenter cette année :-) Je viens de lancer un find avec un mtime 365 pour voir (et ça prend bien son temps !)…
Le dd me plaît bien aussi, mais c'est pareil je me demande dans quelle mesure c'est restaurable facilement (je ne pratique pas dd).
[^] # Re: Hum ?
Posté par Beurt . En réponse au journal Mon Backup de backup. Évalué à 0.
Oui, c'est sûr qu'on pourrait être mieux organisé avec les données. C'est ce que j'essaie de faire avec les miennes.
Mais, la vie est parfois un peu plus complexe que dans le schéma idéal. Et là ce qui est complexe c'est que je ne sauvegarde pas que ma machine. Et je ne peux pas faire raisonner comme ça les autres sur leurs machines (qui sont toutes en bordel). En bref, backintime leur sauvegarde toutes leurs données (sauf les dépôts SVN/GIT, les binaire et notamment les jeux, et autres bricoles comme les VM qui sont exclues).
Le problème bien évoqué par zurvan est la sécurité de ce backup. Le RAID 6 c'est déjà pas mal, mais pas suffisant. Voilà pourquoi j'essaie maintenant de sécuriser tout ça sur des disques externes. Il serait très complexe d'automatiser un tri (compte tenu de la variété des façon de ranger ce qui est sauvegardé). Le seul tri qui est (moyennement) pertinent c'est le « pruning »… si on l'accepte…
[^] # Re: Hum ?
Posté par Beurt . En réponse au journal Mon Backup de backup. Évalué à 0.
Oui, mon but est la sécurisation…
Et oui, pour l'instant j'ai un problème de sécurisation physique que j'essaie justement de résoudre par le backup sur disque externe.
Mais j'ai du mal à me résoudre au « pruning »… Pour moi c'est une sorte d'échec de ma solution de sauvegarde…
C'est pourquoi j'envisage une sorte de « pruning » light qui consiste à ne sauvegarder que les fichiers les moins anciens (idées : https://coolaj86.com/articles/how-to-rsync-files-by-date-or-by-size.html) sur le disque externe (c'est la solution que je présente dans le journal)…
[^] # Re: Quel est l'utilisation de ta sauvegarde de sauvegarde?
Posté par Beurt . En réponse au journal Mon Backup de backup. Évalué à 1.
Je ne suis pas sûr, mais je pense qu'un
cp -apar lots fera perdre le bénéfice des hardlinks (entre les fichiers qui sont dans des lots différents).Mais j'ai prévu de tester à nouveau le
cp -ace soir… Je vous dirais dans 1 an là où ça en est :-)[^] # Re: Hum ?
Posté par Beurt . En réponse au journal Mon Backup de backup. Évalué à 0.
ZFS fait partie des choses que je veux tester… Pas anodin à mettre en œuvre sur un NAS (j'ai l'impression qu'il faut des machines plutôt balaises côté RAM+CPU). Mais c'est prévu…
[^] # Re: méthode brute ?
Posté par Beurt . En réponse au journal Mon Backup de backup. Évalué à 1. Dernière modification le 25 juillet 2016 à 16:03.
Certes, c'est possible (en tout cas c'est ce que j'imagine)… Mais c'est aussi un de mes buts (sécuriser les données).
[^] # Re: Quel est l'utilisation de ta sauvegarde de sauvegarde?
Posté par Beurt . En réponse au journal Mon Backup de backup. Évalué à 2.
Il faut peut-être que je me repenche sur la question du
cp -al.Il me semble avoir fait des essais puis abandonné, car :
-Hde rsync : maintenir le dico des hardlink/inodes en mémoire.Je vais sans doute refaire des tests avec cp…
[^] # Re: Hum ?
Posté par Beurt . En réponse au journal Mon Backup de backup. Évalué à 0.
Le problème ne vient pas des liens symboliques, mais des hardlinks.
Oui, je veux garder mes vieilles infos, c’est pour ça que j’en fais la sauvegarde. Le « pruning » ne me ferait pas gagner tant de place que ça, seulement diminuer le nombre de hardlinks.
Pour reprendre : j’ai un backup incrémental de plusieurs machines sur un NAS (donc qui dit incrémental, dit hardlinks). Je veux sécuriser ce backup → copie du contenu du NAS ailleurs. Mais comme au total ça fait des paquets de To, je veux conserver les hardlinks.
C’est exactement ce que je tente de faire : une copie, non incrémentale, de données comprenant de très très nombreux hardlinks.
[^] # Re: méthode brute ?
Posté par Beurt . En réponse au journal Mon Backup de backup. Évalué à 1.
J’ai un peu répondu ci-dessus : https://linuxfr.org/users/beurt/journaux/mon-backup-de-backup#comment-1666715
Le backup se fait via le réseau, sur un disque externe (e-sata).
Ma réponse est plutôt oui. Je hais de perdre des données, notamment parce que j’en ai déjà perdues (trop).
Programmer leur perte n’est pas vraiment la solution à mon problème : je cherche à sécuriser ma sauvegarde ! Voilà pourquoi je ne pratique volontairement pas non plus le « pruning »…
(De toute façon la quantité de données gagnée de cette façon est marginale, par contre pas le nombre de hardlinks !)
Non, je n’ai pas (encore) pensé au dd, ça pourrait être une idée… À voir comment un dd de machine RAID pourrait se restaurer dans une éventuelle autre config…
[^] # Re: .
Posté par Beurt . En réponse au journal Mon Backup de backup. Évalué à 1.
Le débit est effectivement très faible… Ce n’est pas du débit pur, sachant que pour les hardkinks il faut stocker une sorte de dico des inodes en mémoire. En fait, j’ai l’impression qu’il diminue fortement avec le temps (sans doute dès qu’il utilise le swap ???)
Hélas, je ne me souviens pas de tout ce que j’ai essayé ! Mais il me semble bien avoir commencé par un
cp -al, qui prenait aussi son temps, mais que j’ai interrompu pour profiter des différents avantages de rsync (le contrôle en particulier).J’ai fait des tests sans
-H(mais ils étaient un peu vains, car je n’avais pas la place dispo pour tout sauvegarder). Je me souviens que c’était plus performant. Je sais plus si j’ai essayé le sans le-S… Je vais peut-être refaire des tests sans-S…Bon, sinon je ne suis pas entré à fond dans les détails, car il est vrai que la config est un peu alambiquée !
Le NAS de backup, qui ne fait exclusivement que du backup est un QNAP TS-509 Pro (Celeron 1,6 Ghz + 1 Go RAM)… Il est relié en NFS à mon réseau local où (et c’est là que ça se complique) un autre NAS (Synology DS713+ core duo 2.13Ghz + 2Go de RAM) fait le rsync sur un disque (SATA HD 7200 tr/min) relié en e-sata.
Pourquoi aussi compliqué ? Parce que le résultat était encore plus lent en faisant directement depuis le NAS de backup (et en plus les nouveaux backups devenaient eux aussi interminables).
[^] # Re: Quel est l'utilisation de ta sauvegarde de sauvegarde?
Posté par Beurt . En réponse au journal Mon Backup de backup. Évalué à 5.
Je préfère ne pas faire un backup dans les nuages pour trois raisons (dans le désordre) :
Pour ce qui est des bandes : le coût est beaucoup trop élevé pour moi… Les disques durs sont plus à ma portée (même plusieurs), laissés chez des proches très distants…
[^] # Re: Bilan
Posté par Beurt . En réponse au journal Free Mobile: C'est quoi leur projet?. Évalué à 1.
Comment ça rien ?
Ne pas virer ses employés = ne rien faire ?
[^] # Re: Bilan
Posté par Beurt . En réponse au journal Free Mobile: C'est quoi leur projet?. Évalué à 2.
Est-ce que tu sous-entendais que la fonction publique en France fonctionne plus mal (en terme de rapport coût/objectif à atteindre ?) que le privé (en raison «d'humains qui roulent pour leur pomme») ?
Si c'est le cas, j'ai un peu du mal à y croire…
[^] # Re: Bilan
Posté par Beurt . En réponse au journal Free Mobile: C'est quoi leur projet?. Évalué à 4.
Je sais pas ce que tu veux dire par ainsi de suite, mais je pense que les fonctionnaires c'est très bien justement dans ce cas !
[^] # Re: ex-Free
Posté par Beurt . En réponse au journal Free Mobile: C'est quoi leur projet?. Évalué à 4.
j'utilise beaucoup le data de free, y compris en tethering en particulier à Paris, Lyon et ailleurs, sans de soucis particuliers à deux exceptions notables près pour le data: quasi rien ne fonctionne dans le TGV, et rien du tout dans le métro…
Je dois être une exception de plus à la règle…
[^] # Re: Firefox Hello : vos ressentis
Posté par Beurt . En réponse à la dépêche Sortie de Firefox 39 . Évalué à 1.
D'ailleurs, Hello n'est pas non plus dispo dans les version ESR. Est-ce que quelqu'un sait pourquoi ?
[^] # Re: patapay
Posté par Beurt . En réponse à la dépêche Sortie de Mageia 5, la magie continue !. Évalué à 0.
De plus que… quoi ?
[^] # Re: OK, mais comparaison douteuse...
Posté par Beurt . En réponse au journal LibreOffice vs Apache OpenOffice. Évalué à 1.
Tu connais un logiciel de traitement de texte qui fait ça ?
[^] # Re: Tu étais où ces derniers temps ?
Posté par Beurt . En réponse au journal LibreOffice vs Apache OpenOffice. Évalué à 4. Dernière modification le 06 juin 2015 à 12:46.
Je tiens à dire que Language Tool (je n’ai pas vraiment essayé à fond grammalecte) est vraiment meilleur que le correcteur grammatical de Word (qui reste une belle bouse quand même). De ce côté donc, les produits Libres n’ont rien à envier à MS. Bien sûr, Antidote c’est vraiment au-dessus de tout ça !
(Sans parler de de l’affirmation débilement trollistique initiale : « Sinon, objectivement, la suite Microsoft est encore à des années-lumière de LibreOffice. », pour avoir l'obligation d’utiliser MS Word assez souvent, si je reviens systématiquement avec bonheur à LO, c’est bien parce que Word est vraiment mal foutu… Notamment ce bandeau ergonomiquement inadmissible…)
[^] # Re: Précisions pour les noobs ?
Posté par Beurt . En réponse au journal XMPP et (micro)blogage: la donne a changé. Évalué à 1.
Merci beaucoup, c'est super clair et ça donne de nombreuses pistes d'expérimentation ! Du boulot en perspective (il ne reste plus qu'à trouver le temps ! :-))
# Précisions pour les noobs ?
Posté par Beurt . En réponse au journal XMPP et (micro)blogage: la donne a changé. Évalué à 2.
Je ne me suis encore jamais penché sur XMPP, mais ce que tu présentes a l'air bien sympa, si j'y comprenais quelque chose :-)
Justement, il s'avère que depuis peu je me demande comment faire du microblogging décentralisé (mais aussi sélectif : microblogguer avec un groupe de personnes défini)… Et si je te comprends bien vous avez simplifié la façon de l'implémenter avec XMPP ?
Si c'est ça, peux-tu expliquer aux noobs comme moi ce qu'il faudrait mettre en place pour pouvoir l'utiliser ? (si c'est possible dès maintenant…)
Peut-on utiliser un serveur jabber parmi ceux qui sont sur le wiki ou faut il un serveur sur lequel on a la main (quelques commentaires du journal sont troublants et il me semble y lire que les choses peuvent se faire au niveau du client seulement ??? Ou je pige vraiment rien ?)
Peut-on utiliser un client jabber classique ? Je comprends que non (c'est ça ?). Quels sont les clients spécifiques qui implémentent ou implémenteraient ça ? Seulement SÀT¹ ?
¹ Mais si je comprends bien SÀT nécessite aussi un serveur web…
[^] # Re: uBlock ça roxe !
Posté par Beurt . En réponse au journal Quelques actualités concernant Firefox et FirefoxOS. Évalué à 1.
Voilà encore une belle découverte, merci !
Je teste !
[^] # Re: uBlock ça roxe !
Posté par Beurt . En réponse au journal Quelques actualités concernant Firefox et FirefoxOS. Évalué à 3.
En termes de nuisances visuelles, uBlock semble, après quelques heures d'utilisation, apporter le même confort qu'ABE.
En termes de confidentialité, c'est difficile à dire si uBlock équivaut à Ghostery. En première approche, uBlock permet aussi de virer les invasifs +1 de Google et autres boutons Facebook, mais je ne peux en dire plus car je n'ai rien mesuré. Néanmoins, je préfère utiliser uBlock qui est libre que Ghostery (indépendamment de l'efficacité).
# uBlock ça roxe !
Posté par Beurt . En réponse au journal Quelques actualités concernant Firefox et FirefoxOS. Évalué à 5.
Merci !
Je ne connaissais pas uBlock que je viens d'installer dans mon FF 31.6 pour remplacer le couple AdBlock Edge - Ghostery (ce dernier étant proprio) avec il est vrai, au premier abord, une réelle sensation de fluidité (sachant que je n'ai toujours pas redémarré FF, j'ai juste désactivé les 2 anciens et activé le nouveau et on sent déjà la différence).
On verra à l'usage !