Forum Linux.général rsync, out of memory et nombre de fichiers

Posté par (page perso) . Licence CC by-sa
Tags : aucun
2
6
mai
2014

Bonjour à tous, pour faire le backup de mes serveurs j'utilise Backuppc avec la méthode rsyncd mais sur un serveur je rencontre un problème de timeout.

La construction de la liste et le transfert commence bien mais au bout d'un moment le processus Backuppc_dump occupe toute la mémoire (6Go), le serveur de backupc commence à swaper et la c'est la catastrophe… Après plusieurs minutes le processus backuppc_dump ne fait plus rien et ensuite intervient le timeout défini en paramètre par rsync.

J'ai fais un strace sur le serveur que je sauvegarde et voila ce que j'obtiens :

    [... Avant la copie se passe bien... ]
    select(4, [3], [3], [3], {60, 0})       = 1 (out [3], left {60, 0})
    write(3, "\235\343\0\7M,\354Zys\333\306\25\377\237\237\342\211\243\32d\206\"%9IkI\224\302X\224"..., 58273) = 58273
    select(4, [3], [], [3], {60, 0})        = 0 (Timeout)
    select(4, [3], [], [3], {60, 0})        = 0 (Timeout)
    select(4, [3], [], [3], {60, 0})        = 0 (Timeout)
    select(4, [3], [], [3], {60, 0})        = 0 (Timeout)
    select(4, [3], [], [3], {60, 0})        = 0 (Timeout)
    select(4, [3], [], [3], {60, 0})        = 0 (Timeout)
    select(4, [3], [], [3], {60, 0})        = 0 (Timeout)
    [...]

Et côté backuppc j'ai un out of memory… Le message est clair. Pourtant je n'ai pas l'impression d'avoir autant de fichiers à sauvegarder (118 751) pour une taille totale de 9,1G.

J'ai vue le paramètre --no-inc-recursive pour rsync mais c'était pour les versions antérieurs à 3.0.0 et je suis en 3.1.0.

Est-ce que vous avez une idée ou même déjà rencontré ce problème ?

Merci d'avance.

  • # gros fichier ?

    Posté par . Évalué à 2.

    J'ai eu un cas similaire, rsync prenait toute la mémoire jusqu'à l'OOM en tentant de copier un gros fichier (plus gros que la mémoire dispo).
    Dans mon cas, je n'avais pas besoin de le copier, je l'ai simplement exclu et le problème ne s'est pas reproduit. Je n'ai pas regardé plus loin du coup.

    • [^] # Re: gros fichier ?

      Posté par (page perso) . Évalué à 2.

      Malheureusement c'est de façon aléatoire et je n'ai pas de fichier qui dépasse les 6Go, au plus ils font 15Mo.

      Born to Kill EndUser !

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.