Forum Linux.debian/ubuntu RSync : backup en réseau et load trop élevé : > 10

Posté par  (site web personnel) .
Étiquettes : aucune
0
2
mar.
2008
Bonjour,

J'ai installé rsync sur un serveur local à domicile pour pouvoir faire des backup en réseau. Il y a deux pc qui font des backup, pour l'un des deux, il y a 2Go de data backupé et l'autre, 32 Go. Le problème c'est que lors du backup, le load du serveur monte régulièrement jusque 11, ce qui est beaucoup je trouve.

Ma question est donc : est-ce qu'il y a moyen de configurer rsync pour lui donner des limites dans l'utilisation faite des ressources, ou encore existe-t'il des options permettant d'en améliorer les performances ?

Merci.
  • # Nice question

    Posté par  . Évalué à 2.

    rsync utilise beaucoup le processeur et la mémoire. Le système de fichiers est assez sollicité également. La limitation de vitesse vient en général du processeur. Enfin *des* processeurs puisque le client autant que le serveur font presque la même chose.

    Pour résoudre ton problème intellectuel: man nice

    De là à savoir si c'est un problème "physique"...
    Une charge à 11 ne veut pas dire grand'chose. J'ai fait il y a peu un test en lançant 1000 fois un script sur une machine. La charge était aux alentours de 980 et pourtant la machine répondait parfaitement bien.

    La seule chose qui indique si la charge est trop forte, c'est ton impression lorsque tu l'utilises. Si tes applications rament trop pour ton goût alors c'est trop chargé. Et ton voisin aura une opinion différente. Si c'est une machine qui n'est pas utilisée interactivement alors il n'y a peut-être même pas de limite supérieure.
    • [^] # Re: Nice question

      Posté par  (site web personnel) . Évalué à 1.

      Il faudrait que je vérifie si la machine répond bien ou non (en fait j'en sais rien car ce backup est une tache cron qui s'éxecute quand je vais manger, donc ...).
      • [^] # Re: Nice question

        Posté par  . Évalué à 3.

        La charge était aux alentours de 980 et pourtant la machine répondait parfaitement bien

        c'était un pic de charge, ou une charge moyenne donnée par top, par ex :
        load average: 0.39, 0.20, 0.18

        chez moi avec 1 de charge, c'est déjà bcp, 2 => 5 la machine ne répond pas bien, au dessus de 10 il faut attendre avant de pouvoir faire qque chose. Je ne sais même pas si tu pourrais lancer la commande top avec 980 de charge moyenne :)

        Only wimps use tape backup: real men just upload their important stuff on megaupload, and let the rest of the world ~~mirror~~ link to it

        • [^] # Re: Nice question

          Posté par  . Évalué à 0.

          Tu postes n'importe quoi juste pour le plaisir ?

          Si ta machine ne répond pas bien avec du 5 c'est que tu as un sérieux problème.

          Pendant que je tape cette réponse, j'ai lancé 13 fois la commande suivante:
          cat /dev/urandom > md5sum &
          Ca me donne une charge de 13.63
          Et pourtant je bascule comme d'habitude d'un onglet à l'autre, d'une fenêtre à l'autre.

          J'en relance 7 de plus pour voir: une minute plus tard, la charge est à 19.90
          Logique que chaque lancement de cette ligne de commande augmente la charge d'un point puisque chacun de ces processus a tendance à utiliser 100% du processeur.
          A presque 20 de charge ça *commence* à ralentir. Je lance Thunderbird sans problème mais c'est un tantinet plus lent pour visualiser les messages. AMD 64 X2 4000.

          Et pourquoi veux-tu que je ne puisse pas lancer top avec une charge à 990 ? J'ai écrit (en français, tu devrais pouvoir comprendre) que la machine répondait parfaitement bien.
          J'étais en ssh à plus de 100 km de là, j'avais une session ouverte avec mpstat, une autre pour lancer des scripts supplémentaires et une troisième qui me permettait de vérifier avec mes amis ps et grep le pourcentage de sous-shells, de sessions expect et autres. Avec mon chti Firefox je faisais des extractions PHP/MySQL des plusieurs secondes qui n'étaient pas DU TOUT ralenties (c'était le but du test, j'ai mis 1000 scripts juste par curiosité). Core2Duo E6750.

          Donc 990 de charge, no problemo.

          J'ai fait le même genre de test sur une machine qui sert de passerelle/vpn pour vérifier si les flux réseaux sont ralentis en cas de forte charge. Avec une charge de 15 la latence du vpn augmente de seulement 3 ms entre deux sites reliés en ADSL. Pentium IV 1.7 Ghz.
          • [^] # Re: Nice question

            Posté par  . Évalué à 3.

            déjà ce genre processus prend moins de ressource mémoire que les choses habituelles que l'on a lorsque la charge monte beaucoup.
            Ensuite, chez moi avec une dizaine de processus cat /dev/urandom > md5sum &, cela rend la machine bien saccadée. Après, le ventilateur s'est mis à souffler comme un fou, j'ai tué les cat, mais après je n'ai plus eu accès à la souris ni au clavier, et j'ai été quitte pour un reboot via ssh.
            sinon cela te donne quoi ça en bash :(){ :|:& };: ? Ça te fait toujours une charge acceptable ?

            Only wimps use tape backup: real men just upload their important stuff on megaupload, and let the rest of the world ~~mirror~~ link to it

      • [^] # Re: Nice question

        Posté par  . Évalué à 3.

        Si ça se lance lorsque tu n'es pas présent, je ne saisi pas bien où est le problème :-)

        Fais la bosser cette faignasse.
        • [^] # Re: Nice question

          Posté par  (site web personnel) . Évalué à 1.

          Le seul problème c'est que la machine est pas toute jeune, ça n'as aucun impact par rapport à son utilisation mais j'éspère juste que ça risque pas de la faire claquer plus vite (d'ou ma question dans le but de la ménager disont). Bon, toujours est-il que le backup est fait sur un disque dur récent, ce qui augmente sa fiabilité.
  • # bwlimit

    Posté par  . Évalué à 1.

    Je sais que c'est pas la solution à ton soucis, mais ça peut aider quand même...

    man rsync:
    --bwlimit=KBPS

    Si tu limites la bande passante, je suppose que ça va par effet de bord réduire l'utilisation CPU.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.