Forum général.général Sauvegarde P2P

Posté par  .
Étiquettes : aucune
2
24
jan.
2009
Bonjour,

j'aimerais utiliser un système pour transférer des fichiers volumineux (des sauvegardes) via des liaisons ADSL. Pour le moment je découpe les fichiers en tranche de 100 Mo et je fais une somme de contrôle sur l'ensemble. Le tout avec un script shell. Ca fonctionne bien mais je suis sûr que ça existe tout fait et bien plus souple.

Il faut que ça supporte les déconnexions, les machines inaccessibles, bref les aléas informatiques. Les fichiers font au minimum 10 Go donc ça met pas mal de temps à transiter car j'ai des liaisons pas fameuses :)

Dans l'idéal je me dit qu'un logiciel en ligne de commande genre emule serait parfait: j'indique la liste des fichiers à envoyer ou recevoir et sa se débrouille tranquille-Mimile pendant 2 ou 3 jours. Le tout se pilote facilement avec un script pour modifier le noms des fichiers une fois par semaine par exemple.

Je ne trouve malheureusement que des logiciels avec interface graphique. Pour sauvegarder des choses automatiquement ce n'est pas pratique. J'ai pense à BitTorrent car il existe le nécessaire en ligne de commande. Ca complique un peu.

Quelqu'un connaît un logiciel en ligne de commande (et libre) permettant les transferts via des connexions non fiables ?

  • # Partager pour qui ?

    Posté par  (site web personnel) . Évalué à 2.

    Salut,

    Ce sont des fichiers que tu veux partager à tout le monde ou à quelqu'un de précis ?
    Tu peux très bien faire un simple serveur ftp ou sftp ou http pour partager tout ça.

    • [^] # Re: Partager pour qui ?

      Posté par  . Évalué à 0.

      J'ai pensé a la même chose.
      Pourquoi du multipart de 100 Mo, c'est du warez en .rar ? :p
      Moi je laisserais le fichier en un seul morceau, un serveur ftp ou http, et tu mets un script genre :

      ps aux | grep wget , si ya rien
      wget -c ton url

      Dans un cron toutes les 10 minutes et ça devrais rouler.

      • [^] # Re: Partager pour qui ?

        Posté par  (site web personnel) . Évalué à 4.

        Vous savez lire les mecs ?

        des fichiers volumineux (des sauvegardes)

        Le tout avec un script shell. Ca fonctionne bien


        il cherche une solution hein, pas un wget dans un coin, ça il fait déja.

        gremous, quand tu parle de p2p, c'est pour l'histoire de "récupérer là où ça en est" si y a une coupure ?

        en http et ftp, le "resume" est possible. Sinon, quel protocole / application serait la meilleure solution... ?

        Je pense pas que le p2p à la edonkey soit une bonne solution, sinon y a mldonkey sous forme de daemon...

        • [^] # Re: Partager pour qui ?

          Posté par  . Évalué à 2.

          lftp me semblerait adapté pour ce genre de travail...

          sinon unison permet également de reprendre le transfert si cela s'est interrompu entre temps.

          Only wimps use tape backup: real men just upload their important stuff on megaupload, and let the rest of the world ~~mirror~~ link to it

          • [^] # Re: Partager pour qui ?

            Posté par  . Évalué à 2.

            Unison je gère malheureusement pas bien les gros fichiers. En cas de coupure de liaison il lui faut refaire sa somme de contrôle déroulante. C'est long, ça consomme pas mal de disque, et sa blinde la connexion.
            Autant utiliser rsync :-)

            Pour lftp, je ne saisi pas.

            • [^] # Re: Partager pour qui ?

              Posté par  . Évalué à 3.

              s'il partait sur des fichiers coupés en paquets de 100 Mo cela pourrait aller. Quoi qu'il en soit la dernière version semble avoir corrigé pas mal de bugs sur les gros transferts de fichiers. Sinon rsync pourrait être aussi bien oui.

              Pour lftp, il permet d'être scripté notamment pour entrer directement le nom d'utilisateur et le mot de passe, après peut-être que le programme ftp de base permet cela également, en tout cas lftp permet également de gérer si un fichier a déjà été transféré ou pas, offre une fonction de miroir etc

              Only wimps use tape backup: real men just upload their important stuff on megaupload, and let the rest of the world ~~mirror~~ link to it

        • [^] # Re: Partager pour qui ?

          Posté par  . Évalué à 2.

          L'idée du P2P n'est pas la meilleure car en fait c'est pour transférer le fichier d'une machine A à une machine B bien déterminées. Je disais P2P car une partie du principe conviendrait très bien: transfert sur des liaisons non permanentes et checksums principalement.

          Donc oui, c'est pour reprendre le transfert en cas de coupure. Je me fiche de l'ordre d'arrivée car seuls les fichiers complets sont utiles. Comme ça met actuellement environ 72 heures à copier, des coupures il y en a :)
          Je fais une copie distante par semaine. Si le site brûle j'ai une copie de moins de 7 jours. Si les deux sites brûlent c'est un incendie qui fait au moins 350km de long, ça commence à faire beaucoup. Heureusement que Saint Murphy veille pour trouver d'autres problèmes simultanés.

          J'ai mes gros fichiers sur une machine, je veux les recopier sur une autre machine située loin-loin-loin. Et réciproquement comme ça les deux machines se sauvegardent mutuellement.

  • # amuled

    Posté par  . Évalué à 4.

    amule marche aussi en ligne de commande: il faut lancer amuled (le serveur, configuré pour accès par mot de passe ), puis le client par exemple:
    amulecmd --password=bla -c "show dl"
    amulecmd permet de nombreuses commandes.
    Il existe des paquets amulecmd , sinon , pour compiler:
    ./configure --enable-amule-daemon --enable-amulecmd

    • [^] # Re: amuled

      Posté par  . Évalué à 1.

      Ca je note car je ne savais pas du tout.
      Je regarde ça tout de suite !
      Merci :)

    • [^] # Re: amuled

      Posté par  . Évalué à 7.

      L'inconvénient d'une Mule c'est qu'elle nécessite un serveur, surtout dans le cas de fichiers de sauvegarde qui sont, par définition, très rares. Or, les serveurs de Mules sont propriétaires :-(
      Si on se passe de serveur, je ne suis pas certain que ça passe bien pour des fichiers rares au point qu'il n'y ai qu'une seule source. Je dis une bêtise ?
      Et question non diffusion de l'information, c'est raté. Il faut choisir un nom qui ne se mélange pas aux autres, il faut chiffrer les fichiers (et pas uniquement la liaison), pas top.

      Par contre si on nomme ses fichiers de sauvegarde "Lesbian XXX hardcore sex 28 janvier 2009" on peut espérer que beaucoup les récupèrent, ce qui donne une redondance intéressante. A tester.

  • # Réponse conne

    Posté par  (site web personnel) . Évalué à 6.

    Un bête tracker torrent privé, ça irait pas ? c'est plutot facile a mettre en place et ça semble correspondre a tes besoins.

    • [^] # Re: Réponse conne

      Posté par  . Évalué à 1.

      Je pensais à cela dès le début. Je ne connais pas du tout les torrents mais je crois que c'est la meilleure solution parmi celles indiquées ici.

      Je crois qu'un tracker est très simple à créer. Le seul truc c'est que je dois trouver une client torrent en ligne de commande et si possible pas en Java (troll en vue).

      J'ai posé la question ici car je pensais qu'un programme existait déjà pour transférer les données sur des liaisons non fiables. Je n'ai rien trouvé avec google, et visiblement ça n'interpelle personne ici. J'en conclu que ça n'existe pas.

  • # Rsync

    Posté par  . Évalué à 1.

    Au lieu de faire des gros fichiers de sauvegardes, pourquoi ne pas utiliser rsync ?

    Envoyé depuis mon lapin.

    • [^] # Re: Rsync

      Posté par  . Évalué à 2.

      Je ne vois pas en quoi rsync va diminuer la taille des fichiers de sauvegarde. Si j'ai 10 Go à copier, rsync ou pas, ce sera toujours 10 Go.

      Une copie différentielle a lieu chaque nuit avec rdiff qui est très efficace pour les gros fichiers, et une fois par semaine une copie intégrale car on ne rigole pas avec les sauvegardes.

      • [^] # Re: Rsync

        Posté par  . Évalué à 1.

        Certes, mais à la limite, si ta connexion plante pour un petit fichier de rsync, tu relances la commande. C'est quand même beaucoup plus simple non ?

        Car là, tu prends des «petits» fichiers pour en faire un gros, et tu cherches un logiciel (ou un script) pour en faire des petits à nouveau, car ta connexion plante avant que tu finisses de transférer le gros. C'est légèrement contre-productif. À moins que tu sois obligé de faire comme ça.

        Envoyé depuis mon lapin.

      • [^] # Re: Rsync

        Posté par  . Évalué à 0.

        rsync va decouper ton fichier en chunck, faire un checksum dessus

        et entre deux sauvegarde il n'enverra que ce que le chunck qui a changé.

        du coup tu peux sauvegarder un dossier complet,
        seul le bout de fichier qui aura changé sera envoyé.

        evidemment au premier backup il va envoyé les 10Go, mais comme il sait faire une reprise apres coupure, il ne devrait pas y avoir de probleme

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.