Journal Je voudrais mettre un nuage chez moi !

Posté par .
14
2
sept.
2011

Bonjour,

J’ai testé récemment Ubuntu One [1] afin de synchroniser mon répertoire photo entre mes deux PC (fixe/portable) et j’avoue avoir été séduit par la facilité de mise en œuvre (en gros tout est automatique).

Les gros points forts pour moi sont :

  • L’intégration à Gnome (Nautilus)
  • La synchronisation distante (si ma moitié dépose des photos sur le fixe, je peux les regarder même si je suis en déplacement par exemple)
  • La duplication des données fait office de sauvegarde

Seulement :

  1. Ubuntu One n’est pas libre (beurk)
  2. Je n’aime pas trop l’idée de mettre une copie de mes données privées QuelQuePartJeSaisPasOu
  3. Si l’on veut beaucoup d’espace disque cela devient vite cher et j’envisage d’utiliser ce système afin de dupliquer tous mes documents (Film/Photo/Musique)
  4. Je trouve dommage/inutile/contre-productif de consommer de la bande passante pour envoyer des données sur Internet pour, la plupart du temps, les télécharger 20 secondes plus tard à 20m du point de départ
  5. Y’en a certainement d’autres mais je m’arrête là.|

Donc je recherche une solution libre que je puisse mettre en place chez moi.

Coté matos, j’aimerais utiliser pour serveur si possible, mon nettop efika MX (ARM V8 + 512 RAM) auquel je vais ajouter un disque externe (1To USB).
Le tout doit s’exécuter sous Linux (client/serveur).

Pour l’instant j’ai identifié les solutions suivantes :

  • IFolder [2]
  • Sparkleshare [3]
  • Syncany [4]. (encore en développement, pas de version disponible)

Avez vous déjà utilisé/mis en place une de ces solutions et qu’en pensez vous (hard/soft) ?
Merki !

[1] https://one.ubuntu.com/
[2] http://www.kablink.org/ifolder
[3] http://sparkleshare.org/
[4] http://www.syncany.org/

  • # fichier crypté

    Posté par . Évalué à 2.

    Il y a aussi la solution d'avoir des fichiers cryptés. Une des solutions consistent à avoir un seul fichier crypté monté comme un fichier normal sur ton Linux à toi.

    "La première sécurité est la liberté"

    • [^] # Re: fichier crypté

      Posté par . Évalué à 3.

      Préférer une solution à la EncFS plutôt qu'une solution à la Truecrypt/LUKS est plus efficace et permet des changements concurrents à des fichiers différents.

      • [^] # Re: fichier crypté

        Posté par . Évalué à 2.

        je pensais plutôt à un loop avec un cryptfs dessus, ou bêtement un coup de openssl dessus.

        "La première sécurité est la liberté"

        • [^] # Re: fichier crypté

          Posté par . Évalué à 1.

          Un bloc loop&cryptfs présentera les mêmes problèmes qu'un bloc Truecrypt ou LUKS comparé à EncFS.

  • # ownCloud ?

    Posté par (page perso) . Évalué à 4.

    Le projet ownCloud peut sûrement t'intéresser, c'est tout jeune, et issu du projet KDE, mais c'est plutôt prometteur. Mais j'avouerais que je n'ai pas encore testé en situation réelle.

    • [^] # Re: ownCloud ?

      Posté par . Évalué à 4.

      Je teste (en suivant le Git au jour le jour) depuis quelques semaines. Il y a de très bonnes idées et ça progresse bien, mais il manque à mon sens un truc fondamental : pouvoir uploader des fichiers plus simplement qu'un formulaire. Un simple glisser-déposer (HTML5) améliorerait déjà bien les choses. Un outil de synchronisation serait encore mieux.

      Ceci étant, c'est du WebDAV, donc il existe probablement déjà un truc pour faire ça.

      • [^] # Re: ownCloud ?

        Posté par . Évalué à 4.

        Je teste aussi et tu peux utiliser WebDAV pour transférer les fichiers sous dolphin :
        -réseaux
        -rajouter un dossier
        -webdav …

        Il ne demande qu'un serveur apache et php5 pour fonctionner. Avec on peut donc stocker et partager des fichiers, créer un carnet d'adresse, visualiser des photos et écouter de la musique. Pour le moment c'est un projet jeune mais qui évolue vite.

  • # unison/rsync over ssh

    Posté par . Évalué à 7.

    via ssh (pour pouvoir y acceder partout)

    un script rsync ou unison pour cloner les données.

    et te voila avec tes données dupliquées sur ta machine et sur le serveur.
    tu fais pareil sur l'autre, et hop.

    avantage, tu choisis quand envoyer les mises à jours pour eviter de pourrir la bande passante 3G si tu es en deplacement à l'exterieur

    • [^] # Re: unison/rsync over ssh

      Posté par . Évalué à 2.

      Bonjour,
      Cette solution peut elle être facilement bidirectionnelle ?

      • [^] # Re: unison/rsync over ssh

        Posté par . Évalué à 3.

        Oui pour Unison, non pour Rsync

      • [^] # Re: unison/rsync over ssh

        Posté par (page perso) . Évalué à -1.

        Oui tu peux faire facilement:

        rsync a b
        
        

        et

        rsync b a
        
        

        Maintenant, ça demande un accès ssh, ce qui peut être difficile derrière des proxy nazis...

        Une autre solution serait d'utiliser un gestionnaire de version décentralisé.

        http://devnewton.bci.im

        • [^] # Re: unison/rsync over ssh

          Posté par . Évalué à 4.

          Rsync ne conserve aucun état, et ne peut donc déterminer si un fichier présent seulement du côté A signifie "fichier supprimé du côté B, et devant donc être supprimé de A" ou si cela veut dire "fichier créé du côté A, et devant être envoyé sur B".

          • [^] # Re: unison/rsync over ssh

            Posté par . Évalué à 2.

            Pour ça, un bon petit gestionnaire de version avec quelques plugins et c'est réglé.

            Personnellement, j'utilise git-annex. C'est pas idéal (remplacer tout les fichiers par des liens symboliques ...) mais ça me suffit.

            • [^] # Re: unison/rsync over ssh

              Posté par . Évalué à 1.

              Ce que je reprocherais aux gestionnaires de versions de sources, c'est qu'ils sont conçus pour conserver les données même anciennes, alors que pour des sauvegardes personnelles, je ne veux plus des fichiers que j'ai supprimés il y a plus d'une semaine.

              • [^] # Re: unison/rsync over ssh

                Posté par . Évalué à 3.

                Justement, git annex ne stocke pas les vielles versions des fichiers. Il ne stockera dans l'historique que des identifiants de version de fichiers (ou des hash, selon le backend choisi)

                git annex est prévu pour gérer des grandes quantités de fichiers, et stocker l'historique de 10 Go de données ça n'est pas une bonne idée. Mais si tu a envie de stocker l'historique de certains fichiers, alors tu peux avoir dans une même repo tes fichiers sans historique gérés avec git annex et tes fichiers avec historique gérés par le bon vieux git des grands mères.

  • # Besoin

    Posté par . Évalué à 0.

    Perso ça me plait aussi de n'avoir à envoyer, au maximum, qu'un lien pour partager.

    Ai posé ce que je voulais pas faire : envoyer des documents écrits dans le cloud.
    Me suis ensuite demandé de quoi j'avais besoin exactement : parfois 3 vidéos mais vue que ça dépend d'internet pas possible d'imposer de lourd téléchargement donc cela réduit le champ vidéos. Quelques documents écrits, bien bien rares. En fait des photos, IRL. Pour les tarballs il y a d'autres possibilités.
    Ai regardé les offres pour ce besoin là, précis. Bon et puis j'ai pris 20GO de stockage chez Google, pour moins de 6 dollars US par AN.
    J'peux pas l'utiliser pour des tarballs ? m'en fiche, n'ayant pas besoin de stockage in_da_cloud pour ça. Pour la musique ? Moui ça pourrait être sympa, et le stockage sera certainement fusionné à google-music dès qu'il sortira de sa phase "sur invit". Et pour les photosd ben c'est nickel. Je ne vois pas pourquoi on devrait acheter plus cher que ça ...

    hop c'est vendredi, combo google, défoulez vous.

    • [^] # Re: Besoin

      Posté par . Évalué à 4.

      Bon et puis j'ai pris 20GO de stockage chez Google, pour moins de 6 dollars US par AN.
      J'peux pas l'utiliser pour des tarballs ? m'en fiche, n'ayant pas besoin de stockage in_da_cloud pour ça.

      T'as 20 Go chez google, je pense que t'es à fond dans le nuage, man. Pourquoi tu peux pas uploader un .tar.gz ? C'est pas du stockage pur alors, c'est quoi, picassa ?

      • [^] # Re: Besoin

        Posté par . Évalué à 6.

        https://www.google.com/accounts/PurchaseStorage
        Le stockage Google est commun à Gmail, Picasa Albums Web et Google Documents. Vous obtenez un espace supplémentaire pour l'ensemble de ces services, en plus de votre quota gratuit actuel.

        • [^] # Re: Besoin

          Posté par . Évalué à 3.

          Google Document accepte pas le tar.gz ?

          • [^] # Re: Besoin

            Posté par . Évalué à 3.

            Il y a une limite de taille des documents de toutes façons.

  • # AeroFS

    Posté par . Évalué à 4.

    Il y a aerofs qui a l'air interessant:

    http://www.aerofs.com/

    On peut synchroniser plusieurs machines, partager des documents avec des amis, le tout repliqué par une formule de type p2p et bien évidement chiffrée.

    L'équipe compte aussi se financer en proposant du backup online qui viendrait en plus du backup p2p.

    La seule limitation que je vois est qu'il ne supporte pas d'avoir des liens symboliques, on ne peut pas caler betement son ~/Images ou son ~/Documents (ou alors je n'ai pas trouvé)

    • [^] # Re: AeroFS

      Posté par (page perso) . Évalué à 2.

      Ca fait quelques temps que je test et la synchro a du marcher une fois ou 2... Il y a peut etre des options de firewall à régler mais dropbox n'a pas ce problème.

      • [^] # Re: AeroFS

        Posté par . Évalué à 1.

        1/ A priori ce n'est pas libre !
        2/ Je n'ai pas d'ami à qui demander une invitation pour la supprise partie AeroFS ...

        • [^] # Re: AeroFS

          Posté par (page perso) . Évalué à 2.

          Je peux envoyer une invit, suffit de ton mail

          • [^] # Re: AeroFS

            Posté par . Évalué à 2.

            Oui mais ce n'est toujours pas libre,
            Numéro 1 dans ma liste des pré-requis.

  • # J'aime mon nuage et il me le rend bien !

    Posté par . Évalué à 1.

    Salut !

    Il y a quelques années, j'ai fait le même raisonnement que toi, mais en plus mal. Je m'étais donc monté un serveur avec des restes de PC et je faisais quelques sauvegardes à la main et en désordre dessus. Après avoir perdu des données (et un an après je ne saurais même pas te dire l’étendue de la perte tellement c'était le bordel sur ce serveur) à cause d'un des disques (le plus gros tant qu'à faire !) qui a crashé, j'ai changé de façon de faire.

    J'ai cassé ma tirelire pour un gros NAS Qnap en RAID 5 : fiable, silencieux, simple à utiliser, bien mis à jour... bref : sécurisant !

    Coté backup, j'utilise l'excellent backintime : http://backintime.le-web.org/ : fondé sur rsync/hardlinks, il est fiable, simple à utiliser et les données sont facilement récupérables même sans backintime (merci les hardlinks :-))

    Le NAS a une fonction nuage-perso intégrée qui me permet d'accéder à mes données depuis la Lune.

    C'est cher (!!), mais c'est un luxe dont je ne pourrais plus me passer !

    (bien sûr, je fais de temps à autre un backup des contenus du NAS sur un disque externe qui est stocké chez quelqu'un d'autre).

    Dans ton projet, c'est donc du côté de backintime que je te conseille de loucher.

    • [^] # Re: J'aime mon nuage et il me le rend bien !

      Posté par . Évalué à 4.

      A choisir une solution RAID, j'éviterais le 5 perso. On gagne en espace disque, par contre en cas de vrai pépin (que le RAID5 ne rattrape pas, donc, genre deux disques qui lâchent en même temps ou presque) on l'a facilement dans le baba.

      Sur du RAID1, si tes deux disques lâchent, tu peux espérer faire tourner un RescueDisk/PhotoRec pour ramasser des miettes (et avec un peu de chance, les miettes combinées des deux disques recouvrent la totalité des données). Sur un RAID5, tu oublies : les données sont fragmentées, stockées un peu partout.

      • [^] # Re: J'aime mon nuage et il me le rend bien !

        Posté par . Évalué à 1.

        Deux disques qui lâchent en même temps ? On est quand même sur une proba assez faible, non ?... En tout cas c'est toujours bien plus sûr que pas de RAID du tout.
        Ayant 5 baies (et seulement 4 occupées) je pourrais faire du RAID 6, mais je n'ai pas encore tranché sur ce point.

        Et si cette éventualité se produit, je pense que l'utilisation du backup externe (même s'il a 2 ou 3 semaines) sera plus productive que d'aller à la pêche avec PhotoRec (même sur du RAID 1, ou pas de RAID du tout).

        • [^] # Re: J'aime mon nuage et il me le rend bien !

          Posté par (page perso) . Évalué à 2.

          Deux disques qui lâchent en même temps...

          • un problème électrique
          • deux disques identiques [*] d'une mauvaise série

          Bref, ça peut arriver (ie. un stockage centralisé, même avec du RAID, n'empêche pas d'avoir à faire des backups -- ajoutons la possibilité d'une fausse manip qui efface certains fichiers...).

          [*] Si c'est toi qui achètes les disques, pense à prendre des marques différentes. Mais si c'est fourni dans le NAS... va savoir.

          Python 3 - Apprendre à programmer en Python avec PyZo et Jupyter Notebook → https://www.dunod.com/sciences-techniques/python-3

        • [^] # Re: J'aime mon nuage et il me le rend bien !

          Posté par (page perso) . Évalué à 1.

          Deux disques qui lâchent en même temps ? On est quand même sur une proba assez faible, non ?...

          Si les deux disques ont été achetés en même temps, et ont eu la même vie, pas tant que ça...

          • [^] # Re: J'aime mon nuage et il me le rend bien !

            Posté par . Évalué à 1.

            Oui, surtout que la reconstruction d'un disque dans un RAID 5 fait fortement mouliner tous les disques.

            Et puis surtout, si dans 2 ans le contrôleur du NAS pête, même si aucun disque n'est touché, comment fait-on pour les remonter ailleurs et récupérer les données ? (je ne connais pas ce matériel, je ne dis pas que c'est impossible, mais ça n'est pas forcément trivial sans un contrôleur RAID identique)

            Unk

            • [^] # Re: J'aime mon nuage et il me le rend bien !

              Posté par . Évalué à 1.

              Et puis surtout, si dans 2 ans le contrôleur du NAS pête, même si aucun disque n'est touché, comment fait-on pour les remonter ailleurs et récupérer les données ? (je ne connais pas ce matériel, je ne dis pas que c'est impossible, mais ça n'est pas forcément trivial sans un contrôleur RAID identique)

              Les qnap (en tout cas le Pro 459 II et le Pro 859 Pro+) utilisent le raid software Linux, pas de problème en cas de pépin, cela se monte sur n'importe quel ordinateur:

              [~] # cat /proc/mdstat
              Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] [multipath] 
              md0 : active raid5 sda3[0] sdd3[3] sdc3[2] sdb3[1]
                2925580800 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]
                bitmap: 6/233 pages [24KB], 2048KB chunk
              
              
        • [^] # Re: J'aime mon nuage et il me le rend bien !

          Posté par (page perso) . Évalué à 2.

          Deux disques qui lâchent en même temps ? On est quand même sur une proba assez faible, non ?

          Dans une grappe Raud c'est au contraire fréquent.
          D'ailleurs si ma mémoire est coorecte, les études de Google et de l'université Carnegie Mellon sur la fiabilité et la longévité des disques durs en parlaient.

          "La liberté est à l'homme ce que les ailes sont à l'oiseau" Jean-Pierre Rosnay

        • [^] # Re: J'aime mon nuage et il me le rend bien !

          Posté par . Évalué à 3.

          Le truc, c'est qu'en général quand les choses merdent elles ne le font pas à moitié. J'ai eu des cas, même professionnellement. Le technicien stressé par la panne qui change le mauvais disque, ou l'alerte qui n'est pas vue à temps et dont on ne prend conscience qu'une fois qu'un second disque lâche. Les trucs de la vrai vie, quoi.

        • [^] # Re: J'aime mon nuage et il me le rend bien !

          Posté par . Évalué à 1.

          Deux disques qui lâchent en même temps ? On est quand même sur une proba assez faible, non ?...
          eh bien pas tant que ça en fait...
          avant les disques étaient garantis à vie, ce n'est plus le cas, et ce n'est pas pour rien.
          et comme en plus, très souvent, quand on achète 2 disques, on prend la même marque, le même modèle... et donc la même série :-)
          ben quand ça pète... ça pète bien...

        • [^] # Re: J'aime mon nuage et il me le rend bien !

          Posté par (page perso) . Évalué à 3.

          On est quand même sur une proba assez faible, non ?

          Juste une chance sur 2 :
          http://www.zdnet.com/blog/storage/why-raid-5-stops-working-in-2009/162

          Ayant 5 baies (et seulement 4 occupées) je pourrais faire du RAID 6, mais je n'ai pas encore tranché sur ce point.

          Ca va dépendre de ce que tu veux faire : si tu veux un stockage pas cher et que tu es prêt à tout perdre c'est pas grave tu as une copie ailleurs, pourquoi pas le RAID 5, mais pourquoi pas RAID 0 aussi du coup.
          Sinon, si c'est pour de la sécurité, RAID 6 ou RAID 1.

          Les préjugé sur le le RAID 5 pour du backup ont encore de beaux jours devant eux... Malheureusement.

  • # tahoe-lafs

    Posté par (page perso) . Évalué à 0.

    Et aucun commentaire sur tahoe-lafs ?

    Je moinsse, tu moinsses, il moinsse, nos bots moinssent ...

  • # lcynd ?

    Posté par . Évalué à 1.

    • [^] # Re: lcynd ?

      Posté par (page perso) . Évalué à 2.

      C'est une solution pour un miroir, ça n'est pas directionnel (sauf si j'ai mal compris).

      "La liberté est à l'homme ce que les ailes sont à l'oiseau" Jean-Pierre Rosnay

  • # Tonido Sync

    Posté par (page perso) . Évalué à 3.

    C'est pas complètement libre, mais puisque l'annonce est sortie aujourd'hui : tonido permet maintenant de faire ça aussi.

  • # rdiffbackup

    Posté par . Évalué à 4.

    permet la sauvegarde incrémentale à la rdiff ... fonctionne pour serveur ou client ...
    dispose de plusieurs clients pour la restauration donc une version web : rdiffweb ...

    • peu utiliser encfs
    • s'utilise via fuse et ssh en mode login avec interaction ou certificat sans mot de passe ...
    • [^] # Re: rdiffbackup

      Posté par . Évalué à 1.

      perso c'est ce que j'utilise pour mes sauvegardes. Le rdiff-backup-fs pour accéder différentes version d'un dépôt rdiff-backup avec est très sympa, et simple.

  • # leech

    Posté par (page perso) . Évalué à 5.

    Moi ce que j'aime bien avec Ubuntu One c'est de pouvoir examiner les fichiers des gens : http://fruli.krunch.be/~krunch/txt/0-1NuC.u1

    pertinent adj. Approprié : qui se rapporte exactement à ce dont il est question.

    • [^] # Re: leech

      Posté par (page perso) . Évalué à 2.

      On me souffle dans l'oreillette que les URL Ubuntu One sont maintenant plus long et randomisés.

      pertinent adj. Approprié : qui se rapporte exactement à ce dont il est question.

  • # Lennart a une idée!

    Posté par (page perso) . Évalué à 2.

    Il faut toujours aller voir du côté de Lennart Pottering, l'homme des idées forcément géniales et fiables (joyeux appel au troll, histoire de se mettre en jambe pour la semaine). Il a pondu un truc qui pourrait faire l'affaire: Syrep. Ça permet de synchroniser des répertoires de façon bi-directionnelle. Et justement, Lennart l'a écrit pour synchroniser 2 gros répertoires de musique. Et c'est dispo dans Debian / Ubuntu.

    "La liberté est à l'homme ce que les ailes sont à l'oiseau" Jean-Pierre Rosnay

    • [^] # Re: Lennart a une idée!

      Posté par . Évalué à 1.

      Syrep ne semble plus maintenu mais ça a l'air intéressant.

      Comme dit plus haut il y a également Unison, mais par contre il est très lent lors de la première synchronisation si on a un gros volume.

      • [^] # Re: Lennart a une idée!

        Posté par . Évalué à 3.

        Autre point très chiant: pas de compatibilité entre les releases. Du coup dès que tu utilises plusieurs OS /version d'OS/release d'OS ça peut devenir assez chiant.

  • # Wuala...

    Posté par . Évalué à 0.

    J'ai découvert Wuala il y a quelques mois, et depuis je suis adepte.
    Ça ne remplis pas tous les critères demandés, mais ça pourrait peut-être quand même correspondre.

    Intégration à Gnome : Avec le montage virtuel Wuala, l'intégration au système de fichier est transparente, et on peut synchroniser n'importe quel répertoire du système de fichier facilement.
    Synchronisation distante : gérée par Wuala, avec versionning et synchronisation automatique
    Duplication/sauvegarde : le système de stockage p2p de Wuala garanti la duplication/sauvegarde des données. C'est à mon avis un des systèmes de stockage les plus sur existant (sur dans le sens disponibilité) vu que ça ne repose pas sur un serveur central pouvant devenir indisponible.

    Défauts de Wuala :
    Ce n'est pas libre : Vivement l'apparition d'un système équivalant, libre et basé sur des protocoles ouverts. Ce serait LE système de stockage/sauvegarde idéal à mes yeux.

    stockage QuelQuePartJeSaisPasOu : le stockage avec Wuala est dispersé sur un réseau p2p, donc c'est vraiment JeNeSaisPasOu, mais tout est crypté et fragmenté donc ça garantit une certaine sécurité. Reste à faire confiance au système de cryptage, suivant le niveau de confidentialité voulu, et en l'occurrence avoir une appli open-source pourrait nettement améliorer ce point pour Wuala. Et pour du backup sur, un stockage distant (et encore plus un stockage dispersé) est nettement préférable à un stockage local type NAS.

    Inutilité de l'envoi en ligne pour récupérer sur le poste à coté : Sur ce point Wuala n'est pas une solution. En tant que solution de backup, il est plus logique de faire le backup sur un réseau p2p en ligne (un incendie, je perd pas tout avec mon PC et mon NAS qui ont cramés), mais pour partager des fichiers en local, c'est clairement pas le plus rapide. Mais c'est deux problématiques très différentes (backup et partage local), un seul outil ne pourra pas répondre aux deux (KISS). Pour le backup et partage distant, Wuala me semble très bon. Pour le partage local il faudrait trouver un autre outil complémentaire, et pour ça un NAS et un partage de fichier type nfs pourrait être simple et efficace (En local je stock mes fichiers sur le NAS, et sur ce NAS j'ai Wuala qui synchronise mes données online pour backup et partage distant).

    Gros avantage de wuala, le système de troc d'espace qui permet d'avoir beaucoup d'espace online dispo, à partir du moment ou on est près à mettre à disposition de l'espace libre pour le réseau p2p (plus les pc partageant de l'espace sont connectés et plus ils mettent à dispo de l'espace, plus on gagne d'espace online).

    Vivement un Wuala libre....

    • [^] # Re: Wuala...

      Posté par . Évalué à 0.

      Merci pour ce retour, malheureusement en plus de n'être pas libre, je ne peux pas héberger cette solution chez moi.
      J'ai besoin de plusieurs centaines de Go et le prix du Go est totalement prohibitif pour un usage personnel.

  • # Persy (git local + remote, IHM python-gtk)

    Posté par . Évalué à 1.

    A part des problèmes de configurations mal généré par l'IHM (serveur ssh distant pas sur le port 22), une fois le bousin bien configuré, il fonctionne bien en sauvegarde locale (il doit fonctionner avec libnotify je pense) et on peut choisir la fréquence de mise à jour du remote.

    http://persy.digitalkultur.net/

    2eme avantage : la mascotte est fantastiquement jolie

    inconvénient, il est plutôt packagé pour ubuntu, mais les sources sont dispo evidemment (github)

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.