Journal première sortie de "DAFT Allows File Transfers"

Posté par  (site web personnel) . Licence CC By‑SA.
Étiquettes :
12
2
fév.
2016

Chers lecteurs,

J'ai le plaisir d'annoncer la première sortie de DAFT (v0.0.1).

https://github.com/UnixJunkie/daft

DAFT est un outil en ligne de commande pour transférer des fichiers de manière sécurisée, par exemple pendant une expérience computationnelle distribuée. C'est le compagnon idéal (pour les fichiers) de logiciels tels que PAR ou GNU parallel. PAR est un outil pour bouger efficacement ses données quand il n'y a pas de système de fichier distribué d’installé sur les noeuds. PAR ne nécessite pas de droits root, juste un compte utilisateur et un accès distant (par exemple via ssh) à plusieurs ordinateurs. PAR permet de ne pas avoir à violenter le serveur NFS le plus proche.

PAR propose les commandes suivantes:

  • put (publie un fichier)
  • get (récupère un fichier précédemment publié)
  • bcast (publie sur tous les nœuds)
  • scatter (put qui répartie les chunks)
  • ls (liste les fichiers et leur placement)
  • exit (sort du client; on peut y revenir plus tard)
  • quit (éteint tout le système)

Il y a une vidéo de présentation en anglais ici (il faut aller a 6mn40s dans la vidéo pour le début):
http://www.dailymotion.com/video/x3ihqqa_conf-42-meetup-oups_tech

Les diaposiives de la présentation sont là:
http://files.meetup.com/6604932/meetup_hiver_2015.zip

DAFT est sous licence CECILL-C et écrit en OCaml.

Bonne utilisation,
François.

  • # [HS] PAR

    Posté par  (site web personnel) . Évalué à 5.

    Pour moi par c'est le format des archives découpées en morceaux qu'on pouvait télécharger via Usenet…

    https://en.wikipedia.org/wiki/Parchive

    Votez les 30 juin et 7 juillet, en connaissance de cause. http://www.pointal.net/VotesDeputesRN

  • # Besoin de plus d'info

    Posté par  . Évalué à 10.

    J'ai rien compris à la dépêche, tu donne une lien pour DAFT et nous présente que PAR. C'est quoi le rapport entre les deux ? PAR c'est le protocol et DAFT l'outil ?

    J'ai regardé vite fait le readme de github, je vois une dépendance zeromq, faut des noeuds zeromq sur toutes les machines ?

    Bref ça manque clairement d'informations.

  • # Pérennité

    Posté par  (site web personnel) . Évalué à 2.

    Cela a l'air intéressant pour partagé des fichiers. CHez nous, on utilise NFS comme beaucoup. A voir sur un gros cluster (1000 noeuds par exemple) ce que donne le fait de n'avoir qu'un MDS. Qu'est ce que cela donne lorsque celui-ci plante ?

    Tu nous avais présenté il y a quelque temps le logiciel ACPC http://linuxfr.org/users/zaurus/journaux/un-nouveau-logiciel-open-source-pour-le-criblage-in-silico-chemoinformatique et je vois qu'il n'évolue plus. Du coté de l'INRIA, c'est un projet un peu plus pérenne DAFT ?

    • [^] # Re: Pérennité

      Posté par  (site web personnel) . Évalué à 1.

      Concernant le gros cluster: DAFT est conçu pour les clusters petits a moyens. Avec 1000 noeuds, je trouve qu'on est plutôt dans le grand.
      Le MDS est un SPF, donc s'il plante plus rien ne va marcher.
      De toute façon, DAFT n'est pas tolérant aux fautes (c'est pas conçu pour le
      massivement distribué).
      DAFT a une interface ligne de commande: ça ne peut pas remplacer
      NFS si facilement (par contre un vrai FS distribué pourrait).
      Pour du massivement distribué et tolérant aux fautes, j'orienterais plutôt les gens vers riak.

      ACPC est un projet terminé. Si des gens l'utilisent et ont des problèmes avec,
      j'essaierai de corriger sur mon temps libre.
      Je me sens reponsable des projets que je publie donc j'essaie de les maintenir.
      DAFT est un projet perso, ce n'est pas un projet INRIA "officiel", même si mon
      chef m'autorise a faire de l'open source pour 10% de mon temps de travail, ce qui est déjà très sympa.
      J'essaierai de mon mieux de corriger les éventuels bugs trouvés.

      Bon, après ACPC et PAR sont prêts pour la production. DAFT c'est encore une version beta disons.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.