Journal Grid bootstrapé

Posté par  (site web personnel) . Licence CC By‑SA.
Étiquettes : aucune
-1
17
nov.
2011

Bonsoir à tous,

Je m’intéresse depuis quelques temps à l'auto hébergement et à la reconquête de mes données personnelles, au réseau caché, au P2P, etc. et j'ai un concept à soumettre à votre sagacité, une idée à confronter à vos connaissances techniques.

Qu'est ce qui empêche à l'heure actuelle d'avoir non pas une Freedombox sur un plug branché chez soi mais une instance de cette Freedombox dans une machine virtuelle qui se lancerait au démarrage de mon PC par exemple, qui serait capable de communiquer avec d'autre instances, de sauvegarder, de servir des données, voire des services comme une grille mais décentralisée ? Est ce qu'on a les briques actuellement pour construire ça ?

Une "grille bootstrappée" http://en.wikipedia.org/wiki/Bootstrapping_(compilers) serait une grille qui héberge ses propres services de gestion de grille.
Les gens participent ou non à certains services de la grille et/ou à certains services particuliers (hébergement de donnée, calcul, etc.). Cette grille étant constituée d'instance de machine virtuelle.

Un exemple d'utilisation :
mon blog possède un lien vers l'image http://mon_identifiant.le_reseau_de_mes_reves.net/public/image/pouet.png
Le DNS du FAI renvoi la requête vers un serveur virtuel composé de n instances qui acceptent de faire tourner le service nécessaire à un DNS décentralisé, c'est intercepté par un serveur HTTP virtuel décentralisé qui communique avec une DHT (pareil, vous pouvez choisir d'aider ou non ce service à tourner). Cette DHT sait que cette ressource émane de mon instance mais celle ci est éteinte (je dors). Heureusement, 3 amis avaient accepté de servir de relais de stockage à mes données (1 à 20Mo max, les 2 autres à n'importe quelle taille dans la mesure du possible de l'instance qu'ils font tourner chez eux), l'un deux fournit l'image (on peut implémenter de la répartition de charge, est ce la dernière version dispo, etc. mais c'est déjà assez complexe comme ça ...). Hop, ça remonte en sens inverse et l'image apparaît.

Bon, il y a surement quelques passerelles qui demanderait des ressources "classiques" permanentes ou une adaptation des navigateurs à un protocole nouveau mais vous voyez l'idée, non ? Et on est d'accord en gestion d’accès au ressources, c'est monstrueux ...
C'est un mélange d'auto hébergement, de friend backup, de humble dumble de la ressource réseau, de S3 à gestion de panne, etc.
Un bon gros bordel technique quoi mais qui en rêve à l'air si joli.

  • # ...

    Posté par  . Évalué à 10.

    Grid
    machine virtuelle
    serveur HTTP virtuel décentralisé
    auto hébergement
    S3

    => BINGO !

    (désolé...)

    • [^] # Re: ...

      Posté par  . Évalué à 2.

      t'oublie DHT pour la touche "rebelle et alternatif"

    • [^] # Re: ...

      Posté par  . Évalué à 8.

      BINGO

      Foutaise !

    • [^] # Re: ...

      Posté par  . Évalué à 5.

      Kamoulox !

  • # streisand.me ou P2P

    Posté par  . Évalué à 2.

    Ton application j'ai l'impression que c'est soit un système d'échange de fichiers en P2P, soit un système de réplication de sites webs (ça existe : http://sebsauvage.net/streisand.me/fr/ ).

    Peut-être que ton exemple est mal choisi ? Peux-tu être plus précis ?

    • [^] # Re: streisand.me ou P2P

      Posté par  (site web personnel) . Évalué à 1.

      Excellent !
      Très bonne idée et très bonne mise en oeuvre.
      Par contre, ce qu'il manque, par rapport à mon idée zarbie, ce serait une redirection automatique vers les "autosource" existantes. Si http://sebsauvage.net/streisand.me/fr/index.html est hors-ligne, de manière transparente, il va chercher dans les mirroirs.

      Disons que c'est généraliste, si on arrive à faire une gride qui s'auto supporte, est elle même son middleware, on peut construire ce qu'on veut dessus. Le service le plus évident étant le stockage. Je sais qu'il y a des services de P2P qui crée le début de la DHT, les scores, etc. s'ils sont tout seul. Mais une grille, je trouve rien.
      En continuant mes recherches, j'ai trouvé http://www.objs.com/agility/tech-reports/9903-grid-report-fm.html qui est très pédagogique et synthétique, il y a aussi beaucoup de chose sur wikipédia. Mais chaque partie : FS distribué, résistance à la panne, réplication, etc. est très complexe donc un mixup de tout ça me parait très improbable :(

      • [^] # Re: streisand.me ou P2P

        Posté par  . Évalué à 6.

        autosource
        middleware
        DHT
        FS distribué
        mixup

        Re-foutaise !

      • [^] # Re: streisand.me ou P2P

        Posté par  . Évalué à 2.

        Toujours dans mon idée de ré-utiliser des choses déjà existantes, il suffit que les nœuds vivants mettent à jour le serveur DNS avec leur propre IP. Si un nœud meurt, il ne met plus son IP dans le DNS, il ne serra jamais contacté. Si un nœud est prêt à recevoir du trafic, il met à jour avec son IP le serveur DNS assez souvent. Le assez souvent peut être une valeur fixé (et du coup la solution n'est pas du tout scalable[1]), soit il faut trouver une astuce pour le gérer dynamiquement (faisable avec les champs "libres" du DNS).

        [1] M4rotte, ce mot est pour toi.

  • # y a plus qu'à

    Posté par  . Évalué à 6.

    si ta machine perso est assez "puissante" tu peux faire tourner plusieurs machines virtuelles ou plusieurs "containers" faisant tourner plusieurs services.

    au boulot c'est ce que je fait quand je dois faire des maquettes
    une "grosse" machine (8GO de ram, 9To de disque en raid5)

    dedans j'ai une dizaine de machines virtuelles LXC.

    ainsi je peux simuler un cluster web, un service complexe avec loadbalancing/failover, un systeme avec un annuaire ldap, qui se replique sur un serveur secondaire, et qui sert à 2 servuers emails pour identifier les boites et les utilisateurs.

    tout ca deja dans mon "labs"

    donc toi aussi tu peux en faire autant chez toi, pour voir si ton projet est realisable techniquement, et puis c'est bon pour le cerveau de faire des essais, des maquettes et de tester des theories.

    • [^] # Re: y a plus qu'à

      Posté par  (site web personnel) . Évalué à 0.

      Sur un champ réduit (grille entre amis, sur un lan, etc.), effectivement on doit pouvoir tester quelques services. Mais je trouve beaucoup de projet "universitaire", c'est assez poilu dans l'ensemble :)

      Je cherchais surtout des avis sur des points "impossibles" mais faudrait quelques dessins et un article complet pour décrire ce à quoi je pense ...

      • [^] # Re: y a plus qu'à

        Posté par  . Évalué à 5.

        ton principal probleme c'est la non-presence d'un noeud de ta grille.

        dans les grilles universitaires on considere que la machine est dispo 99% du temps

        alors que dans ta grille privée, la dispo peut etre de 3h par jour.
        il faut donc tout dupliquer (les services, les données)

  • # freenet

    Posté par  . Évalué à 1.

    ça me fait penser à freenet.

    • [^] # Re: freenet

      Posté par  (site web personnel) . Évalué à 0.

      C'est vrai que ça se rapproche pas mal mais il faudrait la même chose sans la partie anonyme et une passerelle avec le net "classique".

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.