Journal Retour d'expérience: partage des images Debian sur Bittorrent

Posté par (page perso) .
Tags : aucun
13
26
juin
2010
Debian fournit ses images d'installation via http ou ftp (http://www.debian.org/CD/http-ftp/) ainsi que via bittorrent (http://www.debian.org/CD/torrent-cd/).

J'ai eu envie de tester la demande avec bittorrent et voir si cela pouvait être une possibilité de contribuer (une fois mis en place, il n'y a plus rien à faire). Contribution probablement de faible valeur mais impliquant également un faible investissement. Pour avoir une vague idée de l'intérêt, j'ai décidé de faire un test.


Protocole du test:
Utilisation du client graphique Transmission pour le téléchargement et l'envoi.
  • Installation du paquet fourni dans la distribution;
  • Redirection du port de partage (comme pour n'importe quel logiciel de P2P) de la FAIbox vers ma machine. Le port utilisé est affiché dans l'interface graphique de Transmission;
  • Téléchargement des fichiers bittorrent sur le site de Debian, ajout dans Transmission.

Le téléchargement des iso s'est fait pendant la même période et le logiciel a fonctionné un peu plus d'une semaine:

Le choix des iso à partager s'est porté sur celles qui me semblaient les plus susceptibles d'être téléchargés:
  • business card: un CD d'installation qui tient sur un mini-CD;
  • CD1: le premier des 31 CD d'installation. Il est suffisant pour installer la suite par Internet. Le site conseille de ne télécharger que le premier CD de l'ensemble;
  • netinstall: une version minimale pour démarrer et faire tout le reste en téléchargeant.

Concernant les architectures processeur choisies, le choix s'est porté sur les plus utilisées (i386 et amd64). Pour ceux qui ne connaissent mal les dénominations utilisées: i386 est la bonne vieille architecture processeur PC (32 bits) et amd64 est la version 64bits compatible avec l'ancienne architecture. Les processeurs Intel actuels utilisent aussi l'architecture amd64.


Résultat du test:
Les téléchargements se font assez rapidement (le plus rapide sera la plupart du temps de téléchargement entre 500Kio et 800Kio), mais c'est inégal: certains sont plus partagés que d'autres. Avec le plus rapide, j'ai eu jusqu'à 5 pairs connectés. Avec les plus lents, un seul (le serveur Debian lui-même?).
Dans l'ensemble, les versions 32bits ont été téléchargées plus vite - j'ai l'impression qu'elles sont un peu plus partagées.

Envoi (Upload, en Mio):

i386 amd64
businesscard 1,5 0
CD1 394 429
netinstall 46 35


Ratio (Envoi/Téléchargement):

i386 amd64
businesscard 0.04 0
CD1 0.61 0.66
netinstall 0.30 0.26


Conclusions personnelles:
  • Rien de vraiment décevant concernant le téléchargement, mais rien d'extraordinaire dès qu'on sort des iso les plus courantes
  • Pas de demande pour les business card. À la réflexion, j'ai rarement vu des gens acheter ce format de CD donc ça me semble assez logique.
  • La demande n'est pas énorme, mais non nulle. La plupart du temps, je n'envoie rien. Là encore, je ne suis pas trop surpris, on installe/réinstalle rarement donc pas besoin de télécharger souvent des images. Au rythme actuel, dans un mois, la machine deviendrait un contributeur net (le ratio passant au dessus de 1)
  • Il me semble étonnant que les 2 architectures soient aussi proches. Je m'attendais à voir le 64bits largement devant. Sur ce point, je vois quelques hypothèses possibles:
    • Debian serait surtout utilisé pour recycler des vieilles machines, ce qui explique le choix de l'architecture
    • Les utilisateurs ne savent pas à quoi correspond amd64 ou ne connaissent pas leur architecture et font un choix non optimal
  • Étant donné que j'ai eu un peu plus de sources sur la version i386, je me retrouve dans une position plus favorable pour fournir du 64 (si le nombre de source est stable), donc ça augmente ma probabilité de fournir relativement plus de 64 que de 32. Cela rend l'élément précédent encore plus surprenant

Limites: et si mes uploads ne servaient qu'à des gens qui se sont fait la même réflexion: je vais le télécharger pour le partager? L'ensemble des conclusions ne vaudrait rien et il n'y a aucun moyen de le savoir...

Inconnues:
- Quid de la demande lors d'une nouvelle release?
- Les résultats sont-ils comparables avec les téléchargements sur les serveurs ou miroirs http ou ftp? Je ne sais pas où trouver ce genre d'information (et je ne vais pas embêter des admins pour ça).

Le résultat me semble acceptable et il mérite d'aller plus loin.
La prochaine étape est d'utiliser la version daemon parce qu'avoir une interface graphique qui traîne (et qu'il faut penser à relancer au redémarrage) ne me satisfait pas.
  • # tu le dis toi meme et ca repond à certaines de tes questions

    Posté par . Évalué à 5.

    le plus rapide sera la plupart du temps de téléchargement entre 500Kio et 800Kio

    pourquoi je vais m'embeter à passer par du torrent, là ou en passant par le FTP ou le http, je vais avoir 1500 à 2000Kio/s de transfert avec ma FAIbox toute bete ?

    le torrent ne vaut que si le serveur central est "lent"/surchargé
    car à ce moment là, oui, tu auras plus de chance d'obtenir ton fichier avant que le serveur central ne finisse de te le servir.

    Autant dire le jour meme de la release si tout le monde telecharge le nouveau CD.
    et encore...

    certains feront un full-upgrade pour passer à la version courante.
    • [^] # Re: tu le dis toi meme et ca repond à certaines de tes questions

      Posté par . Évalué à 5.

      Il y aussi le fait que pas mal d'admin téléchargent Debian au boulot, et bien souvent, les protocoles P2P y sont bloqués. Les seuls protocoles que l'on est sûr de voir marcher quasiment partout sont FTP et HTTP.

      Pour ma part, lorsque je suis chez moi, je télécharge les ISO en BitTorrent, et lorsque je suis au boulot, je les récupère en DDL. Et je dois dire que j'ai plus souvent besoin d'une nouvelle ISO au bureau qu'à la maison.

      Article Quarante-Deux : Toute personne dépassant un kilomètre de haut doit quitter le Tribunal. -- Le Roi de Cœur

    • [^] # Re: tu le dis toi meme et ca repond à certaines de tes questions

      Posté par (page perso) . Évalué à 5.

      Surtout qu'il y a un paquet de mirroir debian...

      D'ailleurs, ce serait bien qu'il mette GeoDNS sur l'archive principale de debian et non seulement la branche security, ainsi, on ne s'embêterais pas à choisir des miroirs debian sur son territoire.

      A terme, la distribution via torrent pourrait alléger la gestion de ce cluster de miroir. Je ne sais pas qu'elle énergie en terme de temps Homme et en terme de ressource électrique cela pourrait faire gagner (ou perdre).
      • [^] # Re: tu le dis toi meme et ca repond à certaines de tes questions

        Posté par . Évalué à 3.

        le probleme demettre un geoIP en entrée du site principal, c'est qu'il faut etre certains que les mirroirs soient synchros.

        actuellement tu es en france, tu vas sur un des mirroirs francais
        si ca se trouve tu n'as pas la derniere iso,

        tu vas donc aller voir "ailleurs", soit dans ton pays, soit à coté, pour trouver l'iso qui te va bien

        si maintenant on remplace le systeme actuel par un GeoIP, tu vas "forcement" arriver chez le mirroir francais si tu viens de France, et tu ne verras pas la derniere ISO.

        Sauf si on peut contourner le geoIP en cochant une case genre
        [–] choisir automatiquement le mirroir le plus proche/rapide de chez vous
        [–] choisir manuellement le mirroir
        • [^] # Re: tu le dis toi meme et ca repond à certaines de tes questions

          Posté par (page perso) . Évalué à 3.

          si ca se trouve tu n'as pas la derniere iso,

          Ou tout les paquets de sont pas à jour. J'ai eu le cas avec le serveur Belnet (en Belgique), il y a souvent un 404 sur un paquets parce qu'il est annoncé dans la liste des paquets et pas sur le serveur. (j'avais eu le même problème avec Archlinux avec ce même serveur).

          « Rappelez-vous toujours que si la Gestapo avait les moyens de vous faire parler, les politiciens ont, eux, les moyens de vous faire taire. » Coluche

        • [^] # Re: tu le dis toi meme et ca repond à certaines de tes questions

          Posté par (page perso) . Évalué à 2.

          Normalement, les annonces se font après les synchro...

          Ensuite, le système est déjà en place sur security.debian.org, c'est donc que cela marche car les mises à jour de sécurité, c'est un peu plus sensible que les images ISO ;-)
    • [^] # Re: tu le dis toi meme et ca repond à certaines de tes questions

      Posté par (page perso) . Évalué à 2.

      800Kio est mon débit maximal en téléchargement. J'aurais peut-être pu monter bien plus haut sur l'iso la plus partagée (CD1, i386). Sauf sur celle-là, mon débit n'a jamais été saturé le reste du temps.
  • # Images Archlinux

    Posté par . Évalué à 1.

    Pour ma part, je suis à 1.250 et 1.238 sur les images de la dernière Arch (netinstall et core respectivement) depuis fin Mai.

    Je trouve ça pas mal, compte tenu du fait que je ne lance pas mon client bittorrent régulièrement (trois ou quatre jours depuis que j'ai terminé mon téléchargement).
  • # Jigdo sai bien

    Posté par (page perso) . Évalué à 6.

    Ca fait un moment que les iso Debian sont distribués avec Jigdo, donc le principe est d'aller pécho les paquets dans le dépôt le plus proche de chez vous, et de reconstituer l'iso avec. L'avantage pour l'hébergeur est qu'il n'a pas besoin de stocker à la fois les paquets et les iso, et il n'a pas à reconstruire les iso à chaque mise à jour. C'est vraiment avantageux dans le cas de distributions testing, qui changent tous les jours. Et puis si on a une vieille image sous la main, on peut dire à Jigdo d'aller voir dedans si des fois il n'y aurait pas des paquets qui seraient toujours à jour, comme ça il ne télécharge que ce dont il a besoin.

    Donc le téléchargement direct d'iso c'est de toutes façons pas optimal comme manière de procéder.
  • # Demande lors d'une nouvelle release

    Posté par . Évalué à 1.

    J'ai pu constater l'efficacité du téléchargement avec bittorrent lors des nouvelles releases Ubuntu. Dans les jours suivant la sortie, aucun FTP n'est en mesure d'envoyer les données au maximum de ta bande passante (BP) en réception. Avec bittorrent le téléchargement est effectué au maximum de ta BP: il y a un maximum de pairs .

    Mieux: au boulot on a 3 box ADSL derrière un routeur (au passage: machine installée avec eBox, excellent). Avec FTP/HTTP, la connexion ne passe que par une seule box. Avec bittorrent, toutes les box sont exploitées: chaque pair représente une connexion différente. Là où 1 lien ADSL permet de recevoir au maximum à 1,5Mo/s, bittorrent permet d'exploiter les 3 box, 1 CD est téléchargé en quelques minutes à peine :-)

    Le reste du temps il n'y a pas de grande différence (dommage que les miroirs FTP ne servent pas également de pairs bittorrent!).
  • # Amusant

    Posté par (page perso) . Évalué à 1.

    J'ai fait la même démarche que toi, quasiment au même moment (je ne me souviens plus exactement de la date)

    J'ai récupéré les mêmes ISO que toi, i386 et amd64 également, et seulement dans le but de les partager parce que je dois déjà les avoir et je n'en ai pas besoin actuellement.

    J'ai fait pareil avec Mandriva, où j'ai pris toutes les versions gratuites disponibles (gnome et KDE, deux archis, .. ) dans le but de les fournir alors que je n'utilise même pas cette distrib ^_^
    J'ai un peu faussé ton test, désolé /o\

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.