Forum général.cherche-logiciel Proxy premptif/anticipant

Posté par  (site web personnel) .
Étiquettes : aucune
0
3
juin
2009
Bonjour,

Je suis à la recherche d'un proxy cache web préemptif ou anticipant les requêtes du navigateur pour télécharger les différents éléments de la page (images, css, javascript)

J'ai bien regardé du coté de google, de squid etc..

les seuls informations que j'ai trouvé parlent du "prefetching" qui consiste à mettre en cache TOUTES les pages qui ont un lien sur la première page. donc bonjour la bande passante.

Je subis des problèmes de latences importantes entre ma connexion internet et mes ordinateurs
(là n'est pas le problème de ce post)
(ma connexion a une latence normale, c'est la suite de mon réseau qui ne suit pas)

je me dis que mettre un serveur proxy juste derrière ma connexion internet qui anticiperait tout ce qui est téléchargement des images, css et javascript de la page en cours, me ferait gagner 500ms x (le nombre d'éléments)

Merci d'avance pour vos lumières
  • # IPoT

    Posté par  (site web personnel) . Évalué à 5.

    anticipant les requêtes du navigateur pour télécharger les différents éléments de la page
    toi il te manque un proxy IPoT quoi :D
    http://kadreg.org/ipot/
    • [^] # Re: IPoT

      Posté par  (site web personnel) . Évalué à 1.

      En fait pas du tout

      ce que je voudrais c'est que le proxy mette en cache en avance les éléments de la page en cours de téléchargement.

      1) le navigateur appelle la page xyz.htm
      2) le proxy la récupère et l'envoie au navigateur
      2bis) en parallèle le proxy commence déjà a télécargé les images, les css, les javascripts incluent dans cette page juste avant que le navigateur a son tour les demande au proxy
      • [^] # Re: IPoT

        Posté par  . Évalué à 2.

        1) le navigateur appelle la page xyz.htm
        2) le proxy la récupère et l'envoie au navigateur
        2bis) en parallèle le proxy commence déjà a télécargé les images, les css, les javascripts incluent dans cette page juste avant que le navigateur a son tour les demande au proxy

        Je ne vois pas l'interet.
        Que va faire ton navigateur quand tu ouvres une page :
        * Charger la page xyz.htm
        * Parser les documents à charger, charger les documents.

        Ton proxy va faire exactement la même chose et n'apportera rien de plus.
        Ce qui peut t'apporter plus c'est comme te propose les autres un prefetch, ce n'est pas si lourd que ça si c'est bien configuré.
      • [^] # Re: IPoT

        Posté par  . Évalué à 4.

        Si ton proxy est sur le même LAN que ton poste client, alors cette optimisation n'apporte pas grand chose, car la communication sur le LAN est de l'ordre de 1000 fois plus rapide sur ton LAN que sur le réseau internet.

        Dit d'une autre manière, le temps que tu vas gagner, c'est juste le temps que met un fichier html à aller de ton proxy à ton poste client, il est négligeable par rapport au temps de téléchargement du même fichier sur internet.
  • # squid-prefetch

    Posté par  (site web personnel) . Évalué à 2.

    $ apt-cache show squid-prefetch
    Package: squid-prefetch
    ...
    Description: Simple page-prefetch for Squid web proxy
    Squid-Prefetch will perform early fetches of pages linked to by pages already
    read. This means that a user that clicks on a link will have that new page
    appear instantly instead of having to wait for it to be fetched from the
    Internet. Only text pages are prefetched on the assumption that the images
    can be loaded later so long as the text of a page is available for display.
    • [^] # Re: squid-prefetch

      Posté par  . Évalué à 3.

      Visiblement c'est exactement l'inverse qu'il veut, il y a pas un !squid-prefetch dans les dépots debian? :-)

      « Rappelez-vous toujours que si la Gestapo avait les moyens de vous faire parler, les politiciens ont, eux, les moyens de vous faire taire. » Coluche

    • [^] # Re: squid-prefetch

      Posté par  (site web personnel) . Évalué à 2.

      Oui voila j'ai pas envie d'aspirer tous les sites internet que je visite, je souhaite juste que le proxy prenne un peu d'avance sur la page en cours d'affichage
      • [^] # Re: squid-prefetch

        Posté par  . Évalué à 3.

        Je fait des suppositions mais peut être que ce prefetch est suffisamment configurable pour que tu puisse le restreindre a certain types de balises.
  • # manque ?

    Posté par  (site web personnel) . Évalué à 2.

    Il y a qq années, une boite (française) faisant de la location de ligne satellite proposait une pré-configuration de ce type [enfin presque, c' est pas du i-pot quant même...].

    La location de la ligne chez eux prévoyait l' aménagement chez toi d' un peu de leur équipement : un serveur proxy entre autre. (et l' antenne bi-dir bien sûr). Le proxy fonctionnait sur ce principe :

    1. enregistrement des habitudes de navigation :
    Pré-chargement, mise en cache, des mises à jours des pages et morceaux de sites visités.

    2. possibilités de mots clefs sur sites aléatoires :
    Pré-chargement, mise en cache, des sites et morceaux de sites répondant à un certains de critères définis par l' utilisateur.

    Tout le matos fonctionnait avec Linux, et le proxy était Squid. Je me demande ce qu' il est advenu de l' interface web spécifique, et des cgi perl derrières...

    Bon ça doit pas être simple à faire [bien entendu toujours pas de i-pot], pour obtenir des facilités de recherche [sur google] de traitement, et de mises en cache régulières, pour obtenir un 'système' proposant un accès rapide, local, à un grand nombres de sites qui ont été pré-chargés en cache et qui sont maintenus à jour.
    La difficulté réside certainement dans la constitution des arbres hierarchiques de mots clefs (pas question de tous les traiter à même hauteur, sinon c' est le foutoir, et ton proxy va pomper tout...). Il doit falloir faire des arbres de dépendances de mots clefs afin d' obtenir quelque chose de sympa.

    par exemple :
    science & vie
    ______________|>astronomie
    ____________________________|> cosmologie (mais pas !système solaire [histoire d' éviter les trucs rabachés])
    ______________|>nouvelles (toutes)
    ______________|>informatique
    ______________________________|>linux unix
    ______________|dossiers (tous)

    ou encore :
    politique française mais uniquement dans le-figaro
    et économie uniquement dans libération
    politiques internationales dans le monde diplo (et uniquement ça pour le monde diplo)
    etc etc

    Bref, bonjour l' énorme mind mapping à se faire avant de créer la BD, qui sera totalement personnelle, forcément. (par contre la constitution d' arbres par une interface web pourrait être générique)

    Bon courage ;)
  • # DNS?

    Posté par  . Évalué à 5.

    d'expérience, les latences sont souvent dues à un DNS lent. Essaye de mesurer les latences DNS et de téléchargement pour une page, puis une image, suivant leur origine..

    ⚓ À g'Auch TOUTE! http://afdgauch.online.fr

    • [^] # Re: DNS?

      Posté par  (site web personnel) . Évalué à 3.

      exactement.
      au lieu d'utiliser les dns de ma *box, j'utilise directement opendns et j'ai l'impression de surfer plus vite !
      • [^] # Re: DNS?

        Posté par  . Évalué à 1.

        Moi j'utilise une conséquence d'un de tes vieux posts "no-ads.pac": un blackhole DNS (local) et tout se charge plus vite.

        Beaucoup de lenteurs sont dues au chargement de "bruits" tels google-analytics, xiti avec leur meta html "no-cache".
  • # Pipelining

    Posté par  . Évalué à 1.

    As-tu vérifié si ton navigateur utilise la possibilité de pipelining de HTTP 1.1 ( http://fr.wikipedia.org/wiki/Pipelining_HTTP ) ? Cela permet l'émission en chaîne de toutes les requêtes sur une unique connexion HTTP sans attendre les réponses de celles-ci. Le temps utilisé se limite alors à 2 fois le temps de latence : un temps de latence pour récupérer la page et un autre temps pour l'envoi et la récupération de tous les éléments cités par la page (en supposant bien sûr que tous les éléments sont bien hébergés par le même serveur).

    Par exemple pour Firefox, le pipelining s'active en utilisant la propriété "network.http.pipelining" dans about:config. Il est possible également de configurer le nombre maximal de requêtes pipelinées.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.