Forum Astuces.divers [Web] wget et cookie dl.free.fr

Posté par .
Tags : aucun
1
30
juil.
2007
Depuis la mise à jour du service dl.free.fr, wget urlFichier retourne la page html du service.

Pour continuer à télécharger avec wget, il faut maintenant faire :


#First step is set cookie
wget --save-cookies cookie.txt --keep-session-cookies urlFichier -O tmpFile

#Second step is retry with cookie
wget -c --load-cookies cookie.txt urlFichier

#Then clean tmp file
rm tmpFile cookie.txt
  • # Pb dl.free.fr

    Posté par . Évalué à 1.

    Bonjour,

    je viens faire part d'un problème.

    il s'agirait d'un problème pour récupérer des fichiers sur dl.free.fr avec wget

    jusqu'à présent j'utilisait sous ma debian les commandes suivantes:

    #First step is set cookie
    wget --save-cookies cookie.txt --keep-session-cookies urlFichier -O tmpFile

    #Second step is retry with cookie
    wget -c --load-cookies cookie.txt urlFichier

    #Then clean tmp file
    rm tmpFile cookie.txt

    mais plus rien n'a l'air de fonctionné depuis le lundi 24 Septembre à 9h45 environ ,
    à quoi cela est due ? suis-je le seul concerné ? le reboot des serveur ftp de free est - il en cause ?

    liens:: http://dl.free.fr/ev.html
    " 24/09: Modification d'une partie de l'archi. Relance des serveurs web. "

    si quelqu'un à des news merci de répondre à ce post ou bien de m'envoyer un mail sur czeus2.news@gmail.com

    merci
    cordialement.
    • [^] # Re: Pb dl.free.fr

      Posté par . Évalué à 2.

      Oui j'ai le même problème, je viens juste de tomber dessus en rentrant. Pas le temps de regarder attentivement faut que je me couche ^^, mais je pense avoir trouvé le problème. (c'est fou ce qu'on peut faire en 30 secondes avec ngrep ^^;)

      Avant lorsque tu fesais le wget il te retournait la page web ainsi qu'un cookie contenant un id temporaire de téléchargement. Il te suffisait alors de faire un premier wget pour sauver le cookie, puis un second avec le cookie chargé pour pouvoir télécharger le fichier.

      Mais maintenant il n'y a pas seulement le cookie qui contient cet id unique et temporaire de téléchargement, la page web aussi.

      Par exemple, si je fais un essai, j'obtiens dans le cookie l'id suivant: "nIOUnoHgvR", or dans la page web je trouve aussi le code suivant "\<img src=\"/im.pl?c=nIOUnoHgvR&f=1627431\"\>", et comme il s'agit d'une image, un navigateur "normal" va automatiquement chercher à la telecharger.

      Pas le temps de tester mais mon avis est que si tu ne télécharges pas d'abord cette pseudo image, tu ne pourras pas télécharger le fichier, même avec le cookie.

      En tout cas, c'est forcément un truc du genre, si firefox peut telecharger le fichier, alors wget aussi, faut juste creuser un peu dans les octets que renvoie le server free lors de la première requete.

      Peut-être aussi penser à spoofer le referent lors des requêtes, desfois que... ^_^

      Oyasumi nasai v_v
      • [^] # Re: Pb dl.free.fr

        Posté par . Évalué à 1.

        Et c'est Sigmatador qui gagne un +1 !

        Le script mis à jour :
        - ajout referer
        - ajout user-agent
        - ajout de l'image "im.pl"

        C'est pas très très propre, mais ça marche. :)

        USER_AGENT="Mozilla/5.0 (Linux; U; Linux x86; fr-FR; rv:1.7.5) Gecko/20041202 Firefox/1.0"

        #First step is set cookie
        wget --save-cookies cookie.txt --keep-session-cookies --user-agent="$USER_AGENT" $1 -O tmpFile

        #Second step is to download the img file
        PL_LINE=`grep "img src=\"/im.pl" tmpFile`
        PL_FILE=`echo $PL_LINE | cut -d\" -f3`
        wget --load-cookies cookie.txt http://dl.free.fr/$PL_FILE -O tmpFile

        #Third step download with cookie
        FILE=`echo $1 | sed s#http://dl.free.fr##g`
        wget -c --load-cookies cookie.txt --referer="http://dl.free.fr/getfile.pl?file=$FILE" --user-agent="$USER_AGENT" $1

        #Then clean tmp file
        rm tmpFile cookie.txt
        • [^] # Re: Pb dl.free.fr

          Posté par . Évalué à 1.

          Bonne nouvelle,
          Val1472 à encore frappé lol :)

          rappel:
          étape 1
          tu modifies le $PATH de ton user ( pour moi root )
          pour connaître son $PATH:
          $ printenv

          étape 2
          tu modifies le fichier /home/user/.bashrc ( pour moi /root/.bashrc ) et tu y rajoutes le chemin ou tu as placé ton script
          en ligne de commande ça donne pour moi:
          $ echo 'export PATH=$PATH:/home/scripts/' >> /root/.bashrc

          étape 3
          tu fais un $ vim free.sh dans le répertoire que tu auras choisis et tu y colles le script ci-dessous

          étape 4
          tu rends ton script éxécutable
          commande:
          $ chmod 755 free.sh

          étape 5
          si tu étais sous putty (client ssh) pour faire ces manips, fermes ta session et ouvres-en une autre
          vérifie ton $PATH avec
          $ printenv

          étape 6
          tu te positionnes dans le répertoire où tu souhaites télécharger ton fichier et tu tapes:
          $ free.sh URLduFichier

          il marche nikel :)
          ++

          source: http://linuxfr.org/tips/573.html

          script:

          #!/bin/bash

          #############################################
          ## download files with wget on dl.free.fr ##
          #############################################
          ## created by Val1472, tutos by czeus2 ##
          #############################################

          USER_AGENT="Mozilla/5.0 (Linux; U; Linux x86; fr-FR; rv:1.7.5) Gecko/20041202 Firefox/1.0"

          #First step is set cookie
          wget --save-cookies cookie.txt --keep-session-cookies --user-agent="$USER_AGENT" $1 -O tmpFile

          #Second step is to download the img file
          PL_LINE=`grep "img src=\"/im.pl" tmpFile`
          PL_FILE=`echo $PL_LINE | cut -d\" -f3`
          wget --load-cookies cookie.txt http://dl.free.fr/$PL_FILE -O tmpFile

          #Third step download with cookie
          FILE=`echo $1 | sed s#http://dl.free.fr##g`
          wget -c --load-cookies cookie.txt --referer="http://dl.free.fr/getfile.pl?file=$FILE" --user-agent="$USER_AGENT" $1

          #Then clean tmp file
          rm tmpFile cookie.txt

          ##Thanks to Val1472##
          • [^] # Re: Pb dl.free.fr

            Posté par . Évalué à 1.

            Le script marchait très bien jusqu'à ce matin ( 12/10/2007 )
            on dirait qu'une fois le fichier téléchargé, il recommence le téléchargement...
            une idée ?

            j'ai pas vu de boucle dans le script de Val...

            chercher l'erreur :)
            • [^] # Re: Pb dl.free.fr

              Posté par . Évalué à 1.

              test :
              j'ai mis des # à chaque ligne avec des echo step 1 2 3 cleaning...

              j'ai enfin fini par comprendre en fesant un simple wget URLfichier...

              free a enlevé la protection qu'il avait mis avec le im.pl ...

              voilà pk j'avais des boucles de téléchargement.

              Mais Problème...

              en fesant un wget URLfichier on se retrouve avec un ./fichier ( fichier temporaire du fichier téléchargé ) ...

              Je ne sais pas si ce fichier est lisible ou pas directement... j'ai fait les test via PuTTy en SSH je n'ai pas pu consulter le fichier...

              merci de me tenir informer :)
              czeus2.news@gmail.com
              • [^] # Re: Pb dl.free.fr

                Posté par . Évalué à 1.

                autant pour moi,
                je suis bête...
                je fesais un "du -a" ... et je voyais donc mon fichier en ./fichier...

                en fesant un simple "ls" je vois bien mon fichier...

                faut il encore voir si il est lisible :)

                je vous tiens au coruant :)
          • [^] # Re: Pb dl.free.fr

            Posté par . Évalué à 1.

            Apparemment le service est redevenu "normal".
            Un wget urlFichier télécharge le fichier. :)
  • # WGET DL FREE et Authentification !

    Posté par . Évalué à 1.

    Voici le script qui permet de vous authentifier

    http://www.wasium.fr/wiki/wiki.php/Wget%20DL%20FREE
  • # erreur 404 avec -c

    Posté par . Évalué à 1.

    Salut.

    J'essaie aussi de télécharger une URL Free avec wget mais ça ne marche pas comme je veux.
    Si je lance "wget ${URL}" ça marche mais dès que j'essaie d'utiliser l'option -c (--contiunue) wget me sort une erreur 404.

    Est ce que quelqu'un saurait pourquoi ?

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.