Pour continuer à télécharger avec wget, il faut maintenant faire :
#First step is set cookie
wget --save-cookies cookie.txt --keep-session-cookies urlFichier -O tmpFile
#Second step is retry with cookie
wget -c --load-cookies cookie.txt urlFichier
#Then clean tmp file
rm tmpFile cookie.txt
# Pb dl.free.fr
Posté par czeus2 . Évalué à 1.
je viens faire part d'un problème.
il s'agirait d'un problème pour récupérer des fichiers sur dl.free.fr avec wget
jusqu'à présent j'utilisait sous ma debian les commandes suivantes:
#First step is set cookie
wget --save-cookies cookie.txt --keep-session-cookies urlFichier -O tmpFile
#Second step is retry with cookie
wget -c --load-cookies cookie.txt urlFichier
#Then clean tmp file
rm tmpFile cookie.txt
mais plus rien n'a l'air de fonctionné depuis le lundi 24 Septembre à 9h45 environ ,
à quoi cela est due ? suis-je le seul concerné ? le reboot des serveur ftp de free est - il en cause ?
liens:: http://dl.free.fr/ev.html
" 24/09: Modification d'une partie de l'archi. Relance des serveurs web. "
si quelqu'un à des news merci de répondre à ce post ou bien de m'envoyer un mail sur czeus2.news@gmail.com
merci
cordialement.
[^] # Re: Pb dl.free.fr
Posté par Anonyme . Évalué à 2.
Avant lorsque tu fesais le wget il te retournait la page web ainsi qu'un cookie contenant un id temporaire de téléchargement. Il te suffisait alors de faire un premier wget pour sauver le cookie, puis un second avec le cookie chargé pour pouvoir télécharger le fichier.
Mais maintenant il n'y a pas seulement le cookie qui contient cet id unique et temporaire de téléchargement, la page web aussi.
Par exemple, si je fais un essai, j'obtiens dans le cookie l'id suivant: "nIOUnoHgvR", or dans la page web je trouve aussi le code suivant "\<img src=\"/im.pl?c=nIOUnoHgvR&f=1627431\"\>", et comme il s'agit d'une image, un navigateur "normal" va automatiquement chercher à la telecharger.
Pas le temps de tester mais mon avis est que si tu ne télécharges pas d'abord cette pseudo image, tu ne pourras pas télécharger le fichier, même avec le cookie.
En tout cas, c'est forcément un truc du genre, si firefox peut telecharger le fichier, alors wget aussi, faut juste creuser un peu dans les octets que renvoie le server free lors de la première requete.
Peut-être aussi penser à spoofer le referent lors des requêtes, desfois que... ^_^
Oyasumi nasai v_v
[^] # Re: Pb dl.free.fr
Posté par Val1472 . Évalué à 1.
Le script mis à jour :
- ajout referer
- ajout user-agent
- ajout de l'image "im.pl"
C'est pas très très propre, mais ça marche. :)
USER_AGENT="Mozilla/5.0 (Linux; U; Linux x86; fr-FR; rv:1.7.5) Gecko/20041202 Firefox/1.0"
#First step is set cookie
wget --save-cookies cookie.txt --keep-session-cookies --user-agent="$USER_AGENT" $1 -O tmpFile
#Second step is to download the img file
PL_LINE=`grep "img src=\"/im.pl" tmpFile`
PL_FILE=`echo $PL_LINE | cut -d\" -f3`
wget --load-cookies cookie.txt http://dl.free.fr/$PL_FILE -O tmpFile
#Third step download with cookie
FILE=`echo $1 | sed s#http://dl.free.fr##g`
wget -c --load-cookies cookie.txt --referer="http://dl.free.fr/getfile.pl?file=$FILE" --user-agent="$USER_AGENT" $1
#Then clean tmp file
rm tmpFile cookie.txt
[^] # Re: Pb dl.free.fr
Posté par czeus2 . Évalué à 1.
Val1472 à encore frappé lol :)
rappel:
étape 1
tu modifies le $PATH de ton user ( pour moi root )
pour connaître son $PATH:
$ printenv
étape 2
tu modifies le fichier /home/user/.bashrc ( pour moi /root/.bashrc ) et tu y rajoutes le chemin ou tu as placé ton script
en ligne de commande ça donne pour moi:
$ echo 'export PATH=$PATH:/home/scripts/' >> /root/.bashrc
étape 3
tu fais un $ vim free.sh dans le répertoire que tu auras choisis et tu y colles le script ci-dessous
étape 4
tu rends ton script éxécutable
commande:
$ chmod 755 free.sh
étape 5
si tu étais sous putty (client ssh) pour faire ces manips, fermes ta session et ouvres-en une autre
vérifie ton $PATH avec
$ printenv
étape 6
tu te positionnes dans le répertoire où tu souhaites télécharger ton fichier et tu tapes:
$ free.sh URLduFichier
il marche nikel :)
++
source: http://linuxfr.org/tips/573.html
script:
#!/bin/bash
#############################################
## download files with wget on dl.free.fr ##
#############################################
## created by Val1472, tutos by czeus2 ##
#############################################
USER_AGENT="Mozilla/5.0 (Linux; U; Linux x86; fr-FR; rv:1.7.5) Gecko/20041202 Firefox/1.0"
#First step is set cookie
wget --save-cookies cookie.txt --keep-session-cookies --user-agent="$USER_AGENT" $1 -O tmpFile
#Second step is to download the img file
PL_LINE=`grep "img src=\"/im.pl" tmpFile`
PL_FILE=`echo $PL_LINE | cut -d\" -f3`
wget --load-cookies cookie.txt http://dl.free.fr/$PL_FILE -O tmpFile
#Third step download with cookie
FILE=`echo $1 | sed s#http://dl.free.fr##g`
wget -c --load-cookies cookie.txt --referer="http://dl.free.fr/getfile.pl?file=$FILE" --user-agent="$USER_AGENT" $1
#Then clean tmp file
rm tmpFile cookie.txt
##Thanks to Val1472##
[^] # Re: Pb dl.free.fr
Posté par czeus2 . Évalué à 1.
on dirait qu'une fois le fichier téléchargé, il recommence le téléchargement...
une idée ?
j'ai pas vu de boucle dans le script de Val...
chercher l'erreur :)
[^] # Re: Pb dl.free.fr
Posté par czeus2 . Évalué à 1.
j'ai mis des # à chaque ligne avec des echo step 1 2 3 cleaning...
j'ai enfin fini par comprendre en fesant un simple wget URLfichier...
free a enlevé la protection qu'il avait mis avec le im.pl ...
voilà pk j'avais des boucles de téléchargement.
Mais Problème...
en fesant un wget URLfichier on se retrouve avec un ./fichier ( fichier temporaire du fichier téléchargé ) ...
Je ne sais pas si ce fichier est lisible ou pas directement... j'ai fait les test via PuTTy en SSH je n'ai pas pu consulter le fichier...
merci de me tenir informer :)
czeus2.news@gmail.com
[^] # Re: Pb dl.free.fr
Posté par czeus2 . Évalué à 1.
je suis bête...
je fesais un "du -a" ... et je voyais donc mon fichier en ./fichier...
en fesant un simple "ls" je vois bien mon fichier...
faut il encore voir si il est lisible :)
je vous tiens au coruant :)
[^] # Re: Pb dl.free.fr
Posté par Val1472 . Évalué à 1.
Un wget urlFichier télécharge le fichier. :)
[^] # Re: Pb dl.free.fr
Posté par mlinux . Évalué à -1.
tout vient à qui sait attendre :=p)
# WGET DL FREE et Authentification !
Posté par JulienBreux . Évalué à 1.
http://www.wasium.fr/wiki/wiki.php/Wget%20DL%20FREE
# erreur 404 avec -c
Posté par Laurent Vaills . Évalué à 1.
J'essaie aussi de télécharger une URL Free avec wget mais ça ne marche pas comme je veux.
Si je lance "wget ${URL}" ça marche mais dès que j'essaie d'utiliser l'option -c (--contiunue) wget me sort une erreur 404.
Est ce que quelqu'un saurait pourquoi ?
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.