fycloud a écrit 7 commentaires

Merci, grand merci.
Ca fait exactement ce que je voulais.
Je ne connaissais pas.

je reprends mes deux autres sources où il n'y a pas le rendu.

(le lastmodified sera toujours le dernier champs entre guillements)

Ah une autre précision, quand je dis si un champs est vide il est remplacé par un tiret : c'est dans le fichier log qu'on le voit. Ce n'est pas moi qui le remplace ^{^}

Une autre ligne de log (ici avec lastmodified = Mon, 22 Dec 2014 18:38:26 GMT que je souhaite sous ce format là : 22Dec2014) :

Dec 28 04:15:04 $$$##$.$$$$$.$$$$$ apache[#####]: 66.249.67.xxx - - [28/Dec/2014:04:15:04 +0100] "GET /url HTTP/1.0" 304 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" www.$$$$$$$$$$$$$$$$.fr 9476 "Mon, 22 Dec 2014 18:38:26 GMT" 

date|ip|get|temps_chargement|domaine|res_code|referer|user_agent|last_modified
28Dec2014|66.249.67.xxx|/url|9476|www.$$$$$$$$$$$$$$$$.fr|304|-|Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)|22Dec2014

Encore une (avec referer google.it et pas de last modified) :

Dec 28 04:15:06 $$$##$.$$$$$.$$$$$ apache[#####]: 66.249.67.xxx - - [28/Dec/2014:04:15:06 +0100] "GET /url HTTP/1.0" 200 33202 "https://www.google.it/" "Mozilla/5.0 (iPad; CPU OS 7_1_2 like Mac OS X) AppleWebKit/537.51.2 (KHTML, like Gecko) Version/7.0 Mobile/11D257 Safari/9537.53" www.$$$$$$$$$$$$$$$$.fr 522265 "-" 

date|ip|get|temps_chargement|domaine|res_code|referer|user_agent|last_modified
28Dec2014|66.249.67.xxx|/url|522265|www.$$$$$$$$$$$$$$$$.fr|200|https://www.google.it/|Mozilla/5.0 (iPad; CPU OS 7_1_2 like Mac OS X) AppleWebKit/537.51.2 (KHTML, like Gecko) Version/7.0 Mobile/11D257 Safari/9537.53|-

Merci pour le tips python :)

Mais ouep je souhaite apprendre awk

Ravie d'apprendre que c'est le plus facile, je vais le faire dans le begin, mais est-ce que ça sera bien pris en compte lorsque je ferai mon gsub derrière ?

j'ai mis un ip de Googlebot, elle est publique. Je comprends ton pinaillage ne t'en fais pas. Les bons devs sont pinailleurs. C'est bon signe.

Il y a des lignes ou l'ip n'est effectivement pas présente. C'est alors remplacé par un -
Mais ce n'ets pas le cas dans les exemples que j'ai envoyés (tu confonds ptet avec la ligne de ce que je souhaiterais en print)

Ah pour justifier l'emploi du awk : je souhaiterais faire des opérations sur ce fichier par la suite.

Et bon, ça m'oblige à faire un peu de script, et me permettrai d'appréhender des choses un peu plus compliquées quand j'en aurai besoin :)

test je me prends des erreurs 500 :(
soit parce que ma réponse est trop longue (exemples de lignes) soit qu'il ne prend pas certains caractères spéciaux

Bonjour et merci de ta réponse, rapide.

Je tiens à cacher l'ip/domaine et d'autres infos, je ne pense pas que cela change quelque chose. Je suis désolée mais ce sont des infos que je ne peux pas divulguer. Même en laissant l'url en get, on arrive à retrouver de quel site il s'agit, et pour qui je travaille…

Je remplace lettre par $, chiffre par #

le "xxx" à la fin de l'ip est ce que l'on récupère de notre côté : pas le droit de récupérer / stocker cette donnée des internautes. On remplace par des xxx. On récupère directement ça sur les serveurs.

Dec 28 04:15:04 $$$##$.$$$$$.$$$$$ apache[#####]: 66.249.67.xxx - - [28/Dec/2014:04:15:04 +0100] "GET /url HTTP/1.0" 302 224 "-" "Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" www.$$$$$$$$$$$$$$$$.fr 89 "-" 

Ce que je veux :

28Dec2014|###.###.###.xxx|/url|89|www.$$$$$$$$$.fr|302|-|Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)|-

En fait le rendu dépend de la ligne, car toutes les lignes n'ont pas forcément de referer ou de lastmodified rempli. Le last modified n'est présent que lorsqu'il s'agit d'un bot Google

Une autre ligne de log (ici avec lastmodified = Mon, 22 Dec 2014 18:38:26 GMT que je souhaite sous ce format là : 22Dec2014) :

Dec 28 04:15:04 $$$##$.$$$$$.$$$$$ apache[#####]: 66.249.67.xxx - - [28/Dec/2014:04:15:04 +0100] "GET /url HTTP/1.0" 304 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" www.$$$$$$$$$$$$$$$$.fr 9476 "Mon, 22 Dec 2014 18:38:26 GMT" 

Encore une (avec referer google.it et pas de last modified) :

Dec 28 04:15:06 $$$##$.$$$$$.$$$$$ apache[#####]: 66.249.67.xxx - - [28/Dec/2014:04:15:06 +0100] "GET /url HTTP/1.0" 200 33202 "https://www.google.it/" "Mozilla/5.0 (iPad; CPU OS 7_1_2 like Mac OS X) AppleWebKit/537.51.2 (KHTML, like Gecko) Version/7.0 Mobile/11D257 Safari/9537.53" www.$$$$$$$$$$$$$$$$.fr 522265 "-" 

Mon rendu contient tous les champs :
date|ip|get|temps_chargement|domaine|res_code|referer|user_agent|last_modified

PS : ne t'en fais pas !
Même si la dernière fois que j'ai posté sur forum c'était il y a 15 ans, j'ai l'habitude d'en lire :)

ps2 : rha et si on peut transformer les JAN FEV etc en 01 02 ^{^}

Bonjour,

Merci pour les liens.

Dans awk le FS=" |\"" fonctionn, il dit bien que mon séparateur est l'espace ou le guillement.

Ou alors trouver une solution pour d'abord parser sur le séparateur espace, puis le séparateur guillemet ?

J'avour que ça résoudrait le problème :)