gaaaaaAab a écrit 1387 commentaires

Tu peux utiliser la commande eval pour fabriquer une commande shell à partir de texte.

Par exemple :

$ unset Sat1
$ x=Sat
$ y=1
$ $x$y=0  # incorrect
bash: Sat1=0: command not found
$ eval $x$y=0 # ça marche
$ echo $Sat1
0

effectivement, j'avais un peu survolé ça :

je travaille à approfondir mes connaissances qui sont très de base sur AWK

mes confuses :)

utiliser que des commandes awk sans aucun appel à des binaires externes (ce qui est tout de même plus intéressant)

c'est une affirmation générale qui n'est pas forcément vraie. Selon quel(s) critère(s) c'est mieux ?

En terme de temps de développement, c'est clairement moins bien, vu que sort | uniq, c'est immédiat pour à peu près tout le monde sur ce forum.

En terme de performances en temps de traitement, on ne peut jamais dire grand chose sans mesurer sur des données correspondant au cas réel. Je pense qu'une version tout en awk sera plus performante si on doit traiter un très grand nombre de fichier (parce qu'on économise des forks) mais pour le reste … (autre volumétrie, consommation mémoire, …)

Dans l'absolu, entre deux solutions techniquement satisfaisantes, on va choisir en fonction des compromis fait par chaque version par rapport aux besoins qu'on a. Dans l'absolu, il y existe rarement une solution qui soit meilleure dans tous les cas.

ça serait peut-être possible en utilisant la fonction system() de awk, mais je déconseille très fortement (c'est pas portable, et puis il y a mieux). En shell, quand on veut composer différents utilitaires, on utilise le caractère | qui redirige la sortie de la commande le précédent sur l'entrée de la commande suivante. Exemple :

> ls -la | less

Vu que ça fait partie des mécanismes de base quand on travaille en ligne de commande, je t'invite à jeter un oeil sur un tutoriel de shell.

je n'ai pas moinssé ton journal, mais je vois bien quelques raisons de le faire :

1: ton journal n'est pas clair.

Est-ce que le moteur du site web est libéré, va l'être, ou veut l'être ? Est-ce qu'il y a une annonce sur le site en question ? auquel cas un lien vers l'annonce serait le bienvenu.

"je vous invoque à libérer" ne veut rien dire en français, en tout cas, pas dans celui que je comprends.

Tu invites les lecteurs de linuxfr à filer des sous ? (Tu parles d'un bouton de dons)
Si effectivement tu invites les lecteurs à contribuer financièrement (ou si c'est ce que certains comprennent), ça peut aussi expliquer ton moinssage. Les publicités se font souvent moinsser ici. De plus, si tu demandes des sous, ça serait bien de préciser tes éventuels liens avec le site web en question, si tu es plus qu'un simple lecteur du comptoir du hardware.

2: pourquoi c'est important ?

libérer un moteur site web, c'est cool, mais pour les gens qui ne connaissent pas ce site web (genre moi), quelles sont les spécificités de ce moteur qui le différencie des what-milles moteurs de site web déjà libres ? ça serait un sujet intéressant à développer. Là, tu nous as surtout listé des défauts dans le TODO, ça vend pas du rêve :-)

Désolé pour la forme peu orthodoxe de ce journal, je n'ai pas l'habitude et je n'ai eu que peu de temps à lui consacrer, mais derrière ces phrases alambiquées il y a là un fond bien censé !

La dernière phrase de ton journal laisse penser que tu es conscient que tu produis des phrases alambiquées, et que tu as fait ça vite fait. C'est une bonne piste d'amélioration pour tes futures contributions (et une possible explication pour le moinssage) !

Si ça peut te rassurer, "tout le monde" ne t'as pas moinssé. Il y a même encore pas mal de marge ;-)

J'espère t'avoir convaincu que ton journal souffre de défauts objectifs. Le moinssage porte bien sur le journal, et pas sur toi en tant que personne. Du coup, si tu pouvais éviter à l'avenir le ton passif-agressif de ton commentaire, ça serait bien, parce que là, ça ne donne pas vraiment envie de te répondre. Si tu prends un peu de temps pour rectifier le tir et nous expliquer clairement de quoi tu parles, je pense que tu verras les réactions plus positives que tu attendais.

c'est un peu plus clair, mais ça soulève d'autres questions. Vous avez si peu confiance dans votre mécanisme de fusion que vous deviez faire ce type de vérification ? Ou alors vous avez à faire à un intervenant tiers qui parfois fais sa fusion correctement, parfois pas, et vous n'y pouvez rien ? En tout cas, ça fait pas rêver :D

à priori, je ferais probablement un truc dans ce gout là, mais il manque quelques infos dans la présentation du problème pour mieux cerner le problème. Par exemple, tu présupposes que le fameux champs 8 peut prendre beaucoup de valeurs différentes, ce qui mènerait à une table de hachage relativement importante, mais c'est un truc à vérifier. La variabilité de ce champs peut changer le choix de la méthode de résolution. Par exemple, si le champ ne peut prendre qu'un nombre relativement restreint de valeurs, on pourrait arrêter de parser les deux fichiers dès qu'on aurait relevé la présence au moins une fois de chaque valeur dans le second fichier.

A partir d'ici, ce commentaire ne s'adresse plus à toi, mais à l'auteur de la question.

Une meilleure connaissance du contexte pourrait aussi aider.
Par exemple, est-ce que c'est un script qui doit être lancé régulièrement ou est-ce que ça ne servira qu'une fois de temps en temps ? Est-ce qu'il y a des contraintes particulières sur le temps de traitement, l'espace disque, la quantité de RAM disponible ? Est-ce que le second fichier est un fichier de référence qui évolue lentement au cours du temps (auquel cas on pourrait maintenir un index des valeurs possibles dans un fichier indépendant et trié), ou est-ce qu'on doit régulièrement comparer deux fichiers dont la taille varie arbitrairement ? Est-ce que les fichiers sont triés sur le champ 8 ? (peu probable, mais si c'est le cas, on peut gagner plein de temps).

Tant qu'on y est, comment sont générés ces fichiers et est-ce qu'on a accès à leur mode de génération ? (genre s'ils sont extraits du BDD à laquelle on a accès, il y a peut-être quelque chose à faire).

Si on va par là, un article de blog et un commentaire ne sont pas fondamentalement différents non plus. Ils sont tous les deux composés de texte et/ou d'image, ils ont tous les deux un auteur, et ils sont tous les deux liés à une URL. La seule différence (a priori, mais ton application peut être plus complexe), c'est que l'article est autonome, alors que le commentaire est rattaché à un article. Il y a plusieurs façons de modéliser ça. Quelques exemples :

• si on estime que malgré leur ressemblance technique, un article et un commentaire sont vraiment fonctionnellement très différents, on peut utiliser deux tables.
• si la différence n'est pas si marquée, on peut avoir une colonne indiquant si le commentaire es rattaché un commentaire parent (cad l'article). Pour l'application, du point de vue fonctionnel, si le commentaire n'a pas de parent, c'est que c'est un article. S'il a un parent, c'est un commentaire.
• on peut même simplifier encore en remarquant que dans une succession de commentaires rattachés à une même URL, l'article, c'est le premier commentaire dans l'ordre chronologique. On peut avoir une structure en DB très simple pour modéliser tant un article qu'un commentaire (auteur, date, contenu, url), et laisser l'application se débrouiller pour trier entre article et commentaire.
• …

Ta question sur le nom "user_blog_articles_comments" est très pertinente. En effet, si tu commences à nommer tes tables avec les noms des colonnes sur lesquelles portent des contraintes de clef étrangère, t'es mal barré. Dans tous les cas, je pense que ça vaudrait le coup que tu modélises ta DB (à un niveau d'abstraction au dessus de la technique) avant de commencer à définir la structure technique des tables de la DB. Je crois qu'il faut aussi viser le modèle de DB le plus simple possible qui puisse répondre au besoin. C'est beaaauuuuuucoup plus simple de changer du code que de changer la structure d'une DB (pour de la DB relationnelle).

Perso, j'aime bien le modèle entité/association (google est ton ami). Il m'a souvent aidé à comprendre ce que j'essayais de faire, et si la modélisation est bien faite (et la première itération n'est jamais la bonne), la traduction en modèle relationnel est quasi automatique. (Regarde aussi du côté des formes normales)

Un des avantages du C, c'est que ça s'intègre relativement facilement dans à peu près n'importe quelle pile technologique. Du coup, j'aurais tendance à choisir l'infrastructure de test d'abord. Perso, je n'ai pas eu les moyens de pousser la question autant que j'aurais aimé, mais j'avais testé sur une base de l'infra de tests de libboost en C++ (je n'ai aucun goût pour le C++, et je n'aimerais pas coder sur un projet exclusivement en C++, mais sur de l'infra de test, ça va très bien), et testé aussi sur du Python en ctypes. On peut aussi wrapper vers du java en JNI mais, à mon avis, c'est un chouille plus galère.
Dans tous les cas, ça implique probablement d'ajouter pas mal de helpers dans le code, et donc prévoir des options de compils test/prod (rien que pour tester les fonctions non exportées par exemple). Pour faire de l'intégration continue, faudra aussi expliquer à l'outil comment compiler le code. Du coup, pour évite de recompiler tout à chaque test, il vaut mieux avoir une compilation aussi modulaire que le code lui même.

Dans tous les cas, je déconseille l'écrite d'un framework perso. ça serait dommage de se priver de tout ce qui existe dans le domaine de l'intégration continue (récup des sources, build, lancement auto des campagnes de test, collecte des résultats, …)

Bon désolé, c'est pas une réflexion très approfondie, mais c'est peut-être quelques pistes. En tout cas, si tu arrives à un truc qui te plait, ça m'intéresse d'avoir un retour.

à mon avis, on peut traiter chaque question avec une seule invocation de sed, mais si je devais le faire, je pense que je ferais du grep pour les deux premiers, et du sed pour le reste. Vu le niveau, si tu fais des scripts sed complexes, je pense que le prof te fait des bisous parce que tu connais sed, et qu'ensuite il te saque parce que c'est overkill :-)

Non mais à te lire, on a l'impression qu'il "suffisait" d'y mettre plus d'argent, et ce que j'essaie de pointer ici, c'est que s'il "suffisait" d'y mettre plus d'argent, on pourrait résoudre quasiment tous les problèmes d'un pays en un rien de temps.

dans l'absolu, c'est peut-être pas faux ;-) mais non, ce n'est pas ce que je disais. De mon côté, je réagissais au côté "il n'y a pas d'alternative" de ton commentaire.

Sachant qu'il y avait un autre point aussi, qui était : "tout faire bien", ça nous a conduit à une dette abyssale".
Je crois que je comprends ce que tu veux dire, et je ne suis pas d'accord avec ce que je crois que tu dis. Mais comme je ne suis pas sûr, tant que tu n'explicites pas, je retiens mon clavier.

A vrai dire j'ai failli expliciter mon propos mais j'ai finalement opté pour le lapidaire pour l'effet rhétorique. Si j'en crois la stabilisation de ma note (qui a sacrément oscillé, y compris vers des tréfonds négatifs), j'ai bien fait :)

heu … j'avoue que je ne sais pas comment interpréter ça.

Mais sur le fond, je m'incline, ma question était effectivement mal posée, et mon développement très superficiel. C'était plus du ressenti que du raisonnement.

Ravie d'apprendre que c'est le plus facile, je vais le faire dans le begin, mais est-ce que ça sera bien pris en compte lorsque je ferai mon gsub derrière ?

j'ai peut-être grillé quelques étapes, je développe. Tu peux déclarer un tableau associatif dans le bloc BEGIN, qui sera ensuite une variable globale. Tu pourrais aussi le déclarer dans le bloc principal, mais il serait alors ré initialisé à chaque ligne, ce qui coute des performances. Ensuite, non, la traduction des JAN/FEB en 01/02 n'est pas "magique", il faudra bien utiliser ce tableau dans le bloc principal pour effectuer le remplacement. Mais je t'en laisse un petit peu à faire ;-)

tu confonds ptet avec la ligne de ce que je souhaiterais en print

Je ne confonds pas, mais c'est bien de ça dont je parle. Si tu mets 3 lignes de données d'exemple, il faudrait aussi les 3 lignes de résultats attendus correspondant précisément à ces exemples. Pour toi, c'est peut-être évident que ###.###.### du résultat attendu correspond à tel truc pour la première ligne de donnée, tel autre pour la seconde ou '-' pour la troisième. De mon point de vue, avoir une ligne de résultat avec un truc que je ne vois pas dans les données, c'est une source d’ambiguïté.

Je tiens à cacher l'ip/domaine et d'autres infos, je ne pense pas que cela change quelque chose.

Pas de problème. C'était le remplacement du status HTML par rescode et du temps de chargement par tempschargementenchiffres dans ton exemple qui me faisait tiquer. Par contre, désolé de pinailler, mais il y a encore un truc qui m'échappe. Dans le résultat attendu, le deuxième champ est ###.###.###.xxx, mais cette chaine de caractères n'est pas présente dans la ligne de donnée (à moins que ça soit mangé par le formattage du site).

Pour l'anonymisation, /url et mondomaine.fr me vont très bien. Pour anonymiser les adresses ip, tu pourrais utiliser une IP bidon genre 1.2.3.4 plutôt que des #. ça permettrait de s'y retrouver plus facilement, et surtout, ça serait une valeur du même type que la vraie donnée.

ps2 : rha et si on peut transformer les JAN FEV etc en 01 02 ^

ça, c'est p-e la partie la plus facile de la question :) Tu pourrais initialiser un tableau associatif (comme un dict en Python) dans le bloc BEGIN pour écrire les associations entre les mois et leur nombre, et t'en servir dans le print.

Je souhaiterais me mettre au awk, car on me dit que c'est plus performant qu'une succession de cut et sed.

mouais. S'il y a des invocations multiples de cut et sed pour chaque ligne du fichier, forcément, awk risque d'être plus rapide. Mais si les cut et sed sont factorisables pour avoir une seule invocation de cut et sed pour traiter l'intégralité du ficher, c'est beaucoup moins sûr.

Pour ma part, si je dois choisir entre awk et sed, ce n'est pas sur le critère performance, mais plutôt sur le type de traitement. Quand il faut traiter du flux, j'utilise quasiment toujours sed/cut. awk permet plus facilement d'ajouter des traitements globaux dans le bloc END, ou d'appliquer des traitements sur des blocs multilignes (mais c'est possible de faire des trucs de ouf en sed). Sachant qu'en vrai, si je dois effectuer un traitement suffisamment complexe pour nécessiter un bloc END, je vais assez rapidement basculer sur un langage de script plus évolué (genre Python).

Cela dit, se frotter à des langages qu'on ne connait pas, c'est jamais du temps perdu.

Par rapport à ta question, pourrais-tu donner une "vraie" ligne d'exemple (par exemple en n'anonymisant que le nom de domaine et l'IP) ? (Pourquoi remplacer des valeurs numériques par "tempschargementenchiffres" ou rescode ?).
Et peux-tu également mettre la ligne que tu cherches à obtenir après traitement ? En appliquant ton traitement chez moi (sed puis awk), dans la ligne que j'obtiens, le contenu des champs ne collent pas à leur titre, du coup, je sais que ce que j'obtiens ne correspond pas à ce que tu attends (et donc je ne sais pas exactement ce que tu attends).

Je ne sais pas en awk créer un fichier temporaire de travail, et le réutiliser pour enchainer une nouvelle commande.
Ou alors utiliser le | pour enchainer des commandes ? Mais on travaille en mémoire non ? Ca risque de saturer.

oui, c'est bien le rôle de | d'enchaîner des commandes. Il me semble que awk n'a pas besoin de charger tout le ficher. Il travaille en flux (dés qu'il peut traiter un bloc - ici, une ligne - il le fait). Dans ton traitement, tu alloues des variables locales de type simple, réutilisées à chaque ligne, du coup, la consommation mémoire ne devrait pas dépendre de la taille du fichier. Je ne vois pas de problème de ce côté là.

ps: à la relecture, je me rends compte que depuis le temps que je lis linuxfr, j'ai tendance à vite rentrer dans le vif du sujet, ambiance "comme à la maison". Ne t'en formalise pas trop et bienvenue !

cf http://www.lepoint.fr/societe/exclusif-merah-le-rapport-du-patron-du-raid-24-05-2012-1464961_23.php

Il convient de préciser à ce stade que l'ensemble des policiers devant intervenir à l'intérieur des lieux étaient munis de leur masque à gaz dans la mesure où il était prévu de saturer l'espace de gaz lacrymogène afin de contraindre le mis en cause à sortir de son lieu de retrait, vraisemblablement la salle de bain. Cette manoeuvre était retardée dans la mesure où le reste de l'appartement, vide de tout occupant (cf. la couverture vidéo), était ouvert au quatre vent [sic]. Le résultat escompté n'aurait pas été atteint et aurait eu pour effet de gêner la progression des policiers du Raid.

Conclusion: si l'argent pour faire les audits n'a pas été alloué, l'État qui maîtrise son budget doit l'allouer.

ok.

Soit il augmente la dette, soit il le prend sur un autre budget (qui sera forcément moins important à tes yeux, ça va de soi).

Pour une année donnée, éventuellement. Et une fois les budgets alloués à un service donné, évidemment, le service doit organiser ses activités dans le périmètre de ce budget.
Cela dit, l'état peut non seulement ré-allouer d'une année sur l'autre, mais augmenter son budget global d'une année sur l'autre (voire en cours d'année, cf les lois de rectification budgétaire). Tu sembles prétendre que la seule façon pour l'état d'augmenter son budget global est d'emprunter, ce qui est faux. Pour la partie qu'il contrôle, l'état peut jouer sur les impôts directs et indirects, d'une part, dans certains pays, il peut jouer sur les cours monétaires. La conjoncture économique a également un impact (l'augmentation de l'activité économique entraîne l'augmentation des recettes). Ce qui peut amener à disposer d'un budget supérieur à ceux prévus l'année précédente, c'est à dire la possibilité d'allouer des budgets supplémentaires quelque part sans en retirer ailleurs.

Soit dit en passant, mes yeux n'ont rien à voir ça. L'allocation du budget est un sujet sacrément complexe, et résulte de compromis entre les différentes missions de l'état. La vision simpliste que tu présentes de la question ne me convainc pas.

faut comprendre que "tout faire bien", ça nous à conduit à une dette abyssale.

lapin compris. Déjà, de quoi tu parles quand tu dis "tout faire bien" ?

Tu coupes quoi à la place pour garder un budget contenu ?

formulé comme ça, forcément. Mais il se trouve que l'état maîtrise son budget. Contrairement à l'individu lambda, il peut déterminer une partie de ses recettes. Le choix de contenir un budget est un choix idéologique et politique, pas une contrainte technique.

pourquoi ils lui lancent des oiseaux ?

J'ai du manquer de clarté. Je ne faisais que réagir sur la forme à ton affirmation définitive. Tu aurais pu formuler la même chose sans en faire des caisses ("j'ai bien cherché, j'ai rien trouvé").

Sur le fond, pour la religion que je connais un peu (le catholicisme) et son texte de référence (la bible), il y a des dogmes et des traditions catholiques qui n'ont aucun fondement dans la bible. Il me semble bien que c'est d'ailleurs une des raisons majeures du schisme protestant (mais je ne suis pas complètement sûr, j'ai bien décroché sur ces questions là depuis un certain temps).

j'ai bien cherché, je n'ai trouvé strictement aucune occurence des mots "noel", "sapin", "renne", "guirlande", "traineau", "pole nord", "chocolat" ou d'autres trucs du genre, et ce dans aucun livre saint que ce soit …

Tu n'as évidemment pas cherché un seul de ces mots dans un seul livre saint que ce soit, sinon, tu aurais trouvé. Par exemple, en moins de deux minutes, on peut tomber là

Certes, aucun rapport avec Noël, et sur le fond, je comprends ce que tu veux dire, mais sur la forme …

en vrai, je me demande si la question a été posée ne serait-ce qu'une seule fois par un vrai candide !

Etonnant, parce que moi, c'est la première fois que je vois quelqu'un interpréter la loi du Talion comme n'étant pas d'une stricte réciprocité. Dans sa grande sagesse, wikipedia ne nous départage pas :

extrait de Loi_du_talion :

Un flou d’interprétation subsiste, car il n’est nulle part précisé clairement que la loi du talion ne représente que le maximum autorisé de la riposte. Certaines interprétations[réf. nécessaire] la présentent au contraire comme la riposte adéquate, ce qui peut conduire à des violences et contre-violences n’ayant jamais de fin.

Je comprends ta distinction entre jugement moral et la question politique.

Dans nos sociétés, c'est l'institution judiciaire (pour faire court, la justice, à ne pas confondre avec la Justice) qui tranche. Comme tu le dis toi même, il est concevable que la justice ne s'aligne pas sur le jugement moral.

Dans tes formulations précédentes, ça donnait franchement l'impression que tu étais pour l'application stricte de la loi du talion (oeil pour oeil, dent pour dent).
Ta reformulation en tant que critère maximaliste, ce n'est pas choquant en soi (en gros, on ne vas pas te faire pire que ce que tu as fais). Par contre, c'est largement insuffisant pour construire un système judiciaire.

A aucun moment il n'y a d'induction dans la formulation « ne fais pas à ton voisin ce que tu ne voudrais pas qu’on te fasse ». Et quand bien même, les relations humaines sont rarement guidées par la logique. Le fait que je te traite mon voisin comme j'aimerais qu'on me traite ne force absolument pas mon voisin à faire de même. La contraposée est également fausse. Le fait que mon voisin me maltraite ne va pas forcément me conduire à vouloir le maltraiter.

Je crois qu'il faudrait éviter d'essayer d'utiliser de la logique formelle dans ce contexte.