gaaaaaAab a écrit 1432 commentaires

c'est un peu plus clair, mais ça soulève d'autres questions. Vous avez si peu confiance dans votre mécanisme de fusion que vous deviez faire ce type de vérification ? Ou alors vous avez à faire à un intervenant tiers qui parfois fais sa fusion correctement, parfois pas, et vous n'y pouvez rien ? En tout cas, ça fait pas rêver :D

à priori, je ferais probablement un truc dans ce gout là, mais il manque quelques infos dans la présentation du problème pour mieux cerner le problème. Par exemple, tu présupposes que le fameux champs 8 peut prendre beaucoup de valeurs différentes, ce qui mènerait à une table de hachage relativement importante, mais c'est un truc à vérifier. La variabilité de ce champs peut changer le choix de la méthode de résolution. Par exemple, si le champ ne peut prendre qu'un nombre relativement restreint de valeurs, on pourrait arrêter de parser les deux fichiers dès qu'on aurait relevé la présence au moins une fois de chaque valeur dans le second fichier.

A partir d'ici, ce commentaire ne s'adresse plus à toi, mais à l'auteur de la question.

Une meilleure connaissance du contexte pourrait aussi aider.
Par exemple, est-ce que c'est un script qui doit être lancé régulièrement ou est-ce que ça ne servira qu'une fois de temps en temps ? Est-ce qu'il y a des contraintes particulières sur le temps de traitement, l'espace disque, la quantité de RAM disponible ? Est-ce que le second fichier est un fichier de référence qui évolue lentement au cours du temps (auquel cas on pourrait maintenir un index des valeurs possibles dans un fichier indépendant et trié), ou est-ce qu'on doit régulièrement comparer deux fichiers dont la taille varie arbitrairement ? Est-ce que les fichiers sont triés sur le champ 8 ? (peu probable, mais si c'est le cas, on peut gagner plein de temps).

Tant qu'on y est, comment sont générés ces fichiers et est-ce qu'on a accès à leur mode de génération ? (genre s'ils sont extraits du BDD à laquelle on a accès, il y a peut-être quelque chose à faire).

Si on va par là, un article de blog et un commentaire ne sont pas fondamentalement différents non plus. Ils sont tous les deux composés de texte et/ou d'image, ils ont tous les deux un auteur, et ils sont tous les deux liés à une URL. La seule différence (a priori, mais ton application peut être plus complexe), c'est que l'article est autonome, alors que le commentaire est rattaché à un article. Il y a plusieurs façons de modéliser ça. Quelques exemples :

• si on estime que malgré leur ressemblance technique, un article et un commentaire sont vraiment fonctionnellement très différents, on peut utiliser deux tables.
• si la différence n'est pas si marquée, on peut avoir une colonne indiquant si le commentaire es rattaché un commentaire parent (cad l'article). Pour l'application, du point de vue fonctionnel, si le commentaire n'a pas de parent, c'est que c'est un article. S'il a un parent, c'est un commentaire.
• on peut même simplifier encore en remarquant que dans une succession de commentaires rattachés à une même URL, l'article, c'est le premier commentaire dans l'ordre chronologique. On peut avoir une structure en DB très simple pour modéliser tant un article qu'un commentaire (auteur, date, contenu, url), et laisser l'application se débrouiller pour trier entre article et commentaire.
• …

Ta question sur le nom "user_blog_articles_comments" est très pertinente. En effet, si tu commences à nommer tes tables avec les noms des colonnes sur lesquelles portent des contraintes de clef étrangère, t'es mal barré. Dans tous les cas, je pense que ça vaudrait le coup que tu modélises ta DB (à un niveau d'abstraction au dessus de la technique) avant de commencer à définir la structure technique des tables de la DB. Je crois qu'il faut aussi viser le modèle de DB le plus simple possible qui puisse répondre au besoin. C'est beaaauuuuuucoup plus simple de changer du code que de changer la structure d'une DB (pour de la DB relationnelle).

Perso, j'aime bien le modèle entité/association (google est ton ami). Il m'a souvent aidé à comprendre ce que j'essayais de faire, et si la modélisation est bien faite (et la première itération n'est jamais la bonne), la traduction en modèle relationnel est quasi automatique. (Regarde aussi du côté des formes normales)

Un des avantages du C, c'est que ça s'intègre relativement facilement dans à peu près n'importe quelle pile technologique. Du coup, j'aurais tendance à choisir l'infrastructure de test d'abord. Perso, je n'ai pas eu les moyens de pousser la question autant que j'aurais aimé, mais j'avais testé sur une base de l'infra de tests de libboost en C++ (je n'ai aucun goût pour le C++, et je n'aimerais pas coder sur un projet exclusivement en C++, mais sur de l'infra de test, ça va très bien), et testé aussi sur du Python en ctypes. On peut aussi wrapper vers du java en JNI mais, à mon avis, c'est un chouille plus galère.
Dans tous les cas, ça implique probablement d'ajouter pas mal de helpers dans le code, et donc prévoir des options de compils test/prod (rien que pour tester les fonctions non exportées par exemple). Pour faire de l'intégration continue, faudra aussi expliquer à l'outil comment compiler le code. Du coup, pour évite de recompiler tout à chaque test, il vaut mieux avoir une compilation aussi modulaire que le code lui même.

Dans tous les cas, je déconseille l'écrite d'un framework perso. ça serait dommage de se priver de tout ce qui existe dans le domaine de l'intégration continue (récup des sources, build, lancement auto des campagnes de test, collecte des résultats, …)

Bon désolé, c'est pas une réflexion très approfondie, mais c'est peut-être quelques pistes. En tout cas, si tu arrives à un truc qui te plait, ça m'intéresse d'avoir un retour.

à mon avis, on peut traiter chaque question avec une seule invocation de sed, mais si je devais le faire, je pense que je ferais du grep pour les deux premiers, et du sed pour le reste. Vu le niveau, si tu fais des scripts sed complexes, je pense que le prof te fait des bisous parce que tu connais sed, et qu'ensuite il te saque parce que c'est overkill :-)

Non mais à te lire, on a l'impression qu'il "suffisait" d'y mettre plus d'argent, et ce que j'essaie de pointer ici, c'est que s'il "suffisait" d'y mettre plus d'argent, on pourrait résoudre quasiment tous les problèmes d'un pays en un rien de temps.

dans l'absolu, c'est peut-être pas faux ;-) mais non, ce n'est pas ce que je disais. De mon côté, je réagissais au côté "il n'y a pas d'alternative" de ton commentaire.

Sachant qu'il y avait un autre point aussi, qui était : "tout faire bien", ça nous a conduit à une dette abyssale".
Je crois que je comprends ce que tu veux dire, et je ne suis pas d'accord avec ce que je crois que tu dis. Mais comme je ne suis pas sûr, tant que tu n'explicites pas, je retiens mon clavier.

A vrai dire j'ai failli expliciter mon propos mais j'ai finalement opté pour le lapidaire pour l'effet rhétorique. Si j'en crois la stabilisation de ma note (qui a sacrément oscillé, y compris vers des tréfonds négatifs), j'ai bien fait :)

heu … j'avoue que je ne sais pas comment interpréter ça.

Mais sur le fond, je m'incline, ma question était effectivement mal posée, et mon développement très superficiel. C'était plus du ressenti que du raisonnement.

Ravie d'apprendre que c'est le plus facile, je vais le faire dans le begin, mais est-ce que ça sera bien pris en compte lorsque je ferai mon gsub derrière ?

j'ai peut-être grillé quelques étapes, je développe. Tu peux déclarer un tableau associatif dans le bloc BEGIN, qui sera ensuite une variable globale. Tu pourrais aussi le déclarer dans le bloc principal, mais il serait alors ré initialisé à chaque ligne, ce qui coute des performances. Ensuite, non, la traduction des JAN/FEB en 01/02 n'est pas "magique", il faudra bien utiliser ce tableau dans le bloc principal pour effectuer le remplacement. Mais je t'en laisse un petit peu à faire ;-)

tu confonds ptet avec la ligne de ce que je souhaiterais en print

Je ne confonds pas, mais c'est bien de ça dont je parle. Si tu mets 3 lignes de données d'exemple, il faudrait aussi les 3 lignes de résultats attendus correspondant précisément à ces exemples. Pour toi, c'est peut-être évident que ###.###.### du résultat attendu correspond à tel truc pour la première ligne de donnée, tel autre pour la seconde ou '-' pour la troisième. De mon point de vue, avoir une ligne de résultat avec un truc que je ne vois pas dans les données, c'est une source d’ambiguïté.

Je tiens à cacher l'ip/domaine et d'autres infos, je ne pense pas que cela change quelque chose.

Pas de problème. C'était le remplacement du status HTML par rescode et du temps de chargement par tempschargementenchiffres dans ton exemple qui me faisait tiquer. Par contre, désolé de pinailler, mais il y a encore un truc qui m'échappe. Dans le résultat attendu, le deuxième champ est ###.###.###.xxx, mais cette chaine de caractères n'est pas présente dans la ligne de donnée (à moins que ça soit mangé par le formattage du site).

Pour l'anonymisation, /url et mondomaine.fr me vont très bien. Pour anonymiser les adresses ip, tu pourrais utiliser une IP bidon genre 1.2.3.4 plutôt que des #. ça permettrait de s'y retrouver plus facilement, et surtout, ça serait une valeur du même type que la vraie donnée.

ps2 : rha et si on peut transformer les JAN FEV etc en 01 02 ^

ça, c'est p-e la partie la plus facile de la question :) Tu pourrais initialiser un tableau associatif (comme un dict en Python) dans le bloc BEGIN pour écrire les associations entre les mois et leur nombre, et t'en servir dans le print.

Je souhaiterais me mettre au awk, car on me dit que c'est plus performant qu'une succession de cut et sed.

mouais. S'il y a des invocations multiples de cut et sed pour chaque ligne du fichier, forcément, awk risque d'être plus rapide. Mais si les cut et sed sont factorisables pour avoir une seule invocation de cut et sed pour traiter l'intégralité du ficher, c'est beaucoup moins sûr.

Pour ma part, si je dois choisir entre awk et sed, ce n'est pas sur le critère performance, mais plutôt sur le type de traitement. Quand il faut traiter du flux, j'utilise quasiment toujours sed/cut. awk permet plus facilement d'ajouter des traitements globaux dans le bloc END, ou d'appliquer des traitements sur des blocs multilignes (mais c'est possible de faire des trucs de ouf en sed). Sachant qu'en vrai, si je dois effectuer un traitement suffisamment complexe pour nécessiter un bloc END, je vais assez rapidement basculer sur un langage de script plus évolué (genre Python).

Cela dit, se frotter à des langages qu'on ne connait pas, c'est jamais du temps perdu.

Par rapport à ta question, pourrais-tu donner une "vraie" ligne d'exemple (par exemple en n'anonymisant que le nom de domaine et l'IP) ? (Pourquoi remplacer des valeurs numériques par "tempschargementenchiffres" ou rescode ?).
Et peux-tu également mettre la ligne que tu cherches à obtenir après traitement ? En appliquant ton traitement chez moi (sed puis awk), dans la ligne que j'obtiens, le contenu des champs ne collent pas à leur titre, du coup, je sais que ce que j'obtiens ne correspond pas à ce que tu attends (et donc je ne sais pas exactement ce que tu attends).

Je ne sais pas en awk créer un fichier temporaire de travail, et le réutiliser pour enchainer une nouvelle commande.
Ou alors utiliser le | pour enchainer des commandes ? Mais on travaille en mémoire non ? Ca risque de saturer.

oui, c'est bien le rôle de | d'enchaîner des commandes. Il me semble que awk n'a pas besoin de charger tout le ficher. Il travaille en flux (dés qu'il peut traiter un bloc - ici, une ligne - il le fait). Dans ton traitement, tu alloues des variables locales de type simple, réutilisées à chaque ligne, du coup, la consommation mémoire ne devrait pas dépendre de la taille du fichier. Je ne vois pas de problème de ce côté là.

ps: à la relecture, je me rends compte que depuis le temps que je lis linuxfr, j'ai tendance à vite rentrer dans le vif du sujet, ambiance "comme à la maison". Ne t'en formalise pas trop et bienvenue !

cf http://www.lepoint.fr/societe/exclusif-merah-le-rapport-du-patron-du-raid-24-05-2012-1464961_23.php

Il convient de préciser à ce stade que l'ensemble des policiers devant intervenir à l'intérieur des lieux étaient munis de leur masque à gaz dans la mesure où il était prévu de saturer l'espace de gaz lacrymogène afin de contraindre le mis en cause à sortir de son lieu de retrait, vraisemblablement la salle de bain. Cette manoeuvre était retardée dans la mesure où le reste de l'appartement, vide de tout occupant (cf. la couverture vidéo), était ouvert au quatre vent [sic]. Le résultat escompté n'aurait pas été atteint et aurait eu pour effet de gêner la progression des policiers du Raid.

Conclusion: si l'argent pour faire les audits n'a pas été alloué, l'État qui maîtrise son budget doit l'allouer.

ok.

Soit il augmente la dette, soit il le prend sur un autre budget (qui sera forcément moins important à tes yeux, ça va de soi).

Pour une année donnée, éventuellement. Et une fois les budgets alloués à un service donné, évidemment, le service doit organiser ses activités dans le périmètre de ce budget.
Cela dit, l'état peut non seulement ré-allouer d'une année sur l'autre, mais augmenter son budget global d'une année sur l'autre (voire en cours d'année, cf les lois de rectification budgétaire). Tu sembles prétendre que la seule façon pour l'état d'augmenter son budget global est d'emprunter, ce qui est faux. Pour la partie qu'il contrôle, l'état peut jouer sur les impôts directs et indirects, d'une part, dans certains pays, il peut jouer sur les cours monétaires. La conjoncture économique a également un impact (l'augmentation de l'activité économique entraîne l'augmentation des recettes). Ce qui peut amener à disposer d'un budget supérieur à ceux prévus l'année précédente, c'est à dire la possibilité d'allouer des budgets supplémentaires quelque part sans en retirer ailleurs.

Soit dit en passant, mes yeux n'ont rien à voir ça. L'allocation du budget est un sujet sacrément complexe, et résulte de compromis entre les différentes missions de l'état. La vision simpliste que tu présentes de la question ne me convainc pas.

faut comprendre que "tout faire bien", ça nous à conduit à une dette abyssale.

lapin compris. Déjà, de quoi tu parles quand tu dis "tout faire bien" ?

Tu coupes quoi à la place pour garder un budget contenu ?

formulé comme ça, forcément. Mais il se trouve que l'état maîtrise son budget. Contrairement à l'individu lambda, il peut déterminer une partie de ses recettes. Le choix de contenir un budget est un choix idéologique et politique, pas une contrainte technique.

pourquoi ils lui lancent des oiseaux ?

J'ai du manquer de clarté. Je ne faisais que réagir sur la forme à ton affirmation définitive. Tu aurais pu formuler la même chose sans en faire des caisses ("j'ai bien cherché, j'ai rien trouvé").

Sur le fond, pour la religion que je connais un peu (le catholicisme) et son texte de référence (la bible), il y a des dogmes et des traditions catholiques qui n'ont aucun fondement dans la bible. Il me semble bien que c'est d'ailleurs une des raisons majeures du schisme protestant (mais je ne suis pas complètement sûr, j'ai bien décroché sur ces questions là depuis un certain temps).

j'ai bien cherché, je n'ai trouvé strictement aucune occurence des mots "noel", "sapin", "renne", "guirlande", "traineau", "pole nord", "chocolat" ou d'autres trucs du genre, et ce dans aucun livre saint que ce soit …

Tu n'as évidemment pas cherché un seul de ces mots dans un seul livre saint que ce soit, sinon, tu aurais trouvé. Par exemple, en moins de deux minutes, on peut tomber là

Certes, aucun rapport avec Noël, et sur le fond, je comprends ce que tu veux dire, mais sur la forme …

en vrai, je me demande si la question a été posée ne serait-ce qu'une seule fois par un vrai candide !

Etonnant, parce que moi, c'est la première fois que je vois quelqu'un interpréter la loi du Talion comme n'étant pas d'une stricte réciprocité. Dans sa grande sagesse, wikipedia ne nous départage pas :

extrait de Loi_du_talion :

Un flou d’interprétation subsiste, car il n’est nulle part précisé clairement que la loi du talion ne représente que le maximum autorisé de la riposte. Certaines interprétations[réf. nécessaire] la présentent au contraire comme la riposte adéquate, ce qui peut conduire à des violences et contre-violences n’ayant jamais de fin.

Je comprends ta distinction entre jugement moral et la question politique.

Dans nos sociétés, c'est l'institution judiciaire (pour faire court, la justice, à ne pas confondre avec la Justice) qui tranche. Comme tu le dis toi même, il est concevable que la justice ne s'aligne pas sur le jugement moral.

Dans tes formulations précédentes, ça donnait franchement l'impression que tu étais pour l'application stricte de la loi du talion (oeil pour oeil, dent pour dent).
Ta reformulation en tant que critère maximaliste, ce n'est pas choquant en soi (en gros, on ne vas pas te faire pire que ce que tu as fais). Par contre, c'est largement insuffisant pour construire un système judiciaire.

A aucun moment il n'y a d'induction dans la formulation « ne fais pas à ton voisin ce que tu ne voudrais pas qu’on te fasse ». Et quand bien même, les relations humaines sont rarement guidées par la logique. Le fait que je te traite mon voisin comme j'aimerais qu'on me traite ne force absolument pas mon voisin à faire de même. La contraposée est également fausse. Le fait que mon voisin me maltraite ne va pas forcément me conduire à vouloir le maltraiter.

Je crois qu'il faudrait éviter d'essayer d'utiliser de la logique formelle dans ce contexte.

ton commentaire là est beaucoup plus clair

à question lapidaire, réponse lapidaire, un point pour toi :)

Je développe : la façon dont j'interprète ça, c'est qu'aux US, ils ont tellement l'habitude des coups de feux qu'ils sont super organisés pour y réagir. Je trouve ça plutôt terrifiant. Je préfère largement une société tellement moins violente que son irruption soudaine est surprenante et exceptionnelle.

Ton commentaire suscite chez moi quelques questions. Pour quelle raison plus grande et plus générale sont-ils mort si ce n'est pas la liberté d'expression ?

La liste dont tu parles est-elle une liste factuelle de gens qu'on y ajoute au fil des événements ? Tu parles d'une liste sur laquelle ils aurait été placés (forme passive) mais alors placés par qui/quoi ?

cette liste n’est pas établie au nom de la liberté d’expression ou son contraire.

Veux-tu dire qu'elle est effectivement factuelle et pas établie par qui que soit. Ou veux-tu qu'elle est établie au nom d'autre(s) raison que la liberté d'expression ou son contraire (la censure ?), et alors au nom de quelle(s) autre(s) raison(s) ?

Bref, je trouve ton commentaire extrêmement confus.

À Washington en 3 minutes t'a 50 policiers et un quartier entièrement bouclé au moindre coup de feu !

et c'est censé être mieux ?

entre Val (sans s hein) qui retourne se chemise d'une manière inimaginable

ok, j'ai des éléments qui vont aussi dans ce sens.

Mélenchon qui parle de liberté d'expression à protéger (je viens de mater sa belle pose) mais interdit à certains journalistes qui ne sont dans la dérision de lui parler ou d'assister à ses discours.

Peux-tu revérifier s'il ne manque pas un mot ou s'il n'y a pas un mot en trop dans ta phrase ? Là, tu sembles dire qu'il a interdit à des journalistes "sérieux" (pas dans la dérision) de lui parler ou d'assister à ses discours. Il manque également une virgule après "dérision" parce que je ne pense pas que tu parles que tu veuilles parler de "la dérision de lui parler …".

Accessoirement, si tu peux préciser à quels épisodes tu penses, ça m'intéresserait.

Pour le truc le plus proche auquel je pense, c'était l'histoire du petit journal interdit d'assister à une réunion avec une association d'aide à des SDFs je ne sais plus trop ou (je crois plutôt dans l'Est de la France). @SI avait traité du sujet dans une émission avec un membre du parti de gauche, et l'histoire n'était pas si claire que ça. L'accès à la réunion avec effectivement été interdit au petit journal (d'après la com du PG, pour éviter que le petit journal fasse des images des SDF en se foutant de leur gueule), mais pas la conférence de presse. Pendant la conférence de presse à laquelle elle avait assisté, la journaliste du petit journal n'a pas levé une seule fois la main pour poser une question alors qu'elle en aurait largement eu l'occasion. Par contre, à la fin de la conf, l'équipe du petit journal s'est précipitée dans le couloir pour faire une image de Mélenchon se barrant et refusant de répondre à leurs questions.

D'autre part, un homme politique, comme n'importe qui, a tout à fait le droit de refuser de parler à un journaliste. C'est alors le boulot de journaliste d'obtenir de l'information autrement. Refuser de répondre à une question n'est pas une attaque à la liberté d'expression.

Pour finir, je ne dis pas que Mélenchon n'est pas autoritaire au sein du parti (je n'en sais rien, je n'en suis pas membre), mais de là à le présenter comme un faux cul quand il parle de la liberté d'expression, il me semble qu'il manque quelques étapes.

C'est rigolo de voir les "defenseurs de la liberté d'expression" parfois, quand on se souvient de leurs actes passés.

Voilà qui est bien vague. J'ai remarqué tu finis souvent tes commentaires par une phrase assez vague et généraliste dont j'ai toujours du mal à saisir la finalité. Qu'est-ce que cette phrase apporte à ton commentaire ?
Pour l'instant, à part une coloration cynique, je ne trouve pas, mais je t'invite à préciser ta pensée.