gaaaaaAab a écrit 1399 commentaires

Je tiens à cacher l'ip/domaine et d'autres infos, je ne pense pas que cela change quelque chose.

Pas de problème. C'était le remplacement du status HTML par rescode et du temps de chargement par tempschargementenchiffres dans ton exemple qui me faisait tiquer. Par contre, désolé de pinailler, mais il y a encore un truc qui m'échappe. Dans le résultat attendu, le deuxième champ est ###.###.###.xxx, mais cette chaine de caractères n'est pas présente dans la ligne de donnée (à moins que ça soit mangé par le formattage du site).

Pour l'anonymisation, /url et mondomaine.fr me vont très bien. Pour anonymiser les adresses ip, tu pourrais utiliser une IP bidon genre 1.2.3.4 plutôt que des #. ça permettrait de s'y retrouver plus facilement, et surtout, ça serait une valeur du même type que la vraie donnée.

ps2 : rha et si on peut transformer les JAN FEV etc en 01 02 ^

ça, c'est p-e la partie la plus facile de la question :) Tu pourrais initialiser un tableau associatif (comme un dict en Python) dans le bloc BEGIN pour écrire les associations entre les mois et leur nombre, et t'en servir dans le print.

Je souhaiterais me mettre au awk, car on me dit que c'est plus performant qu'une succession de cut et sed.

mouais. S'il y a des invocations multiples de cut et sed pour chaque ligne du fichier, forcément, awk risque d'être plus rapide. Mais si les cut et sed sont factorisables pour avoir une seule invocation de cut et sed pour traiter l'intégralité du ficher, c'est beaucoup moins sûr.

Pour ma part, si je dois choisir entre awk et sed, ce n'est pas sur le critère performance, mais plutôt sur le type de traitement. Quand il faut traiter du flux, j'utilise quasiment toujours sed/cut. awk permet plus facilement d'ajouter des traitements globaux dans le bloc END, ou d'appliquer des traitements sur des blocs multilignes (mais c'est possible de faire des trucs de ouf en sed). Sachant qu'en vrai, si je dois effectuer un traitement suffisamment complexe pour nécessiter un bloc END, je vais assez rapidement basculer sur un langage de script plus évolué (genre Python).

Cela dit, se frotter à des langages qu'on ne connait pas, c'est jamais du temps perdu.

Par rapport à ta question, pourrais-tu donner une "vraie" ligne d'exemple (par exemple en n'anonymisant que le nom de domaine et l'IP) ? (Pourquoi remplacer des valeurs numériques par "tempschargementenchiffres" ou rescode ?).
Et peux-tu également mettre la ligne que tu cherches à obtenir après traitement ? En appliquant ton traitement chez moi (sed puis awk), dans la ligne que j'obtiens, le contenu des champs ne collent pas à leur titre, du coup, je sais que ce que j'obtiens ne correspond pas à ce que tu attends (et donc je ne sais pas exactement ce que tu attends).

Je ne sais pas en awk créer un fichier temporaire de travail, et le réutiliser pour enchainer une nouvelle commande.
Ou alors utiliser le | pour enchainer des commandes ? Mais on travaille en mémoire non ? Ca risque de saturer.

oui, c'est bien le rôle de | d'enchaîner des commandes. Il me semble que awk n'a pas besoin de charger tout le ficher. Il travaille en flux (dés qu'il peut traiter un bloc - ici, une ligne - il le fait). Dans ton traitement, tu alloues des variables locales de type simple, réutilisées à chaque ligne, du coup, la consommation mémoire ne devrait pas dépendre de la taille du fichier. Je ne vois pas de problème de ce côté là.

ps: à la relecture, je me rends compte que depuis le temps que je lis linuxfr, j'ai tendance à vite rentrer dans le vif du sujet, ambiance "comme à la maison". Ne t'en formalise pas trop et bienvenue !

cf http://www.lepoint.fr/societe/exclusif-merah-le-rapport-du-patron-du-raid-24-05-2012-1464961_23.php

Il convient de préciser à ce stade que l'ensemble des policiers devant intervenir à l'intérieur des lieux étaient munis de leur masque à gaz dans la mesure où il était prévu de saturer l'espace de gaz lacrymogène afin de contraindre le mis en cause à sortir de son lieu de retrait, vraisemblablement la salle de bain. Cette manoeuvre était retardée dans la mesure où le reste de l'appartement, vide de tout occupant (cf. la couverture vidéo), était ouvert au quatre vent [sic]. Le résultat escompté n'aurait pas été atteint et aurait eu pour effet de gêner la progression des policiers du Raid.

Conclusion: si l'argent pour faire les audits n'a pas été alloué, l'État qui maîtrise son budget doit l'allouer.

ok.

Soit il augmente la dette, soit il le prend sur un autre budget (qui sera forcément moins important à tes yeux, ça va de soi).

Pour une année donnée, éventuellement. Et une fois les budgets alloués à un service donné, évidemment, le service doit organiser ses activités dans le périmètre de ce budget.
Cela dit, l'état peut non seulement ré-allouer d'une année sur l'autre, mais augmenter son budget global d'une année sur l'autre (voire en cours d'année, cf les lois de rectification budgétaire). Tu sembles prétendre que la seule façon pour l'état d'augmenter son budget global est d'emprunter, ce qui est faux. Pour la partie qu'il contrôle, l'état peut jouer sur les impôts directs et indirects, d'une part, dans certains pays, il peut jouer sur les cours monétaires. La conjoncture économique a également un impact (l'augmentation de l'activité économique entraîne l'augmentation des recettes). Ce qui peut amener à disposer d'un budget supérieur à ceux prévus l'année précédente, c'est à dire la possibilité d'allouer des budgets supplémentaires quelque part sans en retirer ailleurs.

Soit dit en passant, mes yeux n'ont rien à voir ça. L'allocation du budget est un sujet sacrément complexe, et résulte de compromis entre les différentes missions de l'état. La vision simpliste que tu présentes de la question ne me convainc pas.

faut comprendre que "tout faire bien", ça nous à conduit à une dette abyssale.

lapin compris. Déjà, de quoi tu parles quand tu dis "tout faire bien" ?

Tu coupes quoi à la place pour garder un budget contenu ?

formulé comme ça, forcément. Mais il se trouve que l'état maîtrise son budget. Contrairement à l'individu lambda, il peut déterminer une partie de ses recettes. Le choix de contenir un budget est un choix idéologique et politique, pas une contrainte technique.

pourquoi ils lui lancent des oiseaux ?

J'ai du manquer de clarté. Je ne faisais que réagir sur la forme à ton affirmation définitive. Tu aurais pu formuler la même chose sans en faire des caisses ("j'ai bien cherché, j'ai rien trouvé").

Sur le fond, pour la religion que je connais un peu (le catholicisme) et son texte de référence (la bible), il y a des dogmes et des traditions catholiques qui n'ont aucun fondement dans la bible. Il me semble bien que c'est d'ailleurs une des raisons majeures du schisme protestant (mais je ne suis pas complètement sûr, j'ai bien décroché sur ces questions là depuis un certain temps).

j'ai bien cherché, je n'ai trouvé strictement aucune occurence des mots "noel", "sapin", "renne", "guirlande", "traineau", "pole nord", "chocolat" ou d'autres trucs du genre, et ce dans aucun livre saint que ce soit …

Tu n'as évidemment pas cherché un seul de ces mots dans un seul livre saint que ce soit, sinon, tu aurais trouvé. Par exemple, en moins de deux minutes, on peut tomber là

Certes, aucun rapport avec Noël, et sur le fond, je comprends ce que tu veux dire, mais sur la forme …

en vrai, je me demande si la question a été posée ne serait-ce qu'une seule fois par un vrai candide !

Etonnant, parce que moi, c'est la première fois que je vois quelqu'un interpréter la loi du Talion comme n'étant pas d'une stricte réciprocité. Dans sa grande sagesse, wikipedia ne nous départage pas :

extrait de Loi_du_talion :

Un flou d’interprétation subsiste, car il n’est nulle part précisé clairement que la loi du talion ne représente que le maximum autorisé de la riposte. Certaines interprétations[réf. nécessaire] la présentent au contraire comme la riposte adéquate, ce qui peut conduire à des violences et contre-violences n’ayant jamais de fin.

Je comprends ta distinction entre jugement moral et la question politique.

Dans nos sociétés, c'est l'institution judiciaire (pour faire court, la justice, à ne pas confondre avec la Justice) qui tranche. Comme tu le dis toi même, il est concevable que la justice ne s'aligne pas sur le jugement moral.

Dans tes formulations précédentes, ça donnait franchement l'impression que tu étais pour l'application stricte de la loi du talion (oeil pour oeil, dent pour dent).
Ta reformulation en tant que critère maximaliste, ce n'est pas choquant en soi (en gros, on ne vas pas te faire pire que ce que tu as fais). Par contre, c'est largement insuffisant pour construire un système judiciaire.

A aucun moment il n'y a d'induction dans la formulation « ne fais pas à ton voisin ce que tu ne voudrais pas qu’on te fasse ». Et quand bien même, les relations humaines sont rarement guidées par la logique. Le fait que je te traite mon voisin comme j'aimerais qu'on me traite ne force absolument pas mon voisin à faire de même. La contraposée est également fausse. Le fait que mon voisin me maltraite ne va pas forcément me conduire à vouloir le maltraiter.

Je crois qu'il faudrait éviter d'essayer d'utiliser de la logique formelle dans ce contexte.

ton commentaire là est beaucoup plus clair

à question lapidaire, réponse lapidaire, un point pour toi :)

Je développe : la façon dont j'interprète ça, c'est qu'aux US, ils ont tellement l'habitude des coups de feux qu'ils sont super organisés pour y réagir. Je trouve ça plutôt terrifiant. Je préfère largement une société tellement moins violente que son irruption soudaine est surprenante et exceptionnelle.

Ton commentaire suscite chez moi quelques questions. Pour quelle raison plus grande et plus générale sont-ils mort si ce n'est pas la liberté d'expression ?

La liste dont tu parles est-elle une liste factuelle de gens qu'on y ajoute au fil des événements ? Tu parles d'une liste sur laquelle ils aurait été placés (forme passive) mais alors placés par qui/quoi ?

cette liste n’est pas établie au nom de la liberté d’expression ou son contraire.

Veux-tu dire qu'elle est effectivement factuelle et pas établie par qui que soit. Ou veux-tu qu'elle est établie au nom d'autre(s) raison que la liberté d'expression ou son contraire (la censure ?), et alors au nom de quelle(s) autre(s) raison(s) ?

Bref, je trouve ton commentaire extrêmement confus.

À Washington en 3 minutes t'a 50 policiers et un quartier entièrement bouclé au moindre coup de feu !

et c'est censé être mieux ?

entre Val (sans s hein) qui retourne se chemise d'une manière inimaginable

ok, j'ai des éléments qui vont aussi dans ce sens.

Mélenchon qui parle de liberté d'expression à protéger (je viens de mater sa belle pose) mais interdit à certains journalistes qui ne sont dans la dérision de lui parler ou d'assister à ses discours.

Peux-tu revérifier s'il ne manque pas un mot ou s'il n'y a pas un mot en trop dans ta phrase ? Là, tu sembles dire qu'il a interdit à des journalistes "sérieux" (pas dans la dérision) de lui parler ou d'assister à ses discours. Il manque également une virgule après "dérision" parce que je ne pense pas que tu parles que tu veuilles parler de "la dérision de lui parler …".

Accessoirement, si tu peux préciser à quels épisodes tu penses, ça m'intéresserait.

Pour le truc le plus proche auquel je pense, c'était l'histoire du petit journal interdit d'assister à une réunion avec une association d'aide à des SDFs je ne sais plus trop ou (je crois plutôt dans l'Est de la France). @SI avait traité du sujet dans une émission avec un membre du parti de gauche, et l'histoire n'était pas si claire que ça. L'accès à la réunion avec effectivement été interdit au petit journal (d'après la com du PG, pour éviter que le petit journal fasse des images des SDF en se foutant de leur gueule), mais pas la conférence de presse. Pendant la conférence de presse à laquelle elle avait assisté, la journaliste du petit journal n'a pas levé une seule fois la main pour poser une question alors qu'elle en aurait largement eu l'occasion. Par contre, à la fin de la conf, l'équipe du petit journal s'est précipitée dans le couloir pour faire une image de Mélenchon se barrant et refusant de répondre à leurs questions.

D'autre part, un homme politique, comme n'importe qui, a tout à fait le droit de refuser de parler à un journaliste. C'est alors le boulot de journaliste d'obtenir de l'information autrement. Refuser de répondre à une question n'est pas une attaque à la liberté d'expression.

Pour finir, je ne dis pas que Mélenchon n'est pas autoritaire au sein du parti (je n'en sais rien, je n'en suis pas membre), mais de là à le présenter comme un faux cul quand il parle de la liberté d'expression, il me semble qu'il manque quelques étapes.

C'est rigolo de voir les "defenseurs de la liberté d'expression" parfois, quand on se souvient de leurs actes passés.

Voilà qui est bien vague. J'ai remarqué tu finis souvent tes commentaires par une phrase assez vague et généraliste dont j'ai toujours du mal à saisir la finalité. Qu'est-ce que cette phrase apporte à ton commentaire ?
Pour l'instant, à part une coloration cynique, je ne trouve pas, mais je t'invite à préciser ta pensée.

Ma conclusion était certes hâtive
oui

pour ton problème d'écran noir, la formulation était un peu ambigüe, d'ou ma question.

mais en ce qui me concerne c'est 2 PC MSI et 2 problèmes matériel en quelques mois d'utilisation.

bien noté. Je ne suis pas un défenseur acharné de MSI (dont je me contrefous autant que n'importe quel autre constructeur). Il s'agissait simplement de relativiser ton expérience avec une autre plus positive.

À ce prix, je m'attendais pas à des machines de super qualité mais il ne faut pas abuser, ce n'est pas du jetable.

justement, de quel prix parles-tu ? sur materiel.net, les portables MSI vont de 250€ à 3200€ … ça permettrait d'y voir plus clair

Ta conclusion est une généralisation excessive. J'ai aussi acheté un portable MSI sans OS, et je ne tire pas la même conclusion.

En ce qui concerne ton écran noir, si l'écran se rallumait après reboot, ça ressemblerait plus à un problème soft (genre acpi de mise en veille mal gérée) qu'à un problème hardware. Sur des modèles récents, il faut laisser le temps au noyau de se mettre à jour. Je n'avais pas fait attention à la présence d'Optimus sur le mien, et pendant quelques mois, pas possible de faire fonctionner le chip nvidia (ce qui ne me dérangeait pas suffisamment pour justifier un retour). Aujourd'hui ça fonctionne.
Je t'accorde que j'ai vu des lecteurs CD donnant une impression de plus grande solidité, mais sur un portable, la question du poids entre aussi en ligne de compte. En ce qui me concerne en tout cas, le lecteur CD fonctionne bien (pour ce que je m'en sers, c'est à dire pas beaucoup). J'ai ce portable depuis environ un an et demi.

Il y a tout de même quelques points qui pourrait être vu comme des défauts:

• la ventilation est un peu bruyante quand je sollicite sérieusement le système (mais bon, sur un portable, ça parait assez naturel),
• je n'arrive pas à régler la luminosité de l'écran avec les raccourcis claviers (mais est-ce du à un problème de driver, de gestionnaire de fenêtre ou autre, je n'ai pas creusé, j'ajuste logiciellement quand j'ai besoin)
• j'ai eu des problème avec Optimus. Aujourd'hui encore, comme je n'ai pas réussi à le faire fonctionner avec nouveau, j'utilise le driver proprio nvidia (je laisse à chacun décider si c'est un défaut).

Globalement, sur le plan du hardware, je n'ai pas grand chose à reprocher à ce portable. Je ne sais pas si MSI travaille de près avec le noyau pour améliorer le support de leurs machines mais le fait qu'il y puisse y avoir des problèmes de compatibilité (minimes dans mon cas) avec le noyau ne suffit pas à conclure à la mauvaise qualité du matériel. A noter aussi que comme j'ai tendance à faire durer mes machines assez longtemps, quand je change, je ne vise pas le meilleur rapport qualité/prix, mais le meilleur investissement, du coup, j'ai pris un truc dans les 1000 €. J'aurais peut-être eu une autre expérience avec une autre gamme de prix.

Je souhaiterai juste pour le même "projet" (exemple 50 tables, 100 000 rows) avoir le temps d'accès lecture/écriture de MySQL / Oracle / PostGres etc… ainsi que la conso RAM/CPU par exemple.

La structure et la volumétrie d'une DB de test ne suffirait pas à interpréter les résultats des benchmarks. Ce sont des informations statiques, mais la façon dont la DB est utilisée dynamiquement compte énormément pour les performances. Par exemple, une DB utilisée pour de l'authentification ne présentera pas du tout le même profil de performance qu'une DB utilisée pour de l'achivage.

En matière de performances, il faut éviter les suppositions et mesurer. Autrement dit, si tu trouvais un benchmark du genre, il te renseignerait sur le cas particulier testé, sans vraiment te donner autre chose qu'une vague intuition sur ce qui se passerait dans ton cas.

Si tu travailles sur un nouveau projet, concentre toi sur ce qui compte vraiment : la modélisation de la structure de la DB (en visant la plus haute forme normale possible). Dans un premier temps, utiliser un connecteur type jdbc pour se connecter à un SGBD quelconque permet de travailler en SQL standard, ce qui permet ne pas trop investir dans un SGBD particulier et donc de ne pas avoir besoin de choisir un SGBD tout de suite. Une fois que le projet a un peu vécu, il est possible d'identifier les éventuels besoins en performances, et voir si c'est intéressant d'investir sur un SGBD et de passer à des APIs natives, voire commencer à utiliser des fonctionnalités spécifiques à un SGBD.

Bref,

"We should forget about small efficiencies, say about 97% of the time: premature optimization is the root of all evil" - D. Knuth

Chaque SGBD a ses forces et ses faiblesses. Je ne suis pas sûr qu'on puisse dégager un système qui poutre tous les autres pour tous les critères. Si je devais produire une étude comme ça, ça serait forcément dans le contexte d'un logiciel spécifique. Le contexte du logiciel devrait permettre d'identifier les critères importants pour ce cas d'usage. Ensuite, on peut analyser les SGBD existant en pondérant les différents critères pour le contexte (consommation de RAM, d'espace de stockage, temps de lecture/écritures sur majoritairement des gros/petits blocs, accès massivement parallèles ou plutôt séquentiels, scalabilité, outillages pour l'exploitation, coût des licences (genre pour Oracle), coûts de formation …).

voir même

(id_objet, date, résultat)

C'est alors à l'applicatif de définir la périodicité des calculs

ah oui, dans les avantages inconvénients, j'en ai oublié ! La solution "ajout de colonne" est moins couteuse en espace de stockage. Et le coût de développement peut aussi être un critère.

Il y a une petite ambiguïté sur le titre de ta question, et ce n'est pas anodin. Modifier le schéma (le faire évoluer ponctuellement pour faire face à des nouveaux besoins), c'est une opération relativement courante. Modifier dynamiquement le schéma (l'application utilise directement des commandes de DDL[1] pour modifier le schéma à la volée), c'est plutôt casse gueule.

Dans ton cas, je pense qu'il s'agit de modifier ponctuellement la structure de la base de données. L'ajout d'une table ou d'un champ dans une table n'est a priori pas susceptible d'entraîner une corruption des données, ce qui n'interdit pas de faire une sauvegarde ponctuelle avant la modification (parce que c'est de toute façon une bonne pratique).

Je trouve difficile de juger de la pertinence d'ajouter une colonne ou une table dans ton cas, parce que ça dépend des enjeux à long terme. Si la donnée calculée n'a vraiment de sens fonctionnel qu'à un instant T, donc que conserver les calculs des mois précédents n'a aucun intérêt, une simple colonne pourrait suffire. Si l'évolution de cette donnée dans le temps est fonctionnellement intéressante, ajouter une table peut être intéressant.

Bref, modifier ponctuellement la structure de la base de donnée pour répondre à un nouveau besoin est une opération tout à fait classique. Les moteurs de gestion de base de données sont fait pour ça, pas de problème.

Ajouter une table ou une colonne semblent permettre de répondre au besoin. Chaque solution a ses avantages et inconvénients.

1.Ajout de colonne :

• avantages :
  • structure de donnée plus simple
  • interface de visualisation des données plus simple
• inconvénient :
  • idéalement, il faut trouver un moyen d'indiquer à l'utilisateur la date des derniers calculs, pour ne pas l'induire en erreur (par exemple en début de mois)
  • (inconvénient potentiel) pas d'historisation

2.Ajout de table :

• avantages :
  • données historisées
• inconvénients :
  • structure plus complexe
  • (inconvénient potentiel) interface de visualisation plus complexe si on veut présenter les données historisées à l'utilisateur

Re bref (hmmm pas si sûr que ça soit bref :D ) : Modifier la structure de donnée est une manipulation techniquement anodine. Dans ton cas, les deux solutions (ajout de table ou ajout de colonne) permettent une réponse technique à ta question. Du coup, le choix entre ces deux solutions ne peut pas se faire sur un critère purement technique. C'est donc en regardant le contexte global de l'application qu'il faudra choisir entre ces deux solutions.

D'autre part, si les calculs sont suffisamment simples et les données pas trop volumineuses, un calcul à la volée à chaque consultation pourrait aussi peut-être répondre au besoin.

Voilà, je suis tout à fait conscient que je n'ai absolument pas répondu à ta question (ou plutôt que je t'ai répondu de trouver la réponse tout seul ;) ) mais j'espère que tu trouveras quand même matière à réflexion dans ce commentaire.

[1] point acronyme: le DDL (Data Definition Language) permet de modifier la structure d'une base de données. Le DML (Data Manipulation Language) permet de manipuler les données (insertion, modification, suppression, requête)

en est-on bien sûr ? cf là histoire de ne pas me répéter