Moonz a écrit 3686 commentaires

Et tu n’as pas dit ça à Jiehong parce que ?…

C’est rigolo ces préjugés que tu as sur un système que tu n’utilises même pas.

Si tu es en btrfs, passe le dossier de logs en ext (ou désactive le COW sur ce dossier)

Même pour un vendredi c’est quand même trop gros.

Sur regexp texte vs querying :

Ce n’est pas une opposition binaire vs texte, c’est une opposition structuré vs non structuré.

Tu peux très bien avoir du binaire non structuré : schématiquement write(logFd, &logEntry, sizeof(logEntry)) (où LogEntry est une structure non documentée, non standardisée, variant d’un logiciel à l’autre et même d’une version à l’autre). Et dans cette situation, bonne chance pour « avoir la machine qui fait des regexp pour toi ».

Tu peux très bien avoir du texte structuré : JSON + json-schema, XML par exemple. Et dans ce cas tu peux avoir les mêmes outils d’aide à la recherche.

Sur le reste, je vais pas répondre point par point. Il suffit de regarder le début du billet pour voir où est le gros problème dans l’argumentattion :

My requirements here are simple:
I need one central place to store my logs.
I do not care - nor store - logs on each computer. They all send to a central server, and only hold logs themselves if the central is unreachable. If I lose a few messages here and there, that is no problem.
The central must be easy to change.
While on the go, possibly without internet access, I do not want my laptops to even try sending to central. So I want to be able to pull up a dummy node locally.
I don't care whether the temporary local collector node and the central one are mergeable. If need be, I can export my logs from the local one, and import it into central, but I rarely do that.
I want to preserve all logs in an efficient way.
I need historic data for experiments and some toy projects of mine.
I post-process data, and store a structured, processed version only.
I take all my logs, may they come from syslog, the Journal or any other source, and post-process them. I extract out key fields, correlate messages, and so on. I'm only interested in this part of the data, the original messages are discarded.
I want to do queries that span programs and machines.
One thing I reasonably frequently do, is follow the life of e-mail I send: the logs from Gnus that composed the message from my PC, through msmtpd on the same machine, through postfix on the raspberry pi, then postfix on my remote server. That spans three hosts and four programs.
I want to ask my system this: "Show me all the logs for the e-mail with message-id X!", or "Show me all the logs of e-mails I sent today that were delayed more than an hour!", and a number of similar questions.
I want reasonably fast and efficient ad-hoc queries.
While I post-process my logs, I want to be able to do queries that I came up with on the spot, that work on historic data without having to re-process past logs. Of course, this only has to work for fields that I actually extracted. If I want to introduce a new field, I'll either re-process old data, or only care about new logs.

Cette liste de requirements, ce n’est pas de l’écriture de logs, c’est de la gestion de base de données tout ce qu’il y a de plus classique ! De fait, journald ne fait pas le quart de ce qui est décrit dans cette liste. De fait,

People have been abusing SQL to store their logs for more than a decade

Je ne vois pas en quoi c’est de « l’abus », au vu de la liste. Le workflow qu’il décrit pour son système :

• je réfléchis au schéma de mes données
• j’écris un programme pour conformer (structurer) mes données à ce schéma
• je stocke ces données structurées dans un format adapté au requêtage
• je récupère mes données structurées par des opérations de requêtage

c’est exactement le workflow d’un développeur SQL.

On en vient au problème fondamental de l’article : cette méthode d’utilisation des logs, c’est '''une''' méthode d’utilisation des logs, pas '''la''' méthode d’utilisation des logs. Tout le monde ne traite pas ses logs comme une base de données à usage quotidien. C’est un usage totalement valide (dans quelques années dans ma boite, qui sait ? Mais actuellement non), mais c’est un usage spécifique, qui nécessite des outils spécifiques. Tu ne peux pas passer à cette liste de besoins à une conclusion type « c’est LA méthode de gestion de logs ». Un autre usage des logs, totalement valide, c’est un truc qu’on met de côté et qu’on ne ressort qu’en cas de problème pour savoir ce qu’il s’est passé. Et dans cette situation un grep global sur tout le log est infiniment plus pratique qu’un schéma structuré, si tu n’as qu’une poignée d’indices, sans parler de l’efficacité (on a pas à mettre en place tout ce process extraction-stockage-indexation juste pour aller inspecter les logs tous les 36 du mois).

Il y aurait encore plus à dire sur certains point de détails (le requêtage c’est bien gentil, mais encore faut-il savoir quoi requêter et comment, et la réponse est loin d’être triviale si tu n’as pas beaucoup réfléchi en amont à ta structure), mais j’ai assez nourri le troll pour le moment.

Ce qui est rigolo, c’est que le même auteur a écrit exactement l’inverse (« As mentioned, the central responsibility of an init system is to bring up userspace. And a good init system does that fast. Unfortunately, the traditional SysV init system was not particularly fast ») sur le lien donné sur le message juste au-dessus du tien.

Sauf que sysv utilise bash pour lancer le service, mais une fois le service lancé, le bash il est plus là.

Ceci dit je ne pense pas que systemd soit le coupable, là si je regarde en vitesse sur un serveur de test qui gère une 50aine de services en plus des services de base, je suis à ~5 Mo pour init (et en prod, toujours sous sysv, init est à ~1 Mo).

Par contre journald peut faire partie des coupables dans ses réglages par défaut il est assez vorace en mémoire (enfin, si tu es à 50 Mo près), baisser RuntimeMaxUse dans journald.conf pourrait aider.

Ha toi aussi ton init c’est ~/.bashrc ?

Que demande le peuple ?

Être implémenté quelque part ?

hg out / hg in : pour voir ce qu'on peut récupérer, ou ce qu'on peut pusher, ça me manque énormément sous Git.

git log master..origin/master (et vice-versa) non ?

De mémoire, les guignols de l’info l’ont parodié plusieurs fois en « en me retirant définitivement de _____ ». Ça peut venir de là.

Désolé, c'est juste 2 gars certes, mais qui essayent d'expliquer pourquoi les autres n'ont rien à battre de Linux (et donc ne squattent pas LinuxFr).

Les deux gars m’expliquent qu’il y a des problèmes avec le système de package de Linux.

Le problème, c’est que dire que c’est à cause de ça que Linux décolle pas sur le desktop, c’est une affirmation franchement extraordinaire qui demande des preuves extraordinaires.

Je veux dire, si c’était aussi simple que l’équation meilleur système de packaging = système dominant sur le desktop :
- pourquoi Windows était en quasi-monopole quand il n’avait aucun système de package ? Moi, je me rappelle l’époque W95/98, où le workflow pour installer un logiciel c’était telecharger.com, prendre une version d’évaluation, google « trucmuche crack », aller sur un site douteux, se faire véroler la machine…
- pourquoi MacOS X n’écrase pas Windows là, maintenant ?

Il n’y a pas de problème à émettre des critiques sur le système de package, le problème c’est quand tu le présentes comme la raison de l’échec de Linux sur le desktop. C’est franchement prendre tes délires (le délire comme quoi le succès d’un OS provient surtout de ses qualités/défauts techniques) pour la réalité.

Question : là, demain, d’un coup de baguette magique, tous ces problèmes que tu pointes sont résolus. Tu t’attends franchement que Linux devienne le système dominant sur le desktop ?

Toi non plus remarque bien, mais nous on fait ça honnêtement, on ne se cache pas, on débat, on défend des positions, et surtout, souvent, on ne provoque pas un débat politique depuis un journal en planquant un lien au milieu d'une information somme toute intéressante, le débat arrive tout seul au gré des discussions (comme ici).

Et ce n’est pas vrai des gens d’extrême droite dans les « ateliers constituants » parce que… ?

Oui, ils ont une ligne

Quand on passe de Montebourg à Macron dans le même quinquennat, permet moi d’avoir quelques doutes sur la « clarté » de la ligne.

Une des techniques est d'infiltrer des sites webs et d'y propager leur bonne parole, sans s'annoncer clairement

Quelle différence avec ceux qui parlent politique sur DLFP, y compris les habitués ? (il me semble que tu n’es pas le dernier à te joindre aux pugilats du genre :))

Moi, je me méfie des mouvements de ce genre où les buts ne sont pas très clair, où la ligne est on ne peut plus floue et où on ne sait pas bien pour qui on travaille au final.

Parce que les partis politiques traditionnels ont une ligne claire et des buts stables ? (je veux dire, au delà de chopper des voix pour gagner au jeu de la curée des places)

C'est la constitution qui permet de garantir tes droits

Non. La constitution définit tes droits (par exemple vie privée). Pour les garantir, tu as des moyens publics répressifs (système judiciaire) et des moyens privés préventifs (cryptographie). Et je ne vois aucune raison de les présenter comme exclusifs l’un de l’autre : tu peux avoir un système judiciaire efficace qui punit les contrevenants ET de la cryptographie pour avoir à éviter d’en arriver à là (tout comme l’interdiction du vol, et sa condamnation par les tribunaux, ne t’empêche pas d’acheter une serrure).

Pour la diphtérie et le tétanos, le vaccin cible les toxines produites par les bactéries, pas les bactéries elle-même.

Comment se fait-il que, parmi toutes ces captures (70 au total), les seules représentations de corps humains soient celles de femmes, dénudées, et dont certaines sont explicitement sexuelles ?

http://framablog.org/2008/10/21/femmes-et-logiciels-libres/

Corrèle ça à la répartition homosexuel/hétérosexuel dans la population en général, et tu as une explication statistique crédible (à vue de pif en tout cas) de l’observation « la plupart des images du genre seront adressées à des hommes hétérosexuels » (si tu pars de la population « logiciel libre » en tout cas)

Tu dois avoir plus de 25 ans. Moi aussi à plus de 25 ans les fonds d’écrans érotiques je finis par trouver ça lassant (bon, j’ai toujours trouvé ça lassant en fait mais c’est parce que je suis né vieux con).

Mais je ne vois pas pourquoi il faudrait faire tout un drame du fait qu’il y ait des adolescents parmi les utilisateurs d’une distrib.

Bon, maintenant je voudrai tester genre ça.

Et sous MacOS X/Windows tu fais comment pour tester ?

Ha bah oui pareil, tu « compiles ».

Mais seul Linux est de la merde.

Le deux poids deux mesures dans toute sa splendeur.

D’autant plus que compiler sous Linux c’est bien plus simple sous Linux que sous OSX (ne parlons même pas de Windows, c’est mal de tirer sur une ambulance).

Zut alors, des gens qui souhaite utiliser, et non pas être asservi.

Compiler, c’est être asservi. Et après tu te fous de la gueule des gens qui parlent de « racket » pour caractériser le fric extorqué par Microsoft sur Android ?

En attendant, les gens vont vers un truc qui a vraiment un vrai centre de dépot

N’importe quoi. Mais vraiment n’importe quoi.

Les distribs Linux avaient un vrai centre de dépôt des décennies avant que MacOS X se dise que c’est en fait une bonne idée.

Les faits, puisque c’est ça qui t’intéresse, c’est qu’il y a des gens satisfait par MacOS X, et des gens satisfaits par Linux, et des gens satisfaits par Windows, et que les libristes sont des gens (wow, le scoop !) qui ne dérogent pas à la règle. Dire « tout le monde préfère MacOS X » c’est faux, et ajouter derrière des petites piques genre « Linux c’est pour ceux qui aiment se prendre la tête » (sous-entendu : ça n’a aucun avantage donc ceux qui disent l’aimer sont juste des abrutis victimes du syndrome de Stockholm) c’est irrespectueux (mais bon, venant de toi, pas étonnant) (ha, et c’est aussi se voiler la face, exactement ce que tu critiques chez les autres sans aucune preuve).

C'est quoi l'usage légitime de l'agent orange ?

Agent orange

Ce produit était d'usage courant dans l'agriculture aussi bien aux États-Unis qu'en URSS, dans les années 1960

Et si tu as un retour chariot dans les arguments ? (git commit -m par exemple)

Et si tu dois utiliser l’entrée standard de ton process pour autre chose ?

Spécifique Bash (et assez moche de surcroît, tu perds la localité que tu as avec la syntaxe a || b)

Il y a deux énormes problème en shell : le scoping et les "tableaux".

Pour passer les arguments à une commande, quelle est la bonne manière : cmd "$*", cmd "$@", cmd $* ou cmd $@ ? (hint : sachant que zsh et bash n’ont pas le même comportement en plus…)

Et ça c’est encore la version simple. Supposons que tu veuilles passer tous les arguments à une commande, en les remplaçant d’une certaine façon (par exemple en remplaçant les chemins relatifs par des chemins absolus), comment tu fais ? (vraie question hein, le problème s’est posé à moi il y a quelque jour, ben je suis passé à Python après m’être cassé la tête contre le mur pendant quelques heures)

Les scopes sont très rigolo aussi. Petit jeu : qu’affiche ce programme ?

zenity --forms --text Configuration --title="Configuration" --add-entry="Login" --add-entry "Mot de passe" | IFS='|' read login pwd
echo "Hello, $login"

Réponse : "Hello, ". Le bon programme serait :

zenity --forms --text Configuration --title="Configuration" --add-entry="Login" --add-entry "Mot de passe" | {
IFS='|' read login pwd
echo "Hello, $login"
}

Explications : dans certains cas, le shell fork. S’il fork les variables d’environnement ne sortent pas du fils. Ce qui donne des challenge intéressant comme : comment savoir à l’avance dans quelle situation le shell va forker ? (dans le premier exemple, le fork pour read était loin d’être évident…), et surtout, comment réussir à réorganiser tout ton programme pour qu’il ne fork pas parce que tu as besoin de la variable login au bon endroit ? (dans mon exemple j’ai pas réorganisé, j’ai tout fait dans le fils, mais si j’avais eu besoin de login dans le processus initial…)

Dernier point en shell, il est impossible de choper le code de retour des processus initiaux et intermédiaires dans une chaine de pipes. Ce qui, couplé à des trucs précédents, donne lieu à de grosses grosses prises de tête. Exemple, comment faire pour détecter le cas « téléchargement foiré » dans la chaine suivante ?

curl http://monsite | sed s/toto/tata > test

Le shell est un langage qui est extrêmement intéressant et bien pensé par certains aspects, mais il a aussi d’énormes problèmes.

Pour l’instant, j’ai été extrêmement déçu de tous les client SIP que j’ai testé sous Linux : Empathy qui ne fonctionne tout simplement pas (j’ai sorti Wireshark, et il envoie des paquets SIP malformés…), Jitsi très mal intégré avec PulseAudio (le son au maximum à tous les nouveaux appels, ce qui fait très très mal aux oreilles)…

Et tous ont un énorme défaut : un très très très mauvais filtre anti-bruit. Voire inexistant, j’ai pas regardé le code. J’ai beau avoir un casque-micro, tous mes correspondants se plaignent du bruit de fond. Viber filtre le bruit corrrectement. Teamspeak filtre le bruit correctement. Mon téléphone SIP filtre le bruit correctement. Je n’ai par contre trouvé aucun client SIP libre qui filtre le bruit correctement.

Pour ceux qui ont testé : est-ce que ça vaut le coup de tenter Linphone ? Ou aurait eu le même problème et trouvé une autre solution satisfaisante ?

Et àmha, il existe une solution toute bête: le système de fichier par le réseau (NFS).

Bonne chance pour faire une application iOS/Android qui accède à ces données, y compris sur un réseau qui n’autorise que HTTP/HTTPS.

Bonne chance pour faire de la gestion fine de droits par application, du partage de données.

Bonne chance pour faire un mode offline.

"Nous", c'est la population, ou les peuples vis-à-vis des "puissantes" multinationales. Puissante car nous leur donnons aveuglément notre confience. Mais pourquoi ne pas avoir davantage confiance en nous-même dès le départ ?

Sauf que ces « puissantes multinationales » dont tu parles, c’est justement la partie du peuple qui s’est sortie les doigts du cul pour fournir un service. À peu près toutes les multinationales dans les nouvelles technologies ont commencé de 0.

Qu’ils ne l’ont pas fait selon les termes qui sont en accord avec ton éthique/esthétique personnelle (cad sous forme libre) — ce dont je suis d’accord, moi aussi j’aurais préféré un Gmail libre — ne veut pas dire que « le peuple » ne s’est pas pris en main. Que je sache, Dropbox n’est pas né d’une intervention Divine.

Bill Gates, Larry Page et Mark Zuremberg et font tout autant partie du « peuple » quoi toi et moi (ou Linus Torvalds).