barmic 🦦 a écrit 5213 commentaires

Ta thèse c'est que Firefox n'est pas optimal en particulier quand tu as plus de 32Gio de RAM et que tu l'utilise sur des disques en réseau ?

Personne ne dit le contraire et quand tu travail sur ce genre de chose, tu essaie d'avoir des gains pour le plus grand nombre. Si je prend le premier exemple que je vois pour des config orientées jeux vidéo (donc relativement performante) : https://www.canardpc.com/les-configs-de-canard/

Dépasser 16Gio ne semble pas être une priorité, mais oui c'est un cas et on peut trouver des tas d'utilisations qui vont demander 32Gio et plus. Mais je ne suis pas sûr que ce soit les cas d'utilisation de FF les plus classiques (ils ont une télémétrie pour savoir ça).

le programme agit comme s’il était tout seul

Non c'est clairement pas ce que je vois de firefox, il s'adapte à ce qu'il voit. Tu utilise une fonctionnalité qui passe sous les radar et je suis convaincu que c'est une fonctionnalité explicitement en besteffort. Du coup oui ça gratte.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Ah oui tu utilise le cache disque comme ça. Je connais l'intérêt, même si je m'en suis jamais servi. Pourquoi tu n'utilise pas vmtouch pour ça ?

Mes données sont plus grosses que mon disque, je les récupère en réseau donc c'est pas un problème que je vois.

C'est combien de fois plus long d'envoyer ces données vers une partition tmpfs en guise de chargement ?

Le cache disque est un super outil quand on commence à l’utiliser intentionnellement,[…]

Ce n'est pas l'impression que j'ai, c'est très fragile comme technique et ça consiste à gérer l'état de l'ensemble de la machine pour que ça marche. Tu peux flinguer tout ton chargement juste avec un grep récursif par exemple.

En échouant à trouver la doc linux du cache pour savoir si c'était ou non de l'ordre du hack. Je suis tombé sur ça qui pourrait être intéressant.
https://www.kernel.org/doc/html/latest/admin-guide/device-mapper/cache.html

Et pour Firefox que tu moque beaucoup. Pour un utilisateur comme toi qui utilise une partie réputé non assignée de la mémoire, ils ont des centaines de milliers d'utilisateurs qui se plaignent de sa lenteur. Ils font tout pour augmenter leur performance.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Essaie de le dire à quelqu'un :

• T'es quelqu'un de limité
• …
• Non mais je dis pas que t'es nul ! Juste limité

:p

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Je ne comprends pas ton problème. Comment se présente :

Saturer, peut-être pas, mais quelque soit la taille de ta mémoire, tu pourras toujours avoir des trucs qui l’occupent au détriment de ce dont tu as besoin.

J'utilise pas mal de softs réputés très consommateurs (firefox, intellij - souvent 2 instances -, 3 ou 4 applications electrons, chromium, divers logiciels en java) et je ne ressens jamais de problème.

Quand je regarde (c'est pas fréquent), je suis entre 50 et 60% d'occupation par mes appli et le reste qui est pris en cache. Je n'ai aucune configuration particulière et je suis bien content de ne pas me payer des barrettes de RAM pour le plaisir de vérifier qu'elles ne sont pas utilisées.

Alors j’ai essayé plus de trucs.

Tu peux peut être passer par des cgroups pour limiter la mémoire.
https://www.kernel.org/doc/html/latest/admin-guide/cgroup-v2.html#memory

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Je pense que ça vient du fait que les lutes sociales gagnent du terrain. Avant il n'y avait pas besoin d'être pernicieux, il y avait juste moins de droit. Aujourd'hui non seulement il y a pleins de lois de protection des travailleurs, mais en plus avec internet beaucoup plus de choses se savent.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

plan de licenciement

Tut tut tut !
On dit plan social.
Enfin non, on dit plan de sauvegarde de l'emploi.
Non non mieux !
Plan de départ volontaire !

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Mais, le mieux, c'est de tester wrk, avec les bons paramètres, cette application Java sera très certainement par terre, contrairement avec ab.

J'ai compilé wrk et j'ai essayé j'obtiens les même perf qu'avec ab. La différence entre les 2 outils est en dessous de la marge d'erreur. J'ai tenté de faire varier le nombre de threads et le nombre de connexion. Je fais effectivement tomber le service en augmentant le nombre de connexions, mais de même avec ab.

Bref, arrêtez d'utiliser ab, ça ne prouve en rien que votre application tient la charge.

wrk non plus, hein ? Les 2 sont des outils triviaux pour se faire une idée sans se prendre la tête. Des outils de se type tu en a pleins comme vegeta par exemple qui lui vise plus à imposer un débit défini.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

J'ai un gros doute maintenant, avec toutes les mains dans le seul gros paquet de biscuits.

Tu n'a pas regardé leur manche. Facebook intégré sur différents sites (pour des boutons "j'aime" par exemple) ne pourra pas accéder au même cookie quelque soit le site sur le quel il est intégré.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Je suis pas d'accord. On parle de quelqu'un qui a du mal à essayer ton exemple parce qu'il tente d'utiliser ce qu'il sait de sa toolchain habituelle dans une qui n'a rien à voir.

Utiliser make pour compiler des fichiers sources java un à un, c'est faire rentrer un rond dans un carré et c'est pareil si au lieu de java, on parlait de go, rust, julia et tout un tas d'autres¹.

Les cas simples sont devenu triviaux en java².

Quand tu veut faire de la gestion de dépendance, tu entre dans une classe de problèmes qui n'ont rien à voir et make ne fera rien pour toi. On peut sincèrement critiquer maven, mais il joue clairement dans la cours des pas mauvais élèves quand il s'agit de gérer des dépendances³.

maven 4 est prévu pour tenter de s'améliorer aussi.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Je trouve leur critère top strict.

Fais attention parce que c'est ce que eux vendent. Ils font mieux aujourd'hui ? Cool, mais si demain ils te disent que ta restauration mettra 6 mois à finir, tu ne pourra pas leur dire qu'ils n'ont pas prévenu.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Je suis peut être allé un peu vite quand j'avais regardé aws glacier la suppression était coûteuse. Là tu peux t'en tirer avec des politiques de rétentions. Par contre c'est vraiment lent de restaurer depuis scalway glacier, ils disent eux-même la restauration peut être très très longue https://www.scaleway.com/en/docs/faq/coldstorage/#i-have-started-the-restoration-of-an-object-why-is-it-not-available-instantaneously faut accepter d'avoir plusieurs jours d'indispo quand on se base dessus.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Et oui, ce couplage à des toolings lourdingues peut clairement être listé dans les inconvénients de Java.

Comme je le montrais plus haut :

% tree
.
└── fr
    └── spacefox
        └── avatar
            └── AvatarHttpServer.java

3 directories, 1 file
% javac --release 17 fr/spacefox/avatar/AvatarHttpServer.java
# native image c'était pour compiler le bytecode en binaire elf sinon
% java fr.spacefox.avatar.AvatarHttpServer 8080 21

Mais si vraiment ça parait être un couplage à un toolings lourdingues de devoir appeler un compilateur :

% rm fr/spacefox/avatar/AvatarHttpServer.class
% tree
.
└── fr
    └── spacefox
        └── avatar
            └── AvatarHttpServer.java

3 directories, 1 file
% java fr/spacefox/avatar/AvatarHttpServer.java 8080 21 # oui oui ".java"

Après c'est peu utilisé, mais c'est parce qu'ils ne sont pas si lourdingues que ça par rapport à ce qu'ils apportent ;)

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Pour encore moins cher du To, regarder du côté de Scaleway Glacier.

Comme aws glacier ce n'est pas pour n'importe quelle sauvegarde. C'est pour des données immuables que tu veux garder longtemps. Pour les photos et vidéos de famille ça peux être très bien, mais pour la sauvegarde faite pour survivre à un crash disque avec ton /home que tu sauvegarde complètement hebdomadairement et incrémentallement quotidiennement ça va pas le faire.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

À noter par contre que depuis java 11 il y a un client http https://docs.oracle.com/en/java/javase/18/docs/api/java.net.http/java/net/http/HttpClient.html (qui lui est dans java.net.http.* qui est probablement l'endroit où devrait être le serveur).

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Pas forcément. Tu peux très bien utiliser netty pour faire un serveur sans jamais t'intéresser à la performance.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Ce n'est pas la même chose. Ce qui est arrivé avec java 18 et dont parle la JEP 408 concerne le binaire jwebserver (qui est équivalent à ce que l'on peut trouver dans php.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Il date de java 1.6 et il est décrit dans la javadoc donc il fait bien parti de la bibliothèque standard

https://docs.oracle.com/en/java/javase/18/docs/api/jdk.httpserver/com/sun/net/httpserver/HttpServer.html

Tu peut trouver son code dans OpenJDK

https://github.com/openjdk/jdk/blob/master/src/jdk.httpserver/share/classes/com/sun/net/httpserver/HttpServer.java

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

"C'est plus surprenant encore" (c'est une "pire" surprise)

Et ce n'est pas surprenant parce que je m'attendais à ce que ce soit plus lent, mais parce que je m'attendais à ce que ce soit identique. La majorité du code écris que ce soit en java ou en groovy n'est exécuté qu'une seule fois au démarrage.

Pour le reste ce qui est en java d'un coté et groovy de l'autre c'est la récupération d'un nombre aléatoire (mais ça fait appel à la même classe java) et la concaténation d'une chaîne de caractère (ce qui est réputé lent en java). D'où mon questionnement sur String vs GString (j'utilise très peu groovy je ne connais pas particulièrement les GString).

Pour moi c'est aussi surprenant que de dire que si tu lance ab depuis bash, zsh ou fish tu obtiens des performance différentes.

Et tu as pas mal d'apport potentiel lié à Groovy… Comme les DSL.

Je n'ai pas eu l'occasion d'en faire suffisamment pour apprendre vraiment à m'en servir (je m'en sert essentiellement pour des DSL et j'en ai intégré un dans notre logiciel, mais c'est assez anecdotique), mais c'est un langage qui m'attire plutôt beaucoup et j'aimerais bien à minima prendre le temps de regarder le MOP et qu'est-ce que l'on peut faire avec (non pas pour en mettre partout mais pour découvrir ce qu'on peut faire avec).

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

L'option -server (s'il s'agit bien d'elle)

Ma dyslexie a encore frappé (oui oui je suis diagnostiqué).

L'option -server (s'il s'agit bien d'elle) ne sert plus à rien sur les JVM HotSpot et dérivées 64 bits, la JVM "server" est la seule qui existe encore.

Ah oui j'avais vu mais complètement oublié ! Merci du rappel.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

C'est pire. groovy ici ne fais que lancer du code de la bibliothèque standard de java.
À part la gestion de String vs GString je vois pas ce qui donnerais de différence.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Je serais curieux de savoir ce que peut donner l’exercice dans votre langage préféré.

Mon langage préféré c'est java donc bon… J'ai pas de doute qu'utiliser netty ou une surcouche peut permettre d'aller bien plus loin.

Ton exemple m'a donné envi d'essayer native image de graalvm.

% tree
.
└── fr
    └── spacefox
        └── avatar
            └── AvatarHttpServer.java

3 directories, 1 file
% javac --release 17 fr/spacefox/avatar/AvatarHttpServer.java
% native-image fr.spacefox.avatar.AvatarHttpServer

Comme souvent dis c'est long à compiler, mais on obtient un binaire final :

% ldd fr.spacefox.avatar.avatarhttpserver
    linux-vdso.so.1 (0x00007ffd4657c000)
    libgtk3-nocsd.so.0 => /usr/lib/x86_64-linux-gnu/libgtk3-nocsd.so.0 (0x00007f0a02043000)
    libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007f0a02020000)
    libdl.so.2 => /lib/x86_64-linux-gnu/libdl.so.2 (0x00007f0a0201a000)
    libz.so.1 => /lib/x86_64-linux-gnu/libz.so.1 (0x00007f0a01ffe000)
    libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f0a01e0c000)
    /lib64/ld-linux-x86-64.so.2 (0x00007f0a0322c000)
% ls -sh fr.spacefox.avatar.avatarhttpserver
16M fr.spacefox.avatar.avatarhttpserver

Avec ta version (lancé avec java18 avec les même paramètres que toi) j'obtiens 13.5k hit/s avec le binaire j'obtiens autour des 15k hit/s. L'option -verser ne change pas grand chose au résultat.

33 lignes avec tout le boilerplate, c’est dix fois plus que l’implémentation actuelle. J’aurais pu gratter un peu en ne permettant pas la configuration du port ou du nombre d’images (la version actuelle ne le fait pas) mais ça ne change pas l’ordre de grandeur.

Tu compare quoi à quoi ? J'imagine que tu ne lance pas le serveur web de PHP, mais que tu utilise php-fpm ou quelque chose du genre, non ? Il consomme combien de mémoire ?

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

C'est rigolo comme sans contexte, on ne sait pas si tu parle d'utilisateurs de Notepad++, vim, emacs,… Ce sont des éditeurs qui sont clivant dans le sens ou, l'énorme majorité des gens soient utilisent et apprécient soit pas du tout et ont un certain nombre d'a priori dessus.

Je n'utilise pas Notepad++ et son développeur ne me donne pas du tout envi de l'essayer (et bon c'est pas comme s'il n'y avait pas du choix).

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Bref, s'il y a des dev web utilisant emacs qui trainent ici je suis preneur d'un setup bien foutu :)

emacs ne peut pas fonctionner pour le développement web pour la simple raison que le temps pour configurer correctement emacs pour un projet web est supérieur à la durée de vie des frameworks web et bibliothèques web.

:p

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Et même java peut très bien charger dans sa heap des fichiers énormes (plusieurs dizaines de Gio) et il est aussi possible de les manipuler hors de sa heap (et là ta limite c'est ta mémoire physique).

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Concrètement, c'est assez typique je pense : pour un projet, 4 dépôts git avec pour chacun 6 branches quasi vides, une arborescence /lib /app /include /doc /ressource, des submodules dans tous les sens, tous les fichiers README, TODO, INSTALL, une péta chiée de tests (avec une dépendance à la con pour la compilation), tout ça pour une charge utile de 600 lignes de code.

Tu prend un cas ultra caricatural. Donc oui et on peu prendre un cas ultra caricatural dans l'autre sens donc non et voila on est pas plus avancé.

Trouver le bon seuil entre la simplicité (au sens KISS) et l'over engenering n'est pas simple et renvoyer ceux qui n'ont pas fais le choix qui te convient à "cargo cult"/incompétence/etc ne me donne pas l'impression que tu ressent la difficulté du sujet.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll