damaki a écrit 393 commentaires

Pardon, pas 10 000k mais 10 000€

Amazon avait publier des chiffres pour l'entrainement d'un GPT 4-like, la production de CO2 correspondait à 1 aller-retour Paris-New York en gros porteur. Il y a une centaine de vol transatlantique par jour.

Les vols transatlantiques sont actuellement en baisse alors que la conso de l'IA est en croissance très forte. La comparaison est difficile à tenir.
Amazon est une des boîtes avec Meta parmis les plus en retard sur l'IA. Si Anthropic ou OpenAI donne la quantité d'énergie et d'eau utilisée pour entraîner un de leurs modèles récent, ok ça pourrait être un indicateur. La date des chiffres est aussi importante, parce qu'il y a eu une grosse augmentation de la durée et de et la complexité de l'entraînement des LLMs. Puis maintenant, la distillation étant une source d'entraînement majeure, faudrait aussi compter le coût d'inférence utilisée pour entraîner les modèles.

Là où je bosse et où on débute tout juste, on est déjà à une moyenne de 10 000k pour une trentaine de développeurs. Ceux qui s'en servent le plus sont dans les 600€ par mois mais en croissance constante, linéaire. Les modèles ont encore une fois tendance à consommer de plus en plus de tokens, ça va pas s'arranger.

D'un autre coté, le pdg de MistralIA en regardant l'usage de l'IA dans sa propre boite parle de 10k€ par développeur et par an soit 1kw en continu ou un demi-gpu par personne, soit 400kg de CO2 en France.

Traduire ça en conso de 1kw, je serais curieux de voir la source.

Oui, et malgré tout ça, on a toujours pas assez de hardware pour l'IA. Le vieux hardware n'est toujours pas décommisionné les vieux serveurs parce qu'ils n'ont pas été amortis. On rajoute du hardware en continu, malgré la catastrophe écologique que représente les centaines de milliers, voire les millions de H100, de H200 et de GH200, sans parler des serveurs custom de Google, Amazon, Meta, Alibaba, bref, un paquet de monde. On est exactement dans le même cas que les énergies renouvelables qui ne remplacent pas à ce jour l'énergie fossile, mais qui s'y ajoutent.

L'usage de l'IA représente par personne, quelques secondes de douche pour l'eau et quelques secondes de micro-onde pour l'énergie.

Ça c'est pour un humain qui fait une requête sur ChatGPT. C'est désormais un usage désormais minoritaire avec l'avènement des services agentiques qui tournent en quasi continu sur la planète. Le plus gros usage actuel de l'IA c'est le dev, et on est plus du tout dans le même ordre de grandeur, à tel point qu'il est courant de remplir à moitié, voire aux 2/3 le contexte max de 1 millions de tokens sur Claude Sonnet ou sur Claude Opus d'Anthropic. Le dernier dev un tant soit peu complexe que j'ai fait, ça a été 1h d'échanges en quasi continu avec Claude Sonnet et Claude Opus, pour une quantité de tokens énorme. Ça représente quelques milliers de douches 😁

Je ne suis pas anti-IA, loin de là. Je considère juste que l'IA dans son état actuel, des énormes LLMs qui génèrent des consos électriques colossales et qui requièrent un hardware gigantesque pour avoir une inférence performance, c'est un aberration économique et écologique. Si un jour, on finit par avoir des modèles ultra-optimisés et qui n'ont plus besoin d'être réentraînés à longueur d'année, oui, ce sera viable.

Tout le problème autour de l'IA, c'est que c'est beaucoup de spéculatif. Il y a assez peu de factuel.

Dans le factuel, il y a effectivement des usages agentiques qui fonctionnent, qui fonctionnent bien. C'est assez niche, et c'est de l'usage hautement supervisé. J'inclus le code dans ces usages. En factuel, il y a aussi qu'actuellement on est dans une phase de dumping à une échelle jamais connue ou imaginée. J'avais vu l'année dernière qu'on estimait que rien que pour couvrir les coûts d'inférence, il faudrait multiplier le coût au token par 5. À ça il faut ajouter les coûts d'entraînement, théoriquement du one shot, mais en pratique tous les modèles sont entraînés en continu depuis environ 2022, sans interruption. À ce total déjà colossal, il faut ajouter l'amortissement du matériel et du coût des datacenters, et tout l'argent perdu à rattraper, bref au total 1 400 milliards de dollars d'investissements à recouper.

J'ai lu en plusieurs endroits qu'il y a des perspectives de baisse des coûts d'inférence au token. Je sais pas d'où ça sort, mais en tous cas, c'est pas grâce aux progrès sur la finesse de gravure des semi-conducteurs, qui sont en quasi stagnation depuis 6 ans. Et même si le coût au token baisse, il y a une croissance progressive du nombre de tokens utilisés pour répondre à une requête. Bref, je dis pas que c'est impossible, mais c'est mal engagé. Et même si on arrive à produire du matériel rentable, il y a déjà 1 400 milliards de dollars d'investissement à rentabiliser. Autant dire que le prix est pas prêt de baisser.

C'est faux. La Switch a un port USB-C tout ce qu'il y a de plus standard. Elle utilise du Power Delivery et a besoin de 5V/3A, ce qui est certes un standard récent, mais ce standard aussi présent sur des ordinateurs portables récents. Faut un câble capable de supporter 3A.

C'est effectivement de l'usurpation de numéros. Jusqu'à récemment, il n'y avait pas de vérification que dans un appel, le numéro indiqué comme appelant appartenait vraiment à l'appelant. Les démarcheurs peu scrupuleux allaient donc piocher des numéros dans leur base client pour les utiliser comme numéro appelant. Résultat de ça, quand des personnes se font appeler par ce numéro qui semble être légitime, elles t'appellent pour savoir qui tu es ou elles t'insultent par SMS (charmant, j'ai déjà eu).
Avec l'arrivée de Stir/Shaken et des vérifications par les opérateurs depuis le 1er octobre de 2024, ça devrait disparaître avec les numéros français.

Aux USA, c'est le Far West pour la collecte de données sur les véhicules. Chez certaines marques, on considère que le simple fait de t’asseoir dans le véhicule vaut pour acceptation du contrat et l'abandon de toute vie privée. À noter que le parle de la collecte de données par le fabricant du véhicule et non pas de l'entreprise qui loue le véhicule.
https://foundation.mozilla.org/en/blog/privacy-nightmare-on-wheels-every-car-brand-reviewed-by-mozilla-including-ford-volkswagen-and-toyota-flunks-privacy-test/

Il y a des commentaires transphobes dans une pull request par un des maintainers de Ladybird, donc oui on peut dire que c'est un projet ouvertement transphobe
https://github.com/SerenityOS/serenity/pull/8046#issuecomment-860350155
Oui, c'est une blague transphobe. Il y a des manières plus subtiles que la moquerie insultante pour refuser ce genre de pull requests.

Est-ce une bonne idée de mettre tous ses œufs dans le même panier (un seul format de conteneur, un seul codec video, un seul codec audio) , même si ces formats sont libres et, pour H265, lisible avec des logiciels libres, ce qui est tout de même une bonne assurance pour l’avenir ?

Les formats mainstream ont une très longue durée de support dans les softs open source. Si tu regardes par exemple VLC, le MPEG qui date pourtant d'il y a plus de 30 ans est toujours supporté.

Pareil, j'ai hésité entre acheter un Framework, avec une absence de certitude que la boîte soit encore là dans 5 ans et que je puisse avoir des pièces détachées, ou juste prendre une machine Dell, facile à démonter et où c'est facile de changer les pièces habituelles. Au final, entre les incertitudes et le prix élevé du Framework, j'ai pris une machine Dell avec un gros CPU AMD (indisponible chez Framework à l'époque).
J'ai changé le SSD, ajouté un deuxième SSD et je compte changer les barrettes de RAM, donc c'est tout bon et j'ai zéro regret. J'ai du déjà commander des pièces détachées pour le deuxième SSD, un support pour le placer, et aucun souci pour les obtenir.

Rapberry Pi en mode kiosque
Écran et boîtier pour raspberry pi
Faudrait donc avoir un site avec un défilement automatique de photos et le configurer sur le Raspberry Pi. J'en ai pas sous la main, mais ça doit se trouver dans un des tas d'applis auto-hébergées qui servent à faire une galerie de photos. Nextcloud a un mode diaporama, mais ça se déclenche pas automatiquement.

Les vôtres, je sais pas, mais le mien s'en tamponne de la politique internationale, des sujets de société, de lire le journal, même de lire Epsiloon sur des sujets scientifiques.

Les deux sont des produits qui permettent de faire des appels HTTP vers des services, surtout pour des tests, un peu comme SoapUI pour les web services. Insomnia est une fork de Postman.
Là où ça se voit que les deux produits ont un problème, pour des équipes de développeurs ou de testeurs, c'est qu'aucun des deux ne permet de mettre les fichiers qu'ils produisent dans un dossier de ton choix pour les versionner et/ou les partager. Les deux t'obligent à créer des comptes pour partager tes fichiers, ou à faire un "export", qui est une copie en lecture seule, pas très utilisable.
Bonus : Insomnia est flaggé comme malware par ma boîte depuis quelques mois.

Un équivalent de meilleure qualité est Ain. Ça travaille juste avec des fichiers texte. C'est lisible par des humains, même ceux qui n'y connaissent rien à l'outil.

Sans DRM et français, il y a https://bookdoreille.com/. Sinon, sur le store Google Play, on peut télécharger les ebooks sous forme de MP3.

Pour éviter la mésaventure de devoir migrer vers UEFI et refaire le partitionnement à un moment inopportun, j'ai tendance à utiliser le mode de compatibilité BIOS avec GPT. C'est pas très compliqué et ça permet ensuite de migrer très facilement vers de l'UEFI si le besoin se fait sentir, par exemple si vous changez de serveur mais voulez garder les mêmes disques sans les repartitionner.

Merci pour Pulp. Je cherchais un alternative légère à Quay et Nexus et on dirait que ça fera le taf.

Imprimer, c'est un problème qui a au moins 60 ans.

Le besoin de se raser la barbe n'est pas nouveau. Ça fait littéralement des millénaires. Au 20ème siècle, il y a commencé à y avoir des standards pour les lames et les rasoirs. Après quoi, les fabricants ont tout fait pour étouffer ces standards avec du marketing. Il aurait pu y avoir de nouveaux standards, meilleurs et moins dangereux, mais les fabricants préfèrent vendre chacun leur produit dans leur coin à prix prohibitif.

J'ai déjà essayé de créer des pages Wikipedia, elles ont été effacées, j'ai laissé tomber. Ce que j'en ai retenu, c'est qu'à moins d'avoir un des modérateurs sans la poche, c'est pas la peine d'essayer de créer une page si le sujet n'est pas assez mainstream.

Parce que 4224 contient 42 à l'endroit et à l'envers, et que ça contient 22 pour se souvenir que c'est du ssh. Mais j'utilise quand même fail2ban et le login est exclusivement par clé privée.

Pour moi, ce scénario idyllique ne raconte que la belle histoire. Pour moi, Hashimoto est suffisamment riche, avec entre autres ses actions Hashicorp pour ne plus avoir besoin de bosser. Mais plutôt que de ne rien faire, il prend un poste de dev, sans trop de contraintes, dans sa boîte. Vu que c'est sa boîte, on peut difficilement lui refuser, s'ils ont trouvé un autre PDG compétent.

Pareil, chez moi ça marche toujours avec Podcast Addict.

J'ajouterais que si tu gérais la libération de la mémoire à la main, tu pourrais aussi avoir des problèmes de performance. Les mécanismes de GC améliorent la perf de l'allocation mémoire à court terme au détriment de la désallocation lorsque le GC tourne. Les problématiques de fragmentation existent aussi quand on alloue/désalloue à la main, donc ça n'est un argument ni dans un sens ni dans l'autre.

En combien de temps ? J'avais déjà entendu parler de ce genre de problème avec des PCs gamer qui tiennent moins de 3 ans aux Antilles à cause du taux d'humidité combiné à la salinité de l'air. Mais on parlait là de circuits très complexes, pas franchement industriels et donc avec plus de risque de fragilité, très loin d'un contrôleur d'appareil ménager.

Une histoire vue sur un forum où je traîne :
quand la personne s'assied sur sa chaise de bureau, ça fait rebooter le PC. C'était une histoire d'électricité statique du piston de la chaise.

Est-ce qu'il y aura toujours quelqu'un sur place pour éteindre le setup en cas de cyclone ? Parce que c'est pas spécialement grave que ça prenne un peu la flotte, tant que tu coupes l'alim (batterie comprise) quand c'est mouillé et le temps que ça sèche.