Greg Kroah Hartmann, mainteneur du noyaux Linux en charge des versions stables, a donné il le 11 août une présentation intitulée Linux in the Land of LLMs (support de présentation, captation vidéo sur Youtube) à partir de son expérience de mainteneur. Les principales informations que j'en retiens :

• Ils reçoivent significativement plus de rapports de vulnérabilités qu'auparavant.
• Les LLMs, sont des outils de pattern-matching sous stéroïdes qui découvrent plein de bugs de cette façon : on a (…)

In medio stat virtus. Non, c'est tout à fait correct, la vertu est dans le juste milieu. En revanche, ça n'a rien à voir avec la conversation.

• Le roi Loth (François Rollin), Kaamelott, Livre V, Corvus corone, écrit par Alexandre Astier.

TL;DR

Sans être exceptionnel, Qwen 3.5 35B A3B est adéquat pour de la programmation agentique.

Or contrairement à ce que j'avais écrit, les modèles MoE comme Qwen 3.5 35B A3B sont en fait parfaitement utilisables avec une (…)

Introduction

Ce journal est dans le prolongement de mes précédents journaux :

• Auto-héberger ses IA : Principes généraux
• Auto-héberger ses IA : Matériel et optimisation de l'inférence
• Auto-héberger ses IA : Débordement CPU+RAM, Mixture-of-Experts et Benchmarks

On a bien parlé théorie, on a parlé matériel, vous avez vidé notre PEE/PEL, vous avez construit votre radiateur électrique intelligent, vous avez maintenant un LLM optimisé aux petits oignons. On arrive donc sur la partie la plus fun : s'en servir. Autrement (…)

Introduction

Ce journal est dans le prolongement de mes précédents journaux :

• Auto-héberger ses IA : Principes généraux
• Auto-héberger ses IA : Matériel et optimisation de l'inférence

Dans ce journal, on va parler de faire de l'inférence avec des LLM, avec pas ou peu de VRAM. Autrement dit, on va essayer de faire rentrer une grosse pièce carrée dans un petit trou rond.

Comme moi, vous avez peut-être observé quelque chose d'étrange : Il y a plein de vidéos Youtube (…)

Salut les moule·e·s

Introduction

Je suis en train de passer un nouveau step dans mon parcours initiatique sur l'IA en jouant plus sérieusement avec les IA locales. Après mes balbutiements avec ollama, j'ai été convaincu par les différents journaux de Jérôme (merci !), notamment celui-ci de passer à l'étape d'après : llama.cpp et llama-swap.

On peut commencer à découvrir et apprendre sans aucun setup particulier : un modèle comme Qwen2.5-0.5B pèse quelque chose comme 500Mo en RAM et peut (…)

Introduction

Camarades, prolétaires numériques, pingouins, unissez-vous ! Contre la rente des IA propriétaires, armons nos GPU ! Approprions-nous les moyens de production de l'intelligence !

Hem, bref, je pose mon mégaphone, et je rentre dans le vif du sujet.

Ce journal est essentiellement un approfondissement de mon mon précédent journal sur le sujet de l'autohébergement d'IA.

En prérequis, il faut avoir une familiarité avec :

• Linux en général ;
• Docker ;
• le bus PCIe ;
• quelques notions de base (…)