Journal Auto-héberger ses LLM (IA) : Débordement CPU+RAM, Mixture-of-Experts et Benchmarks

Posté par  (site web personnel) . Licence CC By‑SA.
Étiquettes :
20
3
août
2026

Introduction

Ce journal est dans le prolongement de mes précédents journaux :

Dans ce journal, on va parler de faire de l'inférence avec des LLM, avec pas ou peu de VRAM. Autrement dit, on va essayer de faire rentrer une grosse pièce carrée dans un petit trou rond.

Comme moi, vous avez peut-être observé quelque chose d'étrange : Il y a plein de vidéos Youtube (…)

Journal Auto-héberger ses IA : Matériel et optimisation de l'inférence

Posté par  (site web personnel) . Licence CC By‑SA.
Étiquettes :
35
5
juil.
2026

Introduction

Camarades, prolétaires numériques, pingouins, unissez-vous ! Contre la rente des IA propriétaires, armons nos GPU ! Approprions-nous les moyens de production de l'intelligence !

Hem, bref, je pose mon mégaphone, et je rentre dans le vif du sujet.

Ce journal est essentiellement un approfondissement de mon mon précédent journal sur le sujet de l'autohébergement d'IA.

En prérequis, il faut avoir une familiarité avec :

Lien La chute des actions du secteur des semi-conducteurs fait fondre 1.000 milliards de dollars de capitalisation boursière

Posté par  .
Étiquettes :
12
6
juin
2026

Journal lsdisplay / lsgpu — lister écrans et GPUs depuis le terminal dans l'esprit de lspci, lscpu, lsusb: v.0.1.0 appel à tests

Posté par  . Licence CC By‑SA.
Étiquettes :
42
4
mai
2026

Le problème

On a lsusb, lspci, lscpu… mais rien pour les écrans ou les GPUs.
Pour savoir quel écran est branché sur quelle sortie, c'est la danse du
xrandr | grep connected, cat /sys/class/drm/card*/edid | edid-decode,
nvidia-smi…

J'ai écrit deux outils pour régler ça.

lsdisplay

Liste les écrans connectés avec fabricant, modèle, numéro de série,
résolution, fréquence, diagonale, et dessine un schéma ASCII du layout :

$ lsdisplay

CONNECTED DISPLAYS
==================

  DP-4         1440x2560+0+0           27"
(…)

Forum Linux.débutant Choix d'une distribution

Posté par  . Licence CC By‑SA.
Étiquettes :
4
3
fév.
2026

Bonjour

J'ai essayé de chercher un peu mais j'avoue que je suis perdu dans le choix des distributions.

Et je précise que je suis totalement débutant dans le monde Linux.

J'ai un ami qui a un vieux PC mais qui tourne toujours et vu qu'il est sous Windows 8.1 je voudrais le passer en Linux. En plus il est intéressé par l'idée histoire de ne pas mettre son PC à la poubelle, surtout que là c'est pas sa priorité financière (…)