Introduction
Ce journal est dans le prolongement de mes précédents journaux :
- Auto-héberger ses IA : Principes généraux
- Auto-héberger ses IA : Matériel et optimisation de l'inférence
- Auto-héberger ses IA : Débordement CPU+RAM, Mixture-of-Experts et Benchmarks
On a bien parlé théorie, on a parlé matériel, vous avez vidé notre PEE/PEL, vous avez construit votre radiateur électrique intelligent, vous avez maintenant un LLM optimisé aux petits oignons. On arrive donc sur la partie la plus fun : s'en servir. Autrement (…)
