Introduction

Ce journal est dans le prolongement de mes précédents journaux :

• Auto-héberger ses IA : Principes généraux
• Auto-héberger ses IA : Matériel et optimisation de l'inférence
• Auto-héberger ses IA : Débordement CPU+RAM, Mixture-of-Experts et Benchmarks

On a bien parlé théorie, on a parlé matériel, vous avez vidé notre PEE/PEL, vous avez construit votre radiateur électrique intelligent, vous avez maintenant un LLM optimisé aux petits oignons. On arrive donc sur la partie la plus fun : s'en servir. Autrement (…)