Introduction

Ce journal est dans le prolongement de mes précédents journaux :

• Auto-héberger ses IA : Principes généraux
• Auto-héberger ses IA : Matériel et optimisation de l'inférence
• Auto-héberger ses IA : Débordement CPU+RAM, Mixture-of-Experts et Benchmarks

On a bien parlé théorie, on a parlé matériel, vous avez vidé notre PEE/PEL, vous avez construit votre radiateur électrique intelligent, vous avez maintenant un LLM optimisé aux petits oignons. On arrive donc sur la partie la plus fun : s'en servir. Autrement (…)

Introduction

Ce journal est dans le prolongement de mes précédents journaux :

• Auto-héberger ses IA : Principes généraux
• Auto-héberger ses IA : Matériel et optimisation de l'inférence

Dans ce journal, on va parler de faire de l'inférence avec des LLM, avec pas ou peu de VRAM. Autrement dit, on va essayer de faire rentrer une grosse pièce carrée dans un petit trou rond.

Comme moi, vous avez peut-être observé quelque chose d'étrange : Il y a plein de vidéos Youtube (…)

Introduction

Camarades, prolétaires numériques, pingouins, unissez-vous ! Contre la rente des IA propriétaires, armons nos GPU ! Approprions-nous les moyens de production de l'intelligence !

Hem, bref, je pose mon mégaphone, et je rentre dans le vif du sujet.

Ce journal est essentiellement un approfondissement de mon mon précédent journal sur le sujet de l'autohébergement d'IA.

En prérequis, il faut avoir une familiarité avec :

• Linux en général ;
• Docker ;
• le bus PCIe ;
• quelques notions de base (…)

Aujourd'hui c'est fourien™, petit tuto sans prétention!

Pour décrire des images en utilisant une iA localement j'utilise LLaVA qui fait partie de LLaMA C++ (llama.cpp)

prérequis :

• créer un dossier image_summary et ses sous dossiers
  mkdir -p image_summary/bin image_summary/models image_summary/data/img image_summary/data/txt

• créer un venv (j'utilise Python 3.10.6)
  python -m venv ./image_summary/venv/

• activer l'environnement
  source ./image_summary/venv/bin/activate

• mettre à jour pip
  pip install --upgrade pip

• installer les dépendances
  pip install 'glob2==0.7'

• désactiver l'environnement
  deactivate

• télécharger le code source de llama.cpp (…)