Introduction

En tant que grand utilisateur des LLM (Large Language Models), je trouve que ce sont d'excellents outils pour diverses tâches comme l'analyse de logs, l'aide à la programmation de scripts, etc. Cependant, une question cruciale se pose rapidement : faut-il les auto-héberger ou les utiliser via des services en ligne ? Dans cet article, je partage mon expérience sur ce sujet.

Catégories de LLM

Je classe les LLM en trois catégories principales :

1. Les petits modèles

Ces modèles (…)

Cher journal,

On entend parler de l'IA à toutes les sauces, prétendument prêt à révolutionner le quotidien de nous, pauvres mortels. Jusqu'à présent je n'ai pas vu de cas d'usage exceptionnel, à part quelques effets sympa pour la rédaction d'annonce, la décoration intérieure ou la traduction vocale.

De mon côté je travaille pour un gestionnaire de biens immobiliers et je passe beaucoup de temps à répondre à des clients qui souhaitent majoritairement :

• Obtenir la dernière facture ou le dernier (…)

Cette semaine pas d'article intéressant.

Enfin, pas intéressant pour la Revue de Presse.

Car j'ai passé un peu de temps à trier ce qui semble être de la presse. Des sites web avec de jolies images, venant de stocks ou de générateurs d'images.

Des sites sans commentaires utilisateurs.

Des pages sans auteurs.

Des "contenus" parfois même sans publicité. Je suis perplexe :)

Il y a quelques semaines mes recherches étaient surchargées par tous ces sites. Mais je crois comprendre que (…)

Aujourd'hui c'est fourien™, petit tuto sans prétention!

Pour décrire des images en utilisant une iA localement j'utilise LLaVA qui fait partie de LLaMA C++ (llama.cpp)

prérequis :

• créer un dossier image_summary et ses sous dossiers
  mkdir -p image_summary/bin image_summary/models image_summary/data/img image_summary/data/txt

• créer un venv (j'utilise Python 3.10.6)
  python -m venv ./image_summary/venv/

• activer l'environnement
  source ./image_summary/venv/bin/activate

• mettre à jour pip
  pip install --upgrade pip

• installer les dépendances
  pip install 'glob2==0.7'

• désactiver l'environnement
  deactivate

• télécharger le code source de llama.cpp (…)

Bonjour à tous,

lors d'un précédent journal concernant les LLM, poulpatine m'a fait remarquer que je faisais erreur en affirmant que ollama ne fonctionne pas avec les GPU sous linux.
En effet j'avais tort. Enfin, en partie; je m'explique:
- en passant par l'installation standard de ollama, ollama tourne via un service systemd. Dans ce cas, le GPU n'est pas utilisé.
- par contre, en lançant un serveur ollama via une commande ollama serve, l'inférence utilise parfaitement (…)