Journal LLM auto-hébergés ou non : mon expérience
Introduction
En tant que grand utilisateur des LLM (Large Language Models), je trouve que ce sont d'excellents outils pour diverses tâches comme l'analyse de logs, l'aide à la programmation de scripts, etc. Cependant, une question cruciale se pose rapidement : faut-il les auto-héberger ou les utiliser via des services en ligne ? Dans cet article, je partage mon expérience sur ce sujet.
Catégories de LLM
Je classe les LLM en trois catégories principales :
1. Les petits modèles
Ces modèles (…)
Lien Ce qui se passe quand l'IA de Google Search prend The Onion au premier degré 🤡
Lien ”Le compte Twitch de mon laboratoire a été supprimé sans sommation”
Journal Support client amélioré. Aide de l'IA ?
Cher journal,
On entend parler de l'IA à toutes les sauces, prétendument prêt à révolutionner le quotidien de nous, pauvres mortels. Jusqu'à présent je n'ai pas vu de cas d'usage exceptionnel, à part quelques effets sympa pour la rédaction d'annonce, la décoration intérieure ou la traduction vocale.
De mon côté je travaille pour un gestionnaire de biens immobiliers et je passe beaucoup de temps à répondre à des clients qui souhaitent majoritairement :
- Obtenir la dernière facture ou le dernier (…)
Forum général.général IA / LLM mode ou enjeu ?
J'entends partout (dans les médias) que l'IA est l'avenir, l'IA est stratégique, qu'on est en retard avec l'IA. Or, on parle ici de LLM c'est-à-dire d'outil capable de générer du contenu à partir de description textuelle.
Je n'arrive pas à voir ce que tout cela apporte, à part à pourrir encore plus le net avec du contenu douteux, car non vérifié. Je m'adresse donc au forum pour m'aider à comprendre si il s'agit d'une mode ou bien d'un enjeu stratégique.
Lien Stack Overflow bans users en masse for rebelling against OpenAI partnership
Journal Pas de Revue de Presse cette semaine
Cette semaine pas d'article intéressant.
Enfin, pas intéressant pour la Revue de Presse.
Car j'ai passé un peu de temps à trier ce qui semble être de la presse. Des sites web avec de jolies images, venant de stocks ou de générateurs d'images.
Des sites sans commentaires utilisateurs.
Des pages sans auteurs.
Des "contenus" parfois même sans publicité. Je suis perplexe :)
Il y a quelques semaines mes recherches étaient surchargées par tous ces sites. Mais je crois comprendre que (…)
Journal décrire une une image avec une iA locale
Aujourd'hui c'est fourien™, petit tuto sans prétention!
Pour décrire des images en utilisant une iA localement j'utilise LLaVA qui fait partie de LLaMA C++ (llama.cpp)
prérequis :
créer un dossier image_summary et ses sous dossiers
mkdir -p image_summary/bin image_summary/models image_summary/data/img image_summary/data/txt
créer un venv (j'utilise Python 3.10.6)
python -m venv ./image_summary/venv/
activer l'environnement
source ./image_summary/venv/bin/activate
mettre à jour pip
pip install --upgrade pip
installer les dépendances
pip install 'glob2==0.7'
désactiver l'environnement
deactivate
télécharger le code source de llama.cpp (…)
Lien Des recruteurs contraints de se passer des IAs pour sélectionner des candidats 🤖
Lien 13 Best Open Source ChatGPT Alternatives
Lien Noyb poursuit OpenAI pour infraction au RGPD sur les informations fausses des personnes
Lien Pour Linus Torvalds, voir toute cette hype sur l'IA c'est hilarant 🍿
Journal ollama et le GPU
Bonjour à tous,
lors d'un précédent journal concernant les LLM, poulpatine m'a fait remarquer que je faisais erreur en affirmant que ollama ne fonctionne pas avec les GPU sous linux.
En effet j'avais tort. Enfin, en partie; je m'explique:
- en passant par l'installation standard de ollama, ollama tourne via un service systemd. Dans ce cas, le GPU n'est pas utilisé.
- par contre, en lançant un serveur ollama via une commande ollama serve
, l'inférence utilise parfaitement (…)