Bonjour à tous,

lors d'un précédent journal concernant les LLM, poulpatine m'a fait remarquer que je faisais erreur en affirmant que ollama ne fonctionne pas avec les GPU sous linux.
En effet j'avais tort. Enfin, en partie; je m'explique:
- en passant par l'installation standard de ollama, ollama tourne via un service systemd. Dans ce cas, le GPU n'est pas utilisé.
- par contre, en lançant un serveur ollama via une commande ollama serve, l'inférence utilise parfaitement (…)