Journal ollama et le GPU

Posté par  . Licence CC By‑SA.
Étiquettes :
5
16
avr.
2024

Bonjour à tous,

lors d'un précédent journal concernant les LLM, poulpatine m'a fait remarquer que je faisais erreur en affirmant que ollama ne fonctionne pas avec les GPU sous linux.
En effet j'avais tort. Enfin, en partie; je m'explique:
- en passant par l'installation standard de ollama, ollama tourne via un service systemd. Dans ce cas, le GPU n'est pas utilisé.
- par contre, en lançant un serveur ollama via une commande ollama serve, l'inférence utilise parfaitement (…)

Forum général.cherche-matériel Recherche une ou plusieurs références de GPU peu cher pour redonner du peps à de vieilles UC

Posté par  . Licence CC By‑SA.
Étiquettes :
3
14
jan.
2023

Salut à tous & bonne année,

J'ai récupéré quelques UC HP antédiluviennes promises à la déchetterie et je voulais améliorer le côté graphique de la chose pour des collégiens de la génération de mon fils, pas vraiment suréquipés niveau informatiques, et puis aussi pour mon héritier en premier lieu.

Est-ce que vous auriez des références de carte graphique 2D/3D bon marché bien exploitées par xorg sans recours à des blobs et toujours en vente ?

Merci par avance,

Votre Y.

Libération de modules noyau NVidia pour Linux

Posté par  . Édité par Benoît Sibaud et Pierre Jarillon. Modéré par Xavier Teyssier. Licence CC By‑SA.
Étiquettes :
59
17
mai
2022
Serveurs d’affichage

Enfin ! Après tant d’années, Nvidia publie les modules noyau de ses processeurs graphiques (GPU) sous double licence GPL/MIT. Le code source est sous GitHub… et il y a de l’animation.

Probable signe de leurs priorités du moment, seules les architectures Turing et Ampere sont assez mûres pour la production. Pour les GeForce et stations de travail, le code est considéré alpha. Mais c’est un grand pas en avant.
On peut maintenant rêver à la libération du logiciel en espace utilisateur.

Commentaires tirés du lien publié sur LinuxFr.org le 11 mai :

  • xoddark rappelle que « c'est seulement la partie noyau qui est libre (DRM/Modesetting/etc) pas les parties userspace (implémentation des api OpenGL/Vulkan/OpenCL/CUDA/etc) et c'est seulement pour les GPU à partir de la génération Turing, les plus anciennes n’y ont pas le droit.
  • pinaraf précise « pour le moment c’est testé que pour les usages datacenter, donc pas la partie affichage mais vraiment la partie G.P.U. (CUDA/OpenCL). »
  • lawless traduit l’annonce NVidia : La page indique que les pilotes GPU NVIDIA ont été conçus au fil des ans pour partager le code entre les systèmes d’exploitation et donc que le code actuel n’est pas conforme aux conventions de conception du noyau Linux et ne sera donc pas intégré au noyau Linux. Le code source publié sert de référence pour aider à améliorer le pilote Nouveau. Nouveau peut exploiter le même firmware que celui utilisé par le pilote NVIDIA, exposant ainsi de nombreuses fonctionnalités du GPU, telles que la gestion de l’horloge et la gestion thermique, apportant de nouvelles fonctionnalités au pilote Nouveau
  • Guillawme précise que plus loin la même page indique « l'intégration au noyau est en projet »
  • Thomas Debesse rappelle qu’il s’agit d’un « pilote Linux pour carte graphique, pas pilote graphique pour Linux », avant une discussion sur la documentation et l’intégration au pilote Mesa avec Xavier Claude, pinaraf et moi1392.