Si c'est possible dans Docker, ça l'est forcément sans.
En ce qui me concerne, je l'utilise dans mon cluster Kubernetes donc dans son image Docker mais sur un Linux avec un environnement Nvidia correctement configuré ça devrait tourner sans problèmes.
Comme dans l'issue ci-dessus, les fois où j'ai constaté qu'un modèle utilisait mon CPU au lieu du GPU c'était en effet lié à la taille du modèle (ou la longueur du contexte).
On se retrouve alors dans une situation où le port du switch coûte plus cher que ce que l'on y branche. Ce n'est pas vraiment intéressant pour les hébergeurs :-/.
J'aime beaucoup POSH, ça fait plusieurs années (si si) que je l'utilise sur mon serveur, comme Homepage, en vue de remplacer Netvibes mais je lui reproche toutefois quelques manques.
1. Le style : C'est bête à dire, mais au niveau visuel, ça ne vaut vraiment pas un Netvibes avec un joli thème.
2. La version portable : Pendant un moment, on entendait parler d'une version consultable sur mobile. Au final, cette fonction n'est sortie que sur la version dite "Pro" de POSH.
3. Les plugins : Il y a bien un outil de conversion des plugins Netvibes/iGoogle vers Posh mais ce n'est clairement pas au point (pas moyen de redimensionner la taille du widget de manière automatique, d'après mes souvenirs).
Ce sont les points qui me reviennent en mémoire. Mais sinon, POSH, ça marche bien et je le conseille à beaucoup de gens :).
Quicksilver est un outil vraiment pratique qui, comme indiqué dans l'article, permet de faire autre chose que de bêtement lancer un programme en tapant son nom.
Déja, sa complétion automatique est réellement efficace, mais de plus, l'outil permet de lancer autre chose que les programmes correspondants aux noms.
Avez-vous connaissance d'un outil du même style qui serait disponible sous Linux ?
J'utilise OpenWRT et j'ai même fait un ou 2 packages et je tiens à dire que ce n'est pas vraiment orienté développeur (dans le sens où c'est relativement user friendly ).
Je l'utilise sur mon WRT54GS V1.1 et tout à fonctionné quasiment out-of-box, de plus les réglages de l'ancien firmware ( Linksys officiel ) sont conservés en nvram.
Le fait de pouvoir installer facilement des applications est un avantage indéniable ( quel plaisir d'avoir son bouncer IRC ) et le SDK est très simple d'utilisation.
[^] # Re: Choix GPU
Posté par Poulpatine (site web personnel) . En réponse au journal Introduction pratique aux grands modèles de langage / LLM. Évalué à 4.
Je te conseillerai de regarder les RTX 3090 d'occasion sur des sites d'annonce.
C'est le meilleur rapport qualité/prix/vRAM que tu pourras trouver.
[^] # Re: Support des GPU
Posté par Poulpatine (site web personnel) . En réponse au journal Introduction pratique aux grands modèles de langage / LLM. Évalué à 3. Dernière modification le 03 mars 2024 à 17:17.
Si c'est possible dans Docker, ça l'est forcément sans.
En ce qui me concerne, je l'utilise dans mon cluster Kubernetes donc dans son image Docker mais sur un Linux avec un environnement Nvidia correctement configuré ça devrait tourner sans problèmes.
Les issues du projet pourraient t'aiguiller. Ce commentaire par exemple : https://github.com/ollama/ollama/issues/2826#issuecomment-1970562656
Comme dans l'issue ci-dessus, les fois où j'ai constaté qu'un modèle utilisait mon CPU au lieu du GPU c'était en effet lié à la taille du modèle (ou la longueur du contexte).
# Support des GPU
Posté par Poulpatine (site web personnel) . En réponse au journal Introduction pratique aux grands modèles de langage / LLM. Évalué à 1.
Merci pour cette dépêche.
Cependant tu fais erreur, Ollama supporte bien les GPUs (au moins les GPUs Nvidia).
[^] # Re: Différence de puissance entre ARM64 et Intel Xeon
Posté par Poulpatine (site web personnel) . En réponse au journal Essai serveur ARM chez cloud.online.net. Évalué à 1.
On se retrouve alors dans une situation où le port du switch coûte plus cher que ce que l'on y branche. Ce n'est pas vraiment intéressant pour les hébergeurs :-/.
[^] # Re: Ou trouver l'info ?
Posté par Poulpatine (site web personnel) . En réponse à la dépêche Archipel arrive sur Mars. Évalué à 1.
C'est dans un navigateur.
Mais après, tu peux faire pas mal de truc avec un client XMPP connecté au serveur Jabber.
# Sympa mais ...
Posté par Poulpatine (site web personnel) . En réponse à la dépêche Sortie de Posh 3.0 stable. Évalué à 2.
1. Le style : C'est bête à dire, mais au niveau visuel, ça ne vaut vraiment pas un Netvibes avec un joli thème.
2. La version portable : Pendant un moment, on entendait parler d'une version consultable sur mobile. Au final, cette fonction n'est sortie que sur la version dite "Pro" de POSH.
3. Les plugins : Il y a bien un outil de conversion des plugins Netvibes/iGoogle vers Posh mais ce n'est clairement pas au point (pas moyen de redimensionner la taille du widget de manière automatique, d'après mes souvenirs).
Ce sont les points qui me reviennent en mémoire. Mais sinon, POSH, ça marche bien et je le conseille à beaucoup de gens :).
[^] # Re: Super projet...
Posté par Poulpatine (site web personnel) . En réponse à la dépêche Xfce 4.6 : et tout va plus vite !. Évalué à 10.
;)
# Testé ... et adopté
Posté par Poulpatine (site web personnel) . En réponse à la dépêche Jyraphe, votre dépôt en ligne de fichier. Évalué à 2.
Eh bien je suis très content de Jyraphe !
Bravo, et merci :)
[^] # Re: gcc 4.2.1
Posté par Poulpatine (site web personnel) . En réponse à la dépêche Sortie de FreeBSD 7.0 et 6.3. Évalué à 1.
[^] # Re: gcc 4.2.1
Posté par Poulpatine (site web personnel) . En réponse à la dépêche Sortie de FreeBSD 7.0 et 6.3. Évalué à 2.
[^] # Re: Equivalent sous Linux ?
Posté par Poulpatine (site web personnel) . En réponse à la dépêche Quicksilver passe sous licence libre. Évalué à 1.
Ca fonctionne aussi avec tout type de documents ...
# Equivalent sous Linux ?
Posté par Poulpatine (site web personnel) . En réponse à la dépêche Quicksilver passe sous licence libre. Évalué à 3.
Déja, sa complétion automatique est réellement efficace, mais de plus, l'outil permet de lancer autre chose que les programmes correspondants aux noms.
Avez-vous connaissance d'un outil du même style qui serait disponible sous Linux ?
[^] # Re: Dans mon routeur j'aimerais mettre.. une grenouille !
Posté par Poulpatine (site web personnel) . En réponse au sondage Dans mon routeur wifi j'ai mis. Évalué à 2.
Il est probable que pygrenouille [2] fonctionne sur le routeur.
[1] : http://wiki.grenouille.com/index.php/Projet_Documentation
[2] : http://devel.grenouille.com/
[^] # Re: dd-wrt
Posté par Poulpatine (site web personnel) . En réponse à la dépêche Libérez vos routeurs avec FreeWRT 1.0. Évalué à 0.
Je l'utilise sur mon WRT54GS V1.1 et tout à fonctionné quasiment out-of-box, de plus les réglages de l'ancien firmware ( Linksys officiel ) sont conservés en nvram.
Le fait de pouvoir installer facilement des applications est un avantage indéniable ( quel plaisir d'avoir son bouncer IRC ) et le SDK est très simple d'utilisation.
# Technologie VT
Posté par Poulpatine (site web personnel) . En réponse à la dépêche VirtualBox passe son code en OpenSource. Évalué à 0.
Virtualbox en tire t-il partie ?
Merci.
# lestelechargements.info
Posté par Poulpatine (site web personnel) . En réponse à la dépêche DADVSI : retour le 7 mars 2006 à l'Assemblée Nationale. Évalué à 1.
( Au moins autant objectif que l'original ) .
# Améliorations ?
Posté par Poulpatine (site web personnel) . En réponse à la dépêche Les UltraSparc sous GPL. Évalué à 5.