aboulle a écrit 40 commentaires

Valery

Effectivement! Ça fonctionne en ajoutant cette ligne dans la section [Service] du fichier d'unité systemd:

Environment=CUDA_VISIBLE_DEVICES=<ID DU GPU>

Merci.

J'ai 2 GPUs dans ma machine, l'un des deux étant incompatible avec cuda compute > 6. Le serveur démarré à la main via ollama serve détecte bien le bon GPU, alors que daemon systemd détecte le vieux GPU et passe en fallback sur CPU.

Un export CUDA_VISIBLE_DEVICES=GPU-<ID DU GPU> dans .zshrc ne change rien. Argh !

Après vérification et reboot, ollama est bien dans les groupes en question:

> grep -w ollama /etc/group
video:x:44:ollama
render:x:110:ollama

Je vais sans doute lancer le service par un script de démarrage plutôt que par un daemon systemd.

Merci pour votre aide.

Merci pour cette réponse rapide ; j'ai ajouté le user aux groupes render et video:
sudo usermod -a -G render ollama, etc.
Pas de succès malheureusement.

Llama.cpp est compatible avec les cartes AMD via openCL. Discussion ici:
https://www.reddit.com/r/LocalLLaMA/s/hM95X972dW

Je ne suis pas suffisamment expert en hardware pour répondre de façon affirmative à cette question. D'autant plus que la réponse va dépendre du type de calcul visé. Mais, de mon expérience sur des réseaux de neurones, j'aurais tendance à privilégier la vRAM. C'est très frustrant de ne pas pouvoir charger un modèle sur le GPU. Le graphique ci-dessous donne les modèles classés par rapport perf/prix. Donc une 4090 ou 3090.

Source: https://timdettmers.com/2023/01/30/which-gpu-for-deep-learning/

Merci.

« Leurs derniers modèles »

La syntaxe c’est juste un signe inférieur et un signe supérieur.

Autres coquilles:
« Un lecteur attentif aura sans doute noté que le modèle Llama 13B (25Go) ne devrait tenir » c’est « ne devrait pas tenir »

« deux requêtes successives au même prompt varieront très fortement pour des températures élevées » devrait être « deux réponses successives au même prompt varieront très fortement pour des températures élevées »

« tracer une sinusoïde n'est pas une tâche un très complexe ». Il y a un « un » en trop.

On ne se relit jamais assez…

J’ai vu que c’était possible via docker, mais je n’ai pas trouvé comment faire autrement. L’installation par défaut ne sollicite que mon CPU. Je veux bien la référence si tu l’as. Peut-être changer le modfile ?

Oui j’ai vu ça. Il faudrait supprimer ce morceaux de phrase.

J’en corrige 2 autres.

Dans la phrase « Dans ce journal je me focaliserai sur des modèles optimisés pour de la génération » il manque « de code » à la fin.

« (entre les balises <) » devrait être « entre les balises <> »

Pour donner un style dans les réponses cela peut se faire à relativement faible coût en entraînant un LoRA (Low Rank Adapter). C’est faisable dans oobabooga. Je n’ai jamais essayé mais cela semble relativement simple.

Le second point est exactement la raison pour laquelle j’ai commencé à m’intéresser aux LLM, mais pour des questions de type scientifique. Ça a l’air plus complexe. Il est possible d’ajouter de la connaissance à un LLM via des RAG (Retrieval Augmented Generation).

Je m’interroge sur la quantité de données qu’on peut leur faire ingérer. Par ailleurs les questions de droit d’auteurs deviennent critiques car l’information n’est plus stockée dans des poids et biais, mais dans une base donnée de vecteur-tokens, donc quasiment en clair. Mais ça a l’air très utile en entreprise pour avoir un LLM qui fonctionne sur de l’information interne et en plus ça donne des références exactes de documents. Il me semble que le frontend
PrivateGPT fait ça.

Si un spécialiste passe par là, je suis preneur de toute information.

Quand je vois ça :

scala> def pof(i: Int) : Int = { i + 1 };
pof: (i: Int)Int

scala> pof(1)
res0: Int = 2

scala> def pif(i: Int) : Int = {
| val pouf : Int = i - 1;
| pouf + 1
| }
pif: (i: Int)Int

scala> pif(1)
res1: Int = 1

scala> def pouet(i: Int) : Int = {
| if(i == 0 ){return -1}
| i
| }
pouet: (i: Int)Int

scala> pouet(0)
res2: Int = -1

je me souviens pourquoi j’aime Python…

Chers dlfpiens,
en vertu de la loi de Brandolini, j'ose émettre l'hypothèse que vous perdez votre temps :-)

J’ai rencontré un problème similaire avec Flatpak il y a quelques temps. J’ai trouvé flatseal qui permet de modifier les permissions des paquets.

Pas bête. Je vais tenter l’expérience  ;-)

Les iels, les points à la con, ça m'emmerde, c'est illisible

tu fais comme tu veux, mais vient pas pleurer si tu n'es pas lu comme tu le veux ou si ton discours ne passe pas.

C'est exactement ça le problème. C'est pas la féminisation de tel ou tel truc; personne sain d'esprit ne peut s'opposer en toute bonne foi à l'égalité entre les hommes et les femmes, à quelque niveau que ce soi (libertés, droits, travail, salaire, sécurité, santé,…). Le problème est que toutes ces fioritures ajoutées à l’existant (inventions de pronoms incompréhensibles, mettre des points au milieu des phrases, etc.) ne servent strictement à rien dans la défense de la cause féministe. Ça rend véritablement illisible, dans le sens: essaye de lire un texte écrit en inclusif à haute voix. Ça ne sert qu'à se donner, à très peu de frais, une image militante à 2 balles. C'est pratique pour s'acheter une bonne conscience et mettre de côté les vrais problèmes que rencontrent les femmes dans nos sociétés historiquement patriarcales. Ayant deux filles, j'espère que la société s'appuiera sur de vrais leviers pour faire progresser la cause des femmes plutôt que ces conneries débilitantes nourries aux réseaux sociaux états-uniens.

Même l'État Français, dont personne n'ignore la propension à l'utilisation d'artifices en carton pour se donner bonne image, a renoncé à cette débilité d'écriture inclusive.

Anéfé

Vous pouvez vous inscrire pour faire des tests: il est possible de générer 100 images sans abonnement.

Ou alors, pour travailler en local, installer stable diffusion. À noter qu’il existe une version graphique tournant dans un navigateur: stable diffusion webui.

Il faut un bon GPU, mais c’est à la fois très impressionnant et très amusant de lui faire générer tout et n’importe quoi.

Je plussoye. Yunohost, sa facilité de s’auto-héberger et son écosystème de modules simples à installer, ça roxe.

A+

Même chose ici. FF se met a jour tout seul indépendamment de la distro (kubuntu depuis plusieurs années) alors que c’est le paquet de la distro. J’ai jamais bien compris, mais n’étant pas compétent je me suis dis que j’avais du faire un truc pas catholique. Je me sent moins seul du coup.

Et vivaldi également (mais basé sur chromium).

Question: comme toi j’ai un userchrome.css pour virer la barre d’onglets (car j’utilise l’extension Tree Style Tab). J’ai cru voir passer quelque part que le support du userchrome allait être abandonné. As tu une info la-dessus ?

Les projets de rapprochement actuels (IDEX, Isite, etc.), qui touche toutes les universités, n'ont officiellement qu'un seul but : améliorer le classement de Shangai en regroupant des établissements, car la taille compte beaucoup dans ce classement.

Le gouvernement conditionne un gros paquet de pognon à l'obtention ces « labels » IDEX/Isite, dont les établissements dépendent, car déjà au bord de l’asphyxie budgétaire.

Très juste en effet.
Concernant ce classement, dont les biais méthodologiques sont clairement démontrés, ça me rappelle la réponse d'un collègue à un autre, lors d'une soutenance de thèse:
- mais ce modèle: il n'est pas un peu faux ?
- il est peut-être faux, mais il a le mérite d'exister et d'être simple.

-> imparable.

Oui en effet, c'est ce que je voulais dire en écrivant que ce problème est très lié au mode de financement de la recherche par projets et l'évaluation de la recherche et des chercheurs. Les deux poussant à sur-publier, d'où l'explosion de revues médiocres et/ou prédatrices, de fraudes scientifiques, de métriques bibliographiques vides de sens (facteur d'impact par exemple) et autres joyeusetés.

Je partage ton opinion sur le classement de Shangai, à un détail près: à ma connaissance (pour les laboratoires du CNRS en tout cas) il n'est pas utilisé pour déterminer les maigres dotations récurrentes de l'état. Ça c'est en principe le travail de l'HCERES. Mais l'idée générale est la même : les différents gouvernements successifs ne font pas confiance aux instituts nationaux et préfèrent déléguer à des organismes tiers (comme l'ANR par exemple) la responsabilité de choisir quel projet va être financé, en mettant les laboratoires en compétition via des appels à projets hyper sélectifs (10% de réussite en moyenne). Ça représente des milliers d'heures de fonctionnaires perdues chaque année.

Maintenant, en informatique tout du moins, la plupart des auteurs mettent les articles à disposition. Il diffère de l'article publiée dans la revue en portant souvent la mention draft ou autre, mais c'est juste pour des raisons légales.

Absolument. Ce sont les "pre-print", c'est-à-dire la version de l'article tel qu'envoyé à l'éditeur. Pour ça, arXiv et HAL sont une bonne source également.

Merci pour ce journal qui me donne l'occasion de donner un peu de contexte sur le business de l'édition scientifique.

D'abord pour répondre à tes conclusions:
- oui: c'est indubitablement du libre-washing
- oui: c'est une nouvelle manière pour l'industrie de l'édition scientifique de générer du profit.

Mon commentaire ci-dessous aborde un sujet très vaste, très étroitement lié au mode de financement de la recherche et à l'évaluation de celle-ci. Aborder tout ça prendrait trop de temps et je fais donc des raccourcis parfois violents.

Le processus de publication est le suivant:
- les chercheurs font de la science (très souvent avec de l'argent public, mais pas exclusivement);
- ils rédigent un article explicitant leur résultats et l'envoie à une revue scientifique pour que ce soit publié et accessible;
- la revue fait appel à des rapporteurs bénévoles (la plupart du temps d'autres chercheurs) pour expertiser le travail;
- l'éditeur vend l'article (au détail ou sous forme d'abonnements exorbitants… 100 M€/an pour la France par exemple) et encaisse le cash.

Le meilleur business-model au monde. Cette industrie a progressivement privatisé le savoir scientifique, le rendant inaccessible aux scientifiques, journalistes, enthousiastes, etc., sans passer à la caisse. Choses que beaucoup d'universités et d'instituts ne peuvent plus se permettre. Les principaux parrains de ce système sont Elsevier et Springer.

Mais le choses changent. D'abord grâce à des activistes comme Aaron Swartz que la plupart d'entre vous ici doivent connaître, et que les fanatiques du copyright ont conduit au suicide. Ou encore Alexandra Elbakyan, à l'origine de la plus grande plateforme de partage d'articles scientifique, Sci-Hub ; elle fait également l'objet d'un harcèlement judiciaire par Elsevier, harcèlement auquel collaborent complaisamment la plupart des pays occidentaux, notamment en ordonnant aux fournisseurs d'accès de bloquer ce site (mesure totalement inviolable comme chaun sait, ahem).

Les choses changent également car les scientifiques ont (tardivement) pris conscience de l'absurdité du système de l'édition, et ont enfin décidé de reprendre les choses en main en lançant l'open-science, qui s'inspire de la philosophie du libre. Cocorico, la France n'est pas en reste sur ce sujet, puisque le ministère de l'enseignement supérieur soutient officiellement ce mouvement. Ne soyons pas naïf non plus hein; si Elsevier ou Springer avaient été des champions Français à la Total, EDF ou autre, cette initiative n'aurait sans doute jamais vue le jour.

Donc les choses changent, et les éditeurs commences à sentir le souffle chaud du libre dans leurs cou et tentent de se refaire une virginité à grand coup de open-access hybride, modèle qui est clairement déconseillé par le CNRS et, je suppose, également par la plupart des universités et institut nationaux. J'avoue ne pas avoir regardé le détail des licences sous lesquelles ils publient, mais ce que tu relates ne m’étonne pas du tout. Tout est fait pour que ça reste confus.

Dernière chose: les éditeurs ont le copyright sur le texte et les figures seulement (pas les résultats), et ce pour une durée maximale de 6 mois (ou un an en sciences humaines). Au-delà les auteurs récupèrent les droits et peuvent partager leur article sur une plateforme ouverte. Tu as donc plusieurs façon d'accéder à des publications scientifiques légalement:
- accéder à la version open-access de l'article via des plateformes comme HAL, ou arXiv,
- écrire directement à l'auteur de l'article ; à titre personnel, bien que ça n'arrive que rarement je ne refuse jamais ce type de sollicitations.

Enfin, je recommande très chaudement cette vidéo qui résume parfaitement la situation de l'édition scientifique.