C'est un journal d'humeur, de questionnements et de vrais problèmes techniques …
Pas mal de discours pour faire l'éloge (ou pas) de l'IA abordent le coté moteur OpenSource boostant la recherche autour de l'IA.
Ouais …. mais l'OpenSource en sort il gagnant de cette folle effervescence ?
C'est qd même toujours jouissif d'entendre à la radio (ou autres grands médias) les qualités de l'OpenSource (Pour l'IA) quand cela fait des années que tu prêches dans le désert.
Faut pas être naïf non plus , quand je vois les dominants actuels, j'ai du mal à voir un retour sur investissement pour la communauté OpenSource. Les données privées, ils s'en contrefoutent, money is money qu'ils disent …
C'est qd même fou cette accélération, il y a quelques années les réseaux neuronaux étaient le saint graal de la recherche, maintenant on y est.
Dans mon monde de linuxien, je regardais cela d'un oeil amusé entre 2 tests de mes softs préférés dockerisés, sur ma débian préférée, en root comme d'hab avec mon LVM encore trop rikiki. J'ai même testé Whisper au boulot il y a 1 an et demi sur des gros enregistrements de réunion. Le rendu était qd même bluffant. Mais bon, j'avais d'autres trucs à tester, des Dockerfile à modifier, mon LVM à agrandir. Et même si les secrétaires qui avaient testé Whisper demandaient que j'officialise quelque chose, j'avais toujours quelque chose d'autre à terminer.
Et là, un gars de la direction a montré à ses collègues l'utilisation du site upmeet . L'effet Whaou assuré, le grand manitou veut absolument des licences.
Bon là mon lvm je laisse tomber, mes dockers j'ai en marre de tester, je reprend le train en marche pour proposer quelque chose de plus sain.
-> Nextcloud intègre de l'IA via une base docker. Le traitement Speech-to-Text se fait mais l'utilisation du rendu textuel n'est pas confortable. J'ai donc couplé Nextcloud à un serveur autonome et à coup de scripts (scp/inotify/occ, …) , un enregistrement déposé dans un répertoire spécifique de NextCloud est automatiquement transféré sur le serveur déporté pour y être traité. Les fichiers issus du traitement Whisper sont ensuite déposés dans un répertoire sous NextCloud. Je n'ai pas de GPU, seulement une infra de virtualisation mais en optimisant le nb de cpu/coeur, la RAM et les options multi-threading de Whisper, j'arrive à générer un rendu de qualité d'une réunion de 2h30 en 1/2 heure.
Là ou j'ai du mal c'est pour la partie compte-rendu de réunion. J'ai testé le site upTruc, le compte rendu de réunion est d'une qualité à me couper le souffle. Mais bon l'IA c'est OpenSource Compatible qu'ils disent à la radio. J'ai donc Chatgpté, deepseeké. J'arrive à faire en sortir quelque chose de mon verbatim Whisper mais c'est pourri. Autant le rendu whisper est qd même de bonne facture, autant les modèles que j'ai pu utiliser pour faire un bon CR ne font rien de bon.
Je sent que j'ai loupé quelque chose il y a un an et demi. J'aurai du finaliser une petite solution à base de Whisper pour les secrétariats administratifs de mon taf. Maintenant j'ai du mal à me battre à arme égale avec upTruc (ou autres) …
Mais travaillant dans une administration (Hôpital), je viens de découvrir ALBERT, l'IA souveraine je garde un peu d'espoir . Si ALBERT pouvait passer par chez moi, je pense que je lui ferai un très bon accueil.
Je ne sais pas si vous linuxiens avez tenté de mettre en prod des solutions saine d'IA.
- Avez vous vu le train passé trop vite comme moi ?
- Concrètement y a t il quelqu'un qui a monté une solution Speech-to-Text + élaboration de CR et qui tient la route ? [et pas proprio ;-)]
- Y a t il des moules utilisateurs, administrateurs, concepteurs , … d'ALBERT qui pourraient nous en dire plus sur cette solution ?
# Acceleration
Posté par barmic 🦦 . Évalué à 10 (+12/-0).
L'accélération est surtout dans l'usage. L'IA est un domaine foisonant depuis bien longtemps et on en entends parler très fréquemment au moins depuis Watson d'IBM, puis des Alpha de Google.
Ce qui a changé c'est qu'on a créé un usage des IA pour Jean-Luc dayssideur prayssey de sa région qui se dit que c'est génial et qu'il faudrait pas louper le coche.
Donc on met de la thune à plus savoir qu'en foutre. Ça permet de faire progresser les LLM et l'IA générative au détriment des autres formes d'IA. Et si un jour Jean-Luc se rend compte que c'est pas aussi ouf que ça, hé ben il y aura une crise.
https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll
[^] # Re: Acceleration
Posté par flagos . Évalué à 1 (+0/-1).
L'IA, c'était surtout un domaine où pour avoir le moindre prototype, il fallait embaucher au minimum 3 gonzes (ou gonzesses) qui avaient besoin de grosses quantités de données (qu'on arrivait jamais a avoirl qui font tourner des pipelines pendant des semaines et qui auront peut être des résultats dans quelques années.
Et au bout d'un an, on te fait croire qu'on a enfin trouvé le modèle qui déchire, tu essaies sur un peu plus de données, bim tu te rends qu'on a overfit, ou alors tu fais une jolie démo et tu découvres un NAN en sortie de ton preprocessing.
Bref, l'IA a la sauce GPT, c'est peut être un peu foireux, mais ça marche tout de même un peu. Tu fais un proto en 2 semaines et tu peux le mettre en prod. Après c'est utile ou pas, c'est un autre sujet, mais on arrête d'investir n'importe comment dans le machine learning.
[^] # Re: Acceleration
Posté par barmic 🦦 . Évalué à 3 (+1/-0).
Ça… Les démarchent « trouvez-moi de l’IA a mettre dans notre produit faut pas qu’on rate le coche » me donnent pas cette impression.
https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll
[^] # Re: Acceleration
Posté par flagos . Évalué à 2 (+0/-0).
Et pourtant… Tu mets un langchain derrière un endpoint, un joli bouton et hop tu as un truc.
Rien a voir avec la situation antérieure où il fallait des années de boulot pour des résultats encore moins bon.
La magie des LLM, c'est que c'est de l'IA que n'importe quel software engineer peut faire.
[^] # Re: Acceleration
Posté par barmic 🦦 . Évalué à 2 (+0/-0).
Avoir un truc ne veut pas dire que la situation est meilleure. Par exemple notion a ajouté de l’IA récemment, ils ont une parti de leur communauté qui se barre, ils la désactive sur demande par mail, parce que , ça ralenti toute l’application (pas rapide au départ).
Les fonctionnalités ne sont pas bonnes du fait de leur existence, mais de leur pertinence. Aujourd’hui je suis témoin de cas où on demande aux ingé de faire de l’IA, ce qu’il veulent mais de l’IA.
Pour le moment aucune entreprise d’IA n’est rentable (on verra ce que ça donne pour deepseek). Rien que pour qu’OpenAI soit rentable il va lui falloir des milliards et ça doit être du même acabit pour les autres. Aucun tiers payant n’est pour le moment rentable. Il va falloir que ça finisse par générer BEAUCOUP d’argent à un moment où à un autre. Tant que les marchés ont confiance ça tiendra,
siquand les marchés éternueront ça va se voir…https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll
[^] # Re: Acceleration
Posté par Moonz . Évalué à 2 (+0/-0).
C’est pas l’objectif ; l’objectif c’est "AGI ou bust". Si tu es rentable ça veut dire que tu investis pas assez.
Tu as une AGI tu automatises tous les boulots, de la compta à l’ingé, en passant par les tâches physiques une fois que ton AGI-chercheur fait de la robotique :
Évidemment, il y a un petit souci à (2) si les gens se rendent compte de l’objectif final, mais j’ai l’impression que ça leur passe par dessus la tête.
# combiner les ia
Posté par Ecran Plat (site web personnel) . Évalué à 9 (+7/-0).
Après être passé par Whisper (ce qui est similaire à utiliser de l'OCR), il faut remettre en page le texte et peut-être l'adapter à un format écrit.
Pour cela, il faut passer par un LLM (comme Mistral Small 3 ou Llama 3.3) et lui demander de corriger les fautes et de mettre en page le texte.
Les "uptrucchose" sont des sociétés qui ont exploité les ressources disponibles sur Hugging Face pour créer une interface superbe avec des prompts bien conçus.
Dans le cadre de l'IA, le prompt est crucial pour obtenir de bons résultats. Plus le modèle est "bête" (c'est-à-dire des petits modèles avec moins de paramètres que les mastodontes), plus la précision dans le prompt pourra améliorer le résultat (je tire cela de mon expérience personnelle, qui n'est pas représentative).
Au travail, nous testons l'IA. Actuellement, nous avons déployé Open WebUI avec un Llama 3.2 11B en local sur Ollama et nous avons acheté des tokens chez OpenAI pour les problèmes plus complexes.
Les utilisateurs sont informés que le Llama (rebaptisé dans OpenWebUI du nom de la boîte) tourne en local, tandis que les autres modèles fonctionnent dans un datacenter. Ils doivent donc faire attention à ce qu'ils y envoient.
Pour cela, nous avons acheté un gros Dell d'occasion avec une carte Nvidia Quadro P5000 que nous avons installée dans l'un de nos racks serveurs (c'est bizarre de voir un PC parmi des serveurs). Cela n'a pas coûté cher et fonctionne bien. Pour l'instant, c'est toujours en phase de prototype, et à l'avenir, lors du changement d'un serveur, nous verrons si nous pouvons intégrer une carte GPU.
Demande à ton entreprise un budget pour tester l'IA et voir comment l'intégrer, en expliquant que tu dois faire des essais.
# Est-ce que je résume correctement ?
Posté par AncalagonTotof . Évalué à 5 (+4/-1).
Après, je suis vieux et réticent, j'ai pas confiance, et je vois ça comme une menace. Juste quelques petits biais …
[^] # Re: Est-ce que je résume correctement ?
Posté par Pol' uX (site web personnel) . Évalué à 2 (+0/-0).
Il y a eu tout de même quelques évolutions profondes qui ont changé la donne, semble t'il.
Adhérer à l'April, ça vous tente ?
[^] # Re: Est-ce que je résume correctement ?
Posté par guiv42 . Évalué à 2 (+1/-0). Dernière modification le 09 février 2025 à 14:13.
C'est l'idée que je m'en faisais aussi. Mais d'après ce que j'ai pu lire ces derniers temps, c'est pas si évident que ça. On a remplacé la bonne vieille sigmoïde comme fonction d'activation chargée de créer la non-linéarité par la fonction ReLU et ses variantes, qui ont le bon goût de ne pas trop "diluer" le gradient dans un apprentissage par rétro-propagation. Mais je n'appellerai pas ça une révolution.
Après, l'introduction des transformeurs semble tout de même avoir créé une rupture. Mais là faudrait que je me documente un peu plus pour avoir un avis crédible !
# Point de bascule pour ma part.
Posté par Stinouff . Évalué à 5 (+3/-0).
Je ne comprends rien à l'IA ; entre tous les modèles, les méthodes d'entraînement, les corpus ou ressources choisies, les paramètres divers, les normalisations, les nécessités d'inscription, de matériel et j'en passe…je suis tout à fait dépassé. J'ai raté le train…mais je ne savais pas où il allait exactement de toute façon.
J'ai l'impression d'avoir vieilli d'un coup ; j'avais eu la même sensation avec les smartphones difficiles à bricoler d'ailleurs.^
# Méfiance ou enthousiasme ? Les 2 probablement
Posté par guiv42 . Évalué à 3 (+2/-0).
Sujet riche et complexe, je suis pour ma part assez partagé.
D'un côté une grande méfiance. Depuis le perceptron de 1957, c'est un champ où la pratique n'a cessé de devancer la théorie. Les IAs ont beau être de plus en plus performantes, si j'ai bien suivi on a encore du mal à expliquer théoriquement pourquoi elles fonctionnent si bien. Dites-moi si je me trompe. Mais moi, voir ces machins se déployer partout aussi vite, ça ne me rassure pas. Alors oui, je regarde passer le train, sans vraiment monter dedans.
Quand on voit régulièrement les hallucinations que ces machins peuvent produire… J'attends tranquillement la première grosse catastrophe que l'on pourra imputer à une IA. Un truc du même acabit que l'incident crowdstrike (une erreur humaine, là) me paraît par exemple extrêmement crédible. J'ai déjà été victime d'un faux positif d'un antivirus probablement mû par une IA, que voulez-vous y faire… Il n'y a plus qu'à espérer que ça n'ira pas jusqu'à une catastrophe industrielle !
Et en même temps, ça donne envie de comprendre. Et pour ça, rien de tel que de jouer avec. Pour ceux qui se sentiraient dépassés (comme moi) et qui ont envie de passer un peu de temps pour comprendre les concepts de ce qui se passe sous le capot (comme moi), je ne saurai que recommander scikit-learn. C'est, comme son nom "learn" l'indique, très pédagogique. C'est clair, c'est bien documenté.
J'ai pu jouer (c'est bien le mot) avec il y a quelques années, en bidouillant une "baguette magique" à reconnaissance de geste, avec un accéléro-gyro, un micro-contrôleur et 13 neurones. Très modeste : ça reconnaît 1 seul geste, mais ça fonctionne, et je me sens un peu moins bête après ! Je suis actuellement sur un autre projet, si j'arrive à en faire quelque chose je vous raconterai. Mais c'est encore dans un champ d'application où la capacité de nuisance est très limitée : si jamais ça se rate et sort de temps en temps quelque chose d'aberrant, c'est pas dramatique.
Ne serait-ce qu'une question de gestion du risque ?
Des compte-rendus de réunion par IA, ben pourquoi pas… tant qu'on n'en n'attend pas une valeur juridique par exemple.
[^] # Re: Méfiance ou enthousiasme ? Les 2 probablement
Posté par pasBill pasGates . Évalué à 2 (+1/-0).
Ben moi c'est simple, je suis bluffé
Par exemple, j'ai toujours eu une difficulté certaine à démarrer l'écriture de certaines fonctions utilitaires dés qu'elles font plus de quelque lignes et qu'elles ont un minimum de complexité. Une sorte de phobie ou TADH je sais pas, mais le début a toujours été difficile.
Maintenant, je dis à l'IA (j'utilises Claude 3.5 Sonnet) ce que je veux, et il génère la fonction. Soit il la génère correctement dans son entier soit il est proche et je n'ai qu'à tout vérifier-relire, et corriger - ajouter quelque trucs.
Autre cas : IntelliJ fait maintenant de l'autocomplétion à base d'un modèle local qui devine ce que tu vas taper selon le reste du code, et si il se trompe assez régulirement, est aussi régulirement dans le vrai et cela sauve pas mal de temps.
Cela aide vraiment, c'est impressionnant. Ensuite, non, je n'y connecterais pas une centrale atomique ou un avion.
[^] # Re: Méfiance ou enthousiasme ? Les 2 probablement
Posté par PLuG . Évalué à 1 (+0/-0).
Moi aussi je suis bluffé.
Je m'en sert personnellement pour traduire des documents (résultats médicaux par exemple) en quelquechose de plus compréhensible pour le commun des mortels (qui n'ont pas fait médecine). Cela semble fonctionner très très bien. J'ai montré le résultat à mon vétérinaire par exemple (analyses des tissus de la patte de mon chien), il était bluffé, l'explication était meilleure que celle qu'il venait de tenter de me délivrer …
Je m'en sert aussi beaucoup pour aider mon fils dans sa scolarité : au lieu de chercher le web pour réviser de mon coté quelques notions de maths ou de physique, en 2 ou 3 prompts j'ai l'essentiel et cela me permet de le questionner et de lui répondre pour donner du sens a son cours, prendre de la hauteur avec des exemples pertinents pour qu'il comprenne mieux les notions étudiées.
Je m'en sert aussi pour le code, et c'est assez étonnant. La proposition automatique est souvent pertinente (mais pas toujours, il faut relire) et quand on modifie a la volée il semble apprendre et améliore la suite de sa proposition.
D'ailleurs cette année, lors du "advent of code", il y a eu toute une histoire car les premiers à soumettre les réponses étaient visiblement des IA entraînées à lire l’énoncé du problème, récupérer les données d'input et poster la réponse directement. La plupart du temps en 20 secondes.
Il leur a été demandé de ne pas poster la réponse pour ne pas faire perdre l'intérêt du jeu aux humains qui veulent relever le défis en apprenant à coder !
Au boulot on s'en sert pour normaliser des informations que l'on reçoit des clients. Les clients nous écrivent mais nous avons besoin d'identifier un peu toujours les mêmes paramètres/notions. Le fait que l'IA nous ajoute une fiche normalisée avec les notions nécessaires toujours au même endroit nous fait gagner beaucoup de temps (on garde les écrits originaux aussi). On s'en sert aussi comme premier avis, pour orienter les demandes clients qui passent tout de même par un humain mais avec la première analyse par l'IA.
On a aussi testé les CR de réunion et c'est vrai que c'est bluffant, mais on ne l'a pas déployé pour le moment.
[^] # Re: Méfiance ou enthousiasme ? Les 2 probablement
Posté par barmic 🦦 . Évalué à 6 (+4/-0).
Il faut vraiment faire attention avec cet usage. Hier ou avant hier j’ai lu des tests où on présenter des cas où le LLM ratait des informations importantes.
https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll
[^] # Re: Méfiance ou enthousiasme ? Les 2 probablement
Posté par pasBill pasGates . Évalué à 2 (+1/-0).
La meilleure synthèse que j'ai trouvée pour les LLMs est que ce sont des stagiaires.
Ils font le boulot à peu près correctement, cela aide bien, mais on ne sait jamais ce qu'ils vont merder et il faut tout vérifier.
[^] # Re: Méfiance ou enthousiasme ? Les 2 probablement
Posté par Philippe F (site web personnel) . Évalué à 2 (+0/-0).
Je suis pas mal amené ces derniers temps à coder dans des langages où je suis débutant, voire ignare (powershell, C#, groovy). Dès que je comprends rien au langage, je demande à l'ami félin-malodorant. Je pourrais trouver la même réponse soit en lisant une doc spécialisée qu'il me faut d'abord trouver, puis en analysaer mon besoin et la comparant à ce qui est proposé en faisant mon chemin avec l'information que je cherche. Bref, elle fait en 20 secondes ce qu'il me faudrait 5 minutes à faire.
Idem pour des points de documentation précis, elle remplace un bon stackoverflow. Même dans mon domaine d'expertise (Python) où je connais la doc à moitié par cœur et où je suis capable de trouver le chapitre qui m'intéresse en une dizaine de seconde, c'est légèrement plus rapide de demander à l'IA.
Ce qui est proprement flippant, c'est que du coup en tant que débutant, je peux trouver des réponses qui demandent pas mal d'expertise (lire en claire en secure string en powershell). Plus besoin d'être expert pour produire de l'expertise.
L'humain choisissant toujours la voie avec le plus de confort, je me pose la question de qui va encore vouloir devenir expert dans un domaine ? Comment rivaliser avec les faux experts qui résolvent aussi les vrais problèmes. La différence se fera sur les problèmes relativement complexe, où il faut de l'expertise et du recul. Mais si on sollicite un expert, c'est justement qu'on a ni l'un ni l'autre.
# alternative (proprio) à upmeet
Posté par jtremesay (site web personnel) . Évalué à 3 (+1/-0).
Au taf, on utilise Sana. Ça a le mérite de s'intégrer à Google Meet / Microsoft Team et le free tier est plus que suffisant pour nos besoins de petite boite.
On est tellement satisfait qu'on l'utilise même pour assurer la prise de note des réunions 100% présentiel.
Envoyer un commentaire
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.