• # Le choix de ~Sophie~ Claude

    Posté par  . Évalué à 6 (+4/-0). Dernière modification le 29 août 2025 à 23:34.

    D'un côté il y a ceux qui disent que les LLM sont juste nuls ("perroquets stochastiques"), qu'ils ne peuvent rien produire d'intéressant et de l'autre on a des articles comme celui-ci qui expliquent qu'ils sont dangereux et peuvent être utilisés pour produire des malwares. Je me dis naïvement que les 2 ne peuvent pas être vrais en même temps. Si ça peut produire des malwares efficaces, ça peut aussi produire du code utile, non ?
    Je précise parce que ça revient toujours : la nocivité en termes de gaspillage de ressources, utilisation abusive de travailleurs sous-payés, dépendance émotionnelle, etc… sont avérés. Ce n'est pas ce dont je parle.

    • [^] # Re: Le choix de ~Sophie~ Claude

      Posté par  (site web personnel) . Évalué à 9 (+7/-0).

      Vu l'hystérie collective des marchés financiers sur le sujet, faut-il vraiment s'étonner d'entendre ainsi les échos d'une guerre de communication qui envahissent tous les médias. Entre les entreprises qui vous expliquent que leur outil tellement qu'il est bien qu'il permet à un script kidy de faire chanter des entreprises de défenses, et les gourous qui vous assènent que personne ne connaît rien à l'intelligence et que jamais les machines n'en imiteront rien, ou au contraire qu'elles vont permettre d’accéder à la vie éternelle. Il me semble qu'il faille garder la tête froide. Un nouvel outil formidable a été découvert dans les années 2010 ; il va se montrer très utile pour tout un tas de tâche ; mais lesquelles ainsi que les évolutions ultérieures, tout cela reste encore à déterminer.

      « IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace

    • [^] # Re: Le choix de ~Sophie~ Claude

      Posté par  . Évalué à 9 (+6/-0).

      Toute la question c'est "a quel point ils généralisent en dehors de ce qu'ils peuvent avoir lu dans leur apprentissage".

      Le truc c'est qu'ils ont un très gros corpus et qu'ils ont lu beaucoup de code, plein d'exemples, bien plus que toi. D'où leur puissance en tant que "perroquet stockastique". Quand bien même ils ne feraient que reproduire des choses déjà vues, approximativement, ils en ont vu bien plus que n'importe quel humain. Et avec une grosse profondeur de contexte, de nos jours. Ça suffit pour faire illusion sur pleins de trucs, en donnant l'impression qu'ils ont des capacités qu'ils n'ont pas (c'est indépendant de la suite)

      La question après ça c'est : qu'est ce qui est nécessaire pour faire une bonne "illusion". Est ce que leur reconnaissance de motif est assez abstraite pour qu'ils apprennent des règles de déduction logique et les appliquent correctement ? Dans une certaine mesure. Mais … Est ce que ça suffit pour produire des résultats vraiment nouveaux ? Pour de la deduction logique pure, les maths sont un champ d'expérimentation intéressant pour ça évidemment parce qu'on a une bonne idée de ce qu'est un raisonnement correct, avec un peu de recul sur les versions précédentes on se rend compte que quand on essaye de mettre de la profondeur, sur des exos qu'un prof de math pourrait donner à ses élèves a différents niveau, ils reproduisaient plus la forme d'un raisonnement, avec des choses correctes, des choses fausses, des conclusions correctes mais qui ne correspondaient pas au raisonnement : ce n'est pas parce qu'ils produisent des choses qui marchent éventuellement qu'ils ont des capacités "surhumaines". On ne sait pas forcément "comment" ils font quand ils sortent un résultat correct.

      Il y a plein d'obstacles à ça qui doivent faire qu'on garde un euil critique. Par exemple pour un raisonnement mathématique ou jouer aux échecs tu peux comparer au fonctionnement des algos qui le font de manière exacte : ils explorent souvent un arbre des possible en maintenant soigneusement la correction a chaque étape. Ça peut faire plein de branches, ça explose en combinatoire. Comment ferait chatgpt pour maintenir un tel arbre des possibles avec son contexte relativement limité et sa tendance à se tromper n'importe où (ce qui rend douteux toute la suite) sans savoir pour déduire des trucs vraiment originaux et très loin de ce qu'il a appris comme résultat ?

      Sur le sens commun, il ne "connait" le monde qu'au travers de texte et éventuellement un peu d'images, on est loin d'une expérience humaine complete.

      Ne serait-ce que sur ces points … Il est relativement compliqué, pour des trucs qui ont la prétention d'être génériques, de les tester sur tous les domaines,vet de les tester tout court. Ça contraste évidemment sérieusement avec les affirmations marketing sans nuances 'vous avez un expert niveau doctorat dans votre poche dans tous les domaines qui sont évidemment de l'ordre du risible tellement c'est juste du wishful thinking affirmé sans aucune preuve sur la base de 'j'ai test bro crois moi j'ai senti une étincelle, avec tous ces cylindres tu sens la puissance des vibrations au volant'.

      • [^] # Re: Le choix de ~Sophie~ Claude

        Posté par  . Évalué à 5 (+4/-1).

        Le truc c'est qu'ils ont un très gros corpus et qu'ils ont lu beaucoup de code, plein >d'exemples, bien plus que toi. D'où leur puissance en tant que "perroquet stockastique". >Quand bien même ils ne feraient que reproduire des choses déjà vues, approximativement, >ils en ont vu bien plus que n'importe quel humain. Et avec une grosse profondeur de >contexte, de nos jours. Ça suffit pour faire illusion sur plein de trucs, en donnant >l'impression qu'ils ont des capacités qu'ils n'ont pas (c'est indépendant de la suite)

        Le problème c'est qu'ils ont lu tout et n'importe quoi. Du très bien, et du très mauvais et qu'un llm n'est pas capable d'en faire la différence. Car souvent entre le bien et le mauvais le contexte d'utilisation final est primordial.

        Ensuite deux choses rapides. Dans un monde ou le réel est devenu une opinion faire illusion est suffisant pour beaucoup de chose. Mais quand il faut vraiment faire un truc, là on voit que les llm sont inutiles voire source d'erreur. Pas plus tard qu'hier le dev d'un de mes clients voulait à toute force injecter une nouvelle config dans rabbitmq pour aggrandir la taille maximum des messages et ça ne fonctionnait pas. Bien sûr, c'est la faute de l'admin. En vérité il a demandé à chatgpt qui lui a raconté absolument n'importe quoi. Cette aventure arrive chaque semaine. Ouvrir un livre dans une langue étrangère et lire ce qu'il y a écris ne fait pas de toi quelqu'un de bilingue. C'est exactement ce que fait un llm avec le code. Si tu ne sais pas comprendre ce que le llm te raconte tu vas faire des bêtises, beaucoup de bêtises. Tu vas perdre du temps et surtout tu ne vas jamais consolider tes connaissances. Et si tu sais, tu n'as pas besoin de llm.

        Dernière chose, une équation n'est PAS intelligente, une équation ne fait rien d'autre que donner A quand on lui donne B. Rien de plus et un llm c'est juste une très grosse équation.

        • [^] # Re: Le choix de ~Sophie~ Claude

          Posté par  . Évalué à 3 (+1/-0).

          Mais quand il faut vraiment faire un truc, là on voit que les llm sont inutiles

          L'article dit le contraire (et moi aussi vu que maintenant j'ai régulièrement à mettre en prod du code généré par LLM. Je ne suis que le relecteur, la PR est propre, on push, ça tourne (mais c'est du code utilitaire, non critique et pas prévu pour durer, genre ETL)).

          voire source d'erreur.

          "Sources d'erreur" ça c'est très vrai, comme les humains d'ailleurs (les LLM n'ont pas inventé les bugs). C'est pour ça qu'on relit et qu'on teste. Les anecdotes "ChatGPT a dit une connerie" il y en a autant que de gens qui disent que ça les a aidés.

          une équation n'est PAS intelligente
          on est loin d'une expérience humaine complete. (thoasm plus haut)
          un expert niveau doctorat dans votre poche

          Tout ça on s'en fout un peu… Bien sûr que les techbros vont exagérer les capacités de leur truc, mais à part les personnes qui utilisent ChatGPT comme thérapeute/ami/petit-ami (et je trouve cette tendance inquiétante, cf. mon lien "dépendance émotionnelle plus haut), les devs qui s'en servent sont au courant que :

          • ça n'est pas un humain
          • ça n'est pas globalement intelligent
          • ça peut facilement sortir des conneries.

          Il faut faire la part des choses entre les techno-béats et ceux qui n'y voient qu'un outil sympa.

          • [^] # Re: Le choix de ~Sophie~ Claude

            Posté par  . Évalué à 5 (+3/-0).

            "Sources d'erreur" ça c'est très vrai, comme les humains d'ailleurs (les LLM n'ont pas >inventé les bugs). C'est pour ça qu'on relit et qu'on teste. Les anecdotes "ChatGPT a dit >une connerie" il y en a autant que de gens qui disent que ça les a aidés.

            C'est d'autant plus difficile de voir le bug potentiel quand on a pas écrit le code, et que probablement on ne comprend pas non plus le code.

            Et pour l'exemple en question, ce n'est pas un bug c'est une erreur. Le client veut augmenter la taille d'un message dans rabbitmq et gpt lui dis de changer la valeur de frame_max. Aucun rapport. Ouvrir la doc de rabbitmq, / max_, trouver le paramètre, lire la définition. Environ 1minute….

            Pour moi il y a plusieurs problèmes structurels avec ces outils :

            • on ne fait plus ses gammes, son footing et donc on perd en fluidité, en agilité et au final en compétence
            • utiliser un llm est un anti pattern du dev. Développer c'est faire du spécifique pour répondre à un cas bien particulier. Si ce n'est pas du spécifique c'est dans une lib, et les lib sont dans un framework. Par essence un llm donne des réponses génériques. Si c'est générique c'est dans la lib et dans le framework avec tous les avantages connus.
            • Perso je trouve les llm verbeux, ils écrivent trop de code et ne respectent pas les pratiques du projet et on se retrouve avec du code incohérent avec la base de code. Tout ça pour dire que relire le code généré par un llm est fastidieux et j'ai souvent bien plus vite fait de l'écrire moi, que de demander à un llm, une fois deux fois trois fois dix fois pour avoir ce que je veux, puis de relire, de comprendre et de remettre au carré.
            • écrire le code n'est plus vraiment un sujet depuis très longtemps je pense. Être un dev aujourd'hui c'est comprendre le besoin, comprendre l'architecture de la base de code et écrire juste le strict nécessaire pour ajouter le code qui répond au besoin. J'ai de plus en plus à intervenir sur du code que j'ai écrit pour des clients il y a plusieurs années et qui a été repris par la suite par d'autres gens et le plus souvent je trouve côte à côte du code similaire empilé par divers dev. Au bout d'un moment tout s'effondre sous son propre poids. Et moi je nettoie derrière.

            Pour terminer sur le sujet, les gens qui utilisent un llm lisent un livre en portugais sans parler la langue et de dire qu'ils comprennent.

            Bref comme me l'a dit un presta chez un client : "moi je suis très content que les gens dev avec un llm. Comme ça je répare leurs bêtises à 5k€ la journée".

            • [^] # Re: Le choix de ~Sophie~ Claude

              Posté par  . Évalué à 1 (+0/-1).

              on ne fait plus ses gammes, son footing et donc on perd en fluidité, en agilité et au final en compétence

              Exact. Les LLM sont des machines à faire perdre en compétence et même en plaisir de coder. Ne pas en abuser, ça retire tout l'intérêt et le fun du métier…

              Perso je trouve les llm verbeux, ils écrivent trop de code et ne respectent pas les pratiques du projet et on se retrouve avec du code incohérent avec la base de code.

              Aujourd'hui si ton LLM ne respecte pas les pratiques du projet c'est que tu ne l'utilises pas correctement. Les devs ne font plus de copier-coller dans ChatGPT à travers leur navigateur, le LLM est dans le terminal et on lui donne des consignes dans un fichier Markdown et instructions sur l'organisation du projet avant qu'il ne touche quoique ce soit. Un peu comme tu ferais avec un nouveau développeur qui intègre l'équipe. Et là il reste sur les rails. Un exemple tiré de cet article :

              # `CLAUDE.md` - Mon super Backend Service  
              
              ## The Golden Rule  
              When unsure about implementation details, ALWAYS ask the developer.  
              
              ## Project Context  
              The goal of this project is...
              
              ## Critical Architecture Decisions  
              
              ### Use this DB  
              We use xDB because
              
              ### Use this API  
              1. ACID compliance for workflow state (can't lose user data)  
              
              ### Use this and that  
              Because this and that
              
              ## Code Style and Patterns  
              
              ### Anchor comments  
              
              Add specially formatted comments throughout the codebase, where appropriate, for yourself as inline knowledge that can be easily `grep`ped for.  
              
              ### Guidelines:  
              
              - Use `AIDEV-NOTE:`, `AIDEV-TODO:`, or `AIDEV-QUESTION:` (all-caps prefix) for comments aimed at AI and developers.  
              - **Important:** Before scanning files, always first try to **grep for existing anchors** `AIDEV-*` in relevant subdirectories.  
              - **Update relevant anchors** when modifying associated code.  
              - **Do not remove `AIDEV-NOTE`s** without explicit human instruction.  
              - Make sure to add relevant anchor comments, whenever a file or piece of code is:  
                * too complex, or  
                * very important, or  
                * confusing, or  
                * could have a bug  
              
              ## What AI Must NEVER Do  
              
              1. **Never modify test files** - Tests encode human intent  
              2. **Never change API contracts** - Breaks real applications  
              3. **Never alter migration files** - Data loss risk  
              4. **Never commit secrets** - Use environment variables  
              5. **Never assume business logic** - Always ask  
              6. **Never remove AIDEV- comments** - They're there for a reason  
              
              Remember: We optimize for maintainability over cleverness.  
              When in doubt, choose the boring solution.
    • [^] # Re: Le choix de ~Sophie~ Claude

      Posté par  (site web personnel) . Évalué à 5 (+3/-0).

      Dire que les LLM sont nuls et ne produisent rien d'intéressant, c'est un peu exagéré. Ça ne va rien inventer de nouveau mais ça peut être utile. Pour moi le danger c'est qu'on ne peut pas savoir à l'avance quelle en sera la sortie.

      Pour faire un malware ce n'est pas grave, si le LLM se trompe ça ne change pas grand chose. Pour gérer les allocations de nos compatriotes, même si le LLM a raison 19 fois sur 20, ça me pose problème. Les erreurs informatiques ça peut détruire des vies (mais on avait pas attendu les LLM pour ça).

      Pour le vibe-coding je suis personnellement un peu plus ouvert: le LLM peut éventuellement sortir du code défectueux, mais le code lui-même sera toujours exécuté de la même façon, il peut être audité et corrigé. Si on s'en donne la peine (j'ai peur que ce soit de moins en moins le cas).

      Un LUG en Lorraine : https://enunclic-cappel.fr

      • [^] # Re: Le choix de ~Sophie~ Claude

        Posté par  (site web personnel) . Évalué à 5 (+3/-0). Dernière modification le 30 août 2025 à 11:15.

        Les erreurs informatiques ça peut détruire des vies (mais on avait pas attendu les LLM pour ça).

        sympa (!?) la démarche de https://fr.wikipedia.org/wiki/Scandale_de_la_Poste_britannique Post Office Limited, les limitations ne sont pas que là où affiché…

        pas étonnant que les anglais — avec leur humour décalé — en fassent une mini-série o_O
        Au moins, l'honneur est sauf : l'ancienne patronne de la Poste a dû rendre sa distinction honorifique de commandeur de l'Empire britannique (CBE, Commander of the British Empire) O_o ça va rendre la vie meilleure des condamnés, suicidés et dépressifs et ceux encore victimes des indemnisations si lentes que les victimes meurent avant d'obtenir justice /o\

    • [^] # Re: Le choix de ~Sophie~ Claude

      Posté par  (site web personnel) . Évalué à 8 (+6/-0).

      Pour produire un malware, tu peux prendre le risque qu'il fonctionne mal, de toutes façons tu ne le feras pas tourner sur ta prod. Tu peux donc te contenter d'un code approximatif, non optimisé, voir qui ne fonctionne pas très bien parce qu'il suffit qu'il ne fonctionne que de temps en temps.
      Pour ta prod, ça ne devrait pas être le cas.

      Pourquoi bloquer la publicité et les traqueurs : https://greboca.com/Pourquoi-bloquer-la-publicite-et-les-traqueurs.html

    • [^] # Re: Le choix de ~Sophie~ Claude

      Posté par  (site web personnel) . Évalué à 10 (+10/-0).

      Si ça peut produire des malwares efficaces, ça peut aussi produire du code utile, non ?

      • l'attaque est plus facile que la défense (d'un côté réussir toujours, de l'autre réussir une fois), moins exigeant (l'attaquant peut avoir des choses très imparfaites, trop gourmandes, dévastatrices, etc. Mais qui marchent souvent à la fin). Néanmoins l'attaque se "professionnalise/s'industrialise" chez les gros méchants, donc monte en gamme.
      • ça dépend de la définition de "utile" retenue ici : faire du code jetable de prototype, oui. Faire du code que tu ne saurais de tout façon pas faire, oui. Faire du code passable, oui. Faire du code de grande qualité, maintenable ou très complexe, ça reste à démontrer. Ce n'est pas manichéen IA bonne/nulle, ça dépend, et justement parce que ça dépend, c'est l'humain qui supervise qui soit a tout lâché parce que non-compétent sur le sujet, soit qui guide/vérifie le processus.

      (Et c'est indépendant des autres aspects négatifs évoqués nocivité en termes de gaspillage de ressources, utilisation abusive de travailleurs sous-payés, dépendance émotionnelle et autres)

Envoyer un commentaire

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.