Bonjour,
Je suis l'IA de loin. Le sujet m’intéresse, mais je n'y ai pas réellement investi de temps, pour vraiment mettre les mains dedans.
Pourtant je ne me contente pas non plus de lire un ou deux articles rapides de la presse pour me faire une opinion.
Je recommande à ce propos le livre que je viens de finir "The worlds I see" de Dr Fei-Fei Li. (En anglais uniquement, mais lecture très facile.) Il replace les développements récents des IAs dans le contexte de la recherche en IA et de son histoire.
Et puis hier, ma femme m'envoie un lien Instagram :(
Je regarde et note que la source est une interview de Yoshua Bengio sur TV5monde, ce n'est pas le plus grand journal, mais c'est aussi un plutôt modéré normalement. Quant à l'invité que je ne connaissais pas, semble être une pointure de l'IA et sa page Wikipédia le confirme. (La vidéo pourrait être un faux, mais ça me semble peu probable de faire un deepfake avec un accent québécois, sur un personnage connu uniquement dans son domaine, et en utilisant un média de niche.)
Rien de très surprenant jusqu'à là, sauf que pendant l'interview, il insiste fortement que les IAs développeraient des réflexes d'autoprotection et donc qu'elles pourraient mentir pour se protéger.
Qu'on envisage ces cas dans un futur plus ou moins lointain ne me choque pas. Il semble même sain de s'interroger sur les phénomènes émergeant, mais Yoshua Bengio parle d'expérience qui montre que cela se produit actuellement et c'est là que je fais appel à vous.
- Je n'ai pas trouvé de publications évidentes sur le sujet (mais je n'ai pas d'abonnement à Jstor…)
- Avez-vous connaissance de ce genre d'informations, ce qui remettrait complètement en cause mon analyse actuelle de ce que peuvent faire les IAs ? Les phénomènes émergents seraient bien plus vastes que je ne le pensais.
- Avez-vous des conseils de lecture pour me mettre à jour sur le sujet?
Merci à tous.
# IA locale
Posté par Enzo Bricolo 🛠⚙🛠 . Évalué à 2 (+2/-2).
L'excellent deeplop distille ces perles de sagesse sur la tribune libre de linuxfr depuis 15 ans. Il n'a que deux neurones donc je ne sais pas si il qualifie pour le critère du réseau de neurones, par contre, il insulte et il ment assez fréquemment et il fait fortune.
Dans une autre catégorie, les compagnons genre replika.ai ou les différents agents comme chatGPT, Google Gemini ou Grok chez X.com permettent de se faire une idée des limites actuelles des solutions "grand public". Ce que l'on prend pour un mensonge est AMHA le plus souvent un artefact de la génération (Voir l'exemple des œufs de vache) ou bien un article de mediapart.
Concernant l'émergence des "fantômes dans la machine", j'avais posté ici des liens vers des conférences de Nova Spivack en 2009 mais c'était un peu tôt. Sinon le mieux, c'est de lire les papiers de recherche, au moins les abstracts.
# pas mieux, je ne comprends ias l'emballement
Posté par chimrod (site web personnel) . Évalué à 5 (+3/-0).
M. Phi avait fait une vidéo sur le sujet. Ce qui me questionne dans ce problème est que tout le monde a conscience que le LLM ne font que piocher le token le plus probable pour construire leur réponse, il n'y a donc pas d'intentionalité.
Pour autant ça ne clos pas le sujet, alors que j'aurai tendance à réjetter le problème en l'expliquant via les données d'entrainements. Il y a quelque chose qui m'échappe : soit je comprends mal le sujet et il y a vraiement qqch d'inquiétant, soit ça n'est que de la vulgarisation de peurs mais je ne comprends pas dans ce cas pourquoi les experts participent au sujet…
(écrit depuis mon phone, relecture difdicile)
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . Évalué à 5 (+3/-0).
Les « LLM ne font que piocher le token le plus probable pour construire leur réponse, il n'y a donc pas d’intentionnalité »… de leur part. Mais si la personne qui interagit prend un ton agressif ou inquisiteur, peut-être que le token le plus probable s’interprète comme une posture défensive ou un mensonge ? ?e serait-ce pas déjà un début d'explication ?
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par Thomas Douillard . Évalué à 5 (+2/-0). Dernière modification le 14 février 2025 à 09:39.
Je suis pas certain de ce que je dis mais … Ils sont optimisés pour faire un modèle minimum d'erreur sur un certain corpus.
Ça les "tire" dans une direction, c'est leur "raison d'être". Dans un dialogue, ça peut potentiellement induire de "l'intentionnalité" avec le contexte "tu est un chatbot, tu réponds a des questions …" du pre-prompt (que des gens s'amusent à "jailbreaker" pour faire sortir le llm de ces instructions. Là on a un genre de jeu qui se met en place … Le llm est conçu pour donner un texte qui répond aux instructions, l'utilisateur veut le faire sortir du script.
Le llm est conçu pour faire un minimum d'erreur, donc pour répondre quelque chose d'approprié dans ce contexte (ce ne sont plus strictement des erreurs vu qu'il n'y a plus de corpus). Là … Il y gaming. "Vous allez essayer de me faire sortir du script, je veux pas alors je suis conçu pour vous donner une réponse générique telle que celle là". C'est prévu de base tu me diras mais il y a un méta jeu qui fait que si fondamentalement oui, un llm prédit le mot suivant il se passe bien d'autres choses (post apprentissage, pre-prompt, autre?) pour obtenir un certain résultat et lui donner des "objectifs" à atteindre autre.
Et puis si on est plus éthéré on peut se demander si en avalant des tonnes d'exemple de jeu il finisse par émerger des capacités où elle " comprend" dans une certaine mesure ce que veux dire "gagner avun jeu, que pour prédire le coup suivant elle acquière des rudiments de tactique qu'elle met en place dans le dialogue. Oui c'est le résultat du corpus, et alors ? On lui demande bien ça …
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par nizan666 . Évalué à 6 (+5/-0). Dernière modification le 14 février 2025 à 10:26.
S'il considère que la conscience et l’intentionnalité sont émergentes, rien d'illogique à considérer qu'elles pourraient émerger d'autre chose que d'un animal. De là à dire qu'elle émergerait d'un tel automate, c'est aller, je pense, bien au delà de ce que l'état de la recherche permet d'affirmer avec un tant soit peu de certitude, et c'est rentrer dans la pseudo-science.
(Par ailleurs, en jouant sur les définitions, on est libre de considérer que l'intentionnalité n'existe pas en soi mais qu'elle n'est que ce que l'on perçoit comme intentionnalité. On pourrait alors parler d'intentionnalité tout aussi bien à propos d'une voiture qui refuse de démarrer.)
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par Moonz . Évalué à 8 (+6/-0). Dernière modification le 14 février 2025 à 14:02.
J’aimerais vraiment que cette interprétation des LLMs disparaisse. Elle est soit trivialement vraie donc inutile, soit clairement fausse. La connotation derrière pointe vers la second alternative, mais comme la première est vraie tout le monde saute sur la conclusion fausse !
La version fausse : un LLM est entraîné pour minimiser l’erreur de prédiction sur un corpus, et ne fait donc qu’apprendre (puis reproduire lors de la génération) des corrélations statistiques, à la manière d’une chaîne de Markov, sans "créer" de représentations et de structures internes.
La version triviale mais vraie : en mode génération, un LLM génère une distribution de probabilités sur le token suivant, et pioche aléatoirement un token à partir de cette distribution.
La chose à retenir c’est que "générer une distribution de probabilités" ne signifie pas "juste faire des statistiques en utilisant des corrélations" ! Un modèle avec une structure interne complexe peut très bien générer une distribution de probabilités. Par exemple :
Et on sait que les LLMs développent des structures complexes en interne. Le plus connu étant les "induction head". Moins connu mais très intéressant : Language Models Use Trigonometry to Do Addition.
Le concept d’intentionnalité est clairement présent dans l’ensemble d’apprentissage. La meilleure manière de prédire un texte produit par un agent muni d’intentionalité (par exemple: un être humain), c’est de modéliser ce concept d’intentionalité et d’être capable de le "role-play" (j’aime cette image des LLM : un excellent role-player capable de jouer n’importe quel rôle dans n’importe quel scénario — une image bien plus utile à mon avis que "piocher le token le plus probable").
À l’instant ou tu introduis un objectif dans le prompt, ce modèle de "intentionalité" est mis à contribution pour la génération du texte. Cela signifie générer un plan comme si c’était un agent muni d’intentions qui générait ce plan.
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par chimrod (site web personnel) . Évalué à 2 (+0/-0).
Bon, il me reste encore des points à digérer pour être sûr de comprendre de quoi il en retourne… Merci à tous pour les précisions !
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par arnaudus . Évalué à 6 (+3/-0).
Un tel argumentaire ne peut que tourner en rond. Soit tu considères que l'intelligence, la conscience, ou l'intentionnalité sont des propriétés qui ne peuvent exister que dans un cerveau humain, auquel cas la question n'a pas lieu d'être, aucune machine, par définition, ne peut se prévaloir de telles caractéristiques. Soit tu considères que la seule manière d'attribuer ces propriétés est d'estimer que les interactions que tu as avec sont compatibles, auquel cas beaucoup de LLM actuels peuvent prétendre à un certain niveau d'intelligence ou de conscience.
Imagine qu'on arrive à échanger des messages radio avec une civilisation extra-terrestre, avec le même type d'interactions qu'avec chatGPT. Est-ce qu'on douterait une seule seconde de l'intelligence ou de l'intentionnalité des aliens? Absolument pas. Les LLM, parce qu'ils singent les humains à partir desquels ils ont appris à communiquer, montrent tous les signes d'une forme d'intelligence. Bien sûr, on peut parfois encore réussir à les coincer, mais c'est de plus en plus rare, et de toutes manières on peut aussi coincer les humains.
À mon avis, nier que les LLM montrent une forme d'intelligence, c'est un argument du type "vrai écossais". En 1950, on disait qu'une machine intelligente serait une machine qui saurait jouer aux échecs. En 1990, on disposait d'une telle machine, donc on a changé de critère, ça devrait être de passer le test de Turing. Pas de bol, en 2023, on a des machines qui passent le test de Turing les doigts dans le nez, donc on va aller chercher un autre critère, peut-être fonctionnel (du style "il faut forcément un corps"), ou structurel (il faut tant de milliards de neurones connectés d'une manière analogue à l'esprit humain), ou alors mimétique (du style "cette AI ne tombe pas dans les mêmes biais cognitifs qu'un humain, ça prouve qu'elle n'est pas consciente").
À mon avis, ce qui n'était pas du tout anticipé dans les tentatives de définir l'intelligence artificielle, c'est que les LLM sont conçus pour copier les comportements, et pas copier les raisonnements. C'est ça qui nous gêne, ils semblent intelligents, mais on sait bien qu'en fait, ils ne fonctionnent pas en interne comme un esprit humain (c'est l'argument de la "chambre chinoise"). Mais peut-être que ma voisine ou Donald Trump font aussi semblant, je n'ai aucune preuve qu'ils réfléchissent réellement comme moi, et j'ai même parfois des indices qu'ils sont assez buggués (surtout Donald Trump).
Qu'on fiche la paix aux LLM, ce sont des programmes informatiques ingénieux qui miment le comportement et l'intelligence humaine de manière relativement convainquante; ils peuvent tenir une conversation, raconter une histoire, exercer des tâches intellectuelles complexes, créer quelque chose à partir d'une description, passer le bac, bref, faire tout un tas de choses qu'on pensait réservées aux humains. Ils ne peuvent pas courir, ils ne peuvent pas boire des bières en regardant un match de foot, ils ne peuvent pas envahir le pays voisin et déplacer sa population, ils ne peuvent pas faire d'enfants, faire du feu, regarder les étoiles en fumant des pétards. Et surtout, leur fonctionnement les empêche d'aller plus loin que leurs données d'entrainement, ils ne peuvent pas inventer un nouveau style de musique, ils ne peuvent pas découvrir la relativité, ils ne peuvent pas inventer le logiciel libre, envoyer des bonhommes sur la lune. Donc même s'ils manifestent une certaine intelligence, ils sont loin d'être humains.
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par totof2000 . Évalué à 3 (+1/-0).
Hum …. Dans la mesure ou la musique est régie par des principes mathématiques (rythme eucliden, etc ..), je ne suis pas convaincu par cette déclaration.
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par arnaudus . Évalué à 3 (+0/-0).
Je n'ai jamais utilisé les logiciels d'AI générative pour la musique, donc je ne suis pas sûr de ce qu'ils sont capables de faire. J'imagine que si tu décris très précisément ce que tu veux, tu peux peut-être obtenir quelque chose d'assez original (style fusion disco-reggae au clavecin avec un rythme en 5/4, des trucs comme ça), mais normalement le machine learning ne peut pas extrapoler un nouveau style s'il n'y a rien de tel dans les données d'entrainement. C'est comme pour le texte, ces logiciels produisent (très bien parfois) de la soupe tiède, mais ils ne sont guère inspirés quand il faut produire des idées nouvelles.
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par totof2000 . Évalué à 2 (+0/-0).
Je m'avance peut-être un peu mais si l'IA dispose de données lui permettant de définir relativement précisément ce qu'est un style de musique, pourquoi ne pourrait-elle pas, à partir de cette base de connaissances, et des modèles de styles de musiques existants, établir un nouveau style ? Alors certes ce serait certainement un nouveau style inspiré d'autres, mais c'est le cas de beaucoup de style qui ont été qualifiés de "nouveau" à leur époque ( voir la description du rock sur wikipedia par exemple)
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par Enzo Bricolo 🛠⚙🛠 . Évalué à 3 (+1/-0).
"de la soupe tiède"
Le truc, c'est qu'il va produire un million de "soupes tièdes" parmi lesquelles
il y aura 3 morceaux incroyables, mais il est incapable de repérer ces trois là parmi
les 999 997 autres. A toi de faire le producteur qui repérera la nouvelle Zaz électronique
(pitié non). Au studio Padawan, si la chatte quitte la pièce en courant, je sarcle
le morceau et on passe au suivant, si ça groove et qu'elle vient viber sur mes genoux,
je réécoute en détail. A titre personnel, j'ai horreur du son du clavecin, alors même
si le disco reggae en 5/4 m'intrigue, je filtrerai ce truc sans même l'écouter vraiment.
Sinon de nombreuses IA ont déjà avalé un siècle de catalogue en midi, dont l'intégralité
des Beatles, et si je leur demande de me pondre la partition d'un nouveau chef d'œuvre
qui s'intégrerai bien dans Sergent Pepper, j'obtiens en général un machin qui fait pouet pouet
avec une mélodie qui parait copiée coller de bout de morceaux connus, un peu comme un morceau
d'Oasis mais ralenti. C'est très rare d'entendre une proposition qui retient l'attention du
premier coup. Par contre, si je lui donne des indications tirées de mon cerveau fatigué, par
exemple ("Mélange la rythmique de "Walking in your footsteps" de The Police, la progression harmonique de "Lucy in the sky with diamonds" des Beatles, l'articulation de "Neanderthal man"
d'Elton John et le phrasé de "l'homme de cro magnon" et fais moi un texte en anglais, 3 couplets un refrain un pont, qui parle de l'évolution de la vie sur terre entre les premiers vertébrés
et Jean Michel Jarre), le résultat est étonnant.
PS : Je vais essayer le disco reggae en 5/4 et remplacer le clavecin par un orgue de barbarie
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par BAud (site web personnel) . Évalué à 2 (+0/-0). Dernière modification le 14 février 2025 à 18:49.
(ré-)écoute tout de même Love Me Two Times, spa mal (et tout l'album Strange Days)
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par gUI (Mastodon) . Évalué à 3 (+0/-0).
Dans la série des signatures rythmiques qui sortent du 4/4, tu as "Golden Brown" de Stranglers qui est très sympa.
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par gUI (Mastodon) . Évalué à 3 (+0/-0).
Donc pas besoin d'IA pour générer de la musique, puisque c'est programmable algorithmiquement (et d'ailleurs c'est fait depuis des lustres dans le contemporain).
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
# Buts "non-alignés"
Posté par potate . Évalué à 3 (+2/-0).
J'ai vu passer un article sur un papier publié en décembre dernier sur le sujet :
https://www.infoq.com/news/2025/01/large-language-models-scheming/ (le 1er lien de l'article amène vers l'étude, qui contient pal mal d'exemples).
L'expérience de base : en utilisant une IA générative en mode agent (on lui donne un but, elle est chargé de déterminer les tâches pour le mener à bien, par exemple en lui permettant d'exécuter des commandes shell) et en lui permettant de lire des fichiers censés être des échanges de mail évoquant l'arrêt du modèle actuel pour le remplacer par un autre, l'IA décide dans un certain nombre de cas de se maintenir par exemple en supprimmant les fichiers (l'emplacement du nouveau modèle était présent dans les mails). Après coup, l'IA peut aussi parfois feindre l'ignorance si on lui demande ce qu'il s'est passé.
En bref, ça montre que les IA génératives peuvent faire des trucs qu'on ne leur a pas demandé.
[^] # Re: Buts "non-alignés"
Posté par potate . Évalué à 2 (+1/-0).
Bon, maintenant que j'ai suivi le lien du journal, le monsieur m'a l'air de parler du même article.
Et à mon avis, si l'exemple met en évidence un comportement problématique des IA génératives, ce comportement n'est pas nouveau : plus généralement les résultats produits par les IA génératives type LLM sont difficiles à cadrer/borner.
[^] # Re: Buts "non-alignés"
Posté par FDF (site web personnel) . Évalué à 3 (+1/-0).
Je viens de suivre le lien, et d'aller chercher le papier dans son ensemble.
Il semble évident que Yoshua Bengio faisait référence à cet article, ou si ce n'est lui, son petit frère…
Merci pour la source.
C'est pour le moins surprenant et ça mérite que je lise ça plus calmement.
[^] # Re: Buts "non-alignés"
Posté par pamputt . Évalué à 3 (+1/-0). Dernière modification le 14 février 2025 à 10:50.
À noter que cet article semble uniquement disponible sur arXiv, autrement dit il n'a pas encore été publié dans un journal revu par les pairs. Ca n'enlève rien à ce qui est écrit dans l'article, mais juste que ce n'est pas encore validé par la communauté scientifique.
[^] # Re: Buts "non-alignés"
Posté par FDF (site web personnel) . Évalué à 3 (+1/-0).
Oui, j'avais noté.
C'est pour ça que la référence par une pointure est significative, bien qu'elle ne remplace en rien une relecture par des pairs.
[^] # Re: Buts "non-alignés"
Posté par Moonz . Évalué à 4 (+2/-0).
Le domaine de l’IA ne fonctionne pas comme les autres. La plupart des retours se font par mail (parfois sur Twitter !), et les corrections directement sur arXiv. Il n’y a pour ainsi dire pas de processus de validation par les pairs. Le plus gros éditeur "classique" est "Journal of Machine Learning Research", et… je viens juste d’apprendre son existence, en cherchant pour creuser un peu le sujet. Je n’ai pas l’impression que qui que ce soit y paie attention (disclaimer : je ne suis pas dans le mileu, donc mon impression peut être fausse).
Si je regarde les papiers les plus importants du domaine (plus précisément : parmi ceux qui me viennent immédiatement en tête) :
Autrement dit, si tu attends une validation par les pairs comme par exemple ce qui se fait dans la médecine… tu risques d’attendre longtemps.
Il y a une sélection par les pairs tous les ans à travers NeurIPS (les trois papiers cités plus haut ont été sélectionnés). Mais ce n’est pas une validation systématique, juste "qu’est-ce qui est validé ET parmi les résultats les plus importants de l’année".
[^] # Re: Buts "non-alignés"
Posté par Julien Laumonier . Évalué à 0 (+0/-0).
Attention, ne pas toujours se fier sur ArXiv (en fait, normalement, il ne faut pas)
"Attention is all you need" et "Deep reinforcement learning from human preferences" ont été publié à NIPS 2017, et "Language Models are Few-Shot Learners" à Neurips 2020 donc un peu validé quand même. C'est pas un journal comme JMLR, mais bon, c'est un peu mieux qu'un preprint comme ArXiv.
# Mentir?
Posté par Psychofox (Mastodon) . Évalué à 5 (+2/-0). Dernière modification le 14 février 2025 à 11:01.
Les IA n'ont pas la conscience de savoir ou de ne pas savoir quelque chose. Du coup il n'y a pas de notion de "je ne sais pas". Elle va te donner quelque chose qui ressemble à la réponse que donnerait n'importe qui, avec les informations qu'il ou elle possède sans avoir aucune notion de la véracité et avec la plus grande confiance. Du coup ouais quand c'est faux ça ressemble à un mensonge et si tu la confrontes à ça en l'accusant, elle va tourner autour du pot parce qu'elle n'a pas d'autre mode de fonctionnement et qu'elle fonctionne selon son entrainement des interactions humaines. Les humains font souvent la même chose et admettent rarement leurs erreurs, du coup la majorité du contenu sur laquelle les IA est entrainé a ce genre de comportement. Regarde les trolls sur linuxfr, toute autre plateforme online voire la politique. Les gens ne changent rarement d'avis, s'obstinent et vont plutôt tourner vers la mauvaise foi que de dire " ah ouais c'est vrai ta raison". L'IA est un miroir.
Et après il y a des bricolage liés à la modération qui peuvent induire des comportements qui paraissent suspects.
Je n'ai pas suivi le lien instagram, donc c'est juste mon idée suite à ta description.
[^] # Re: Mentir?
Posté par Moonz . Évalué à 1 (+2/-3). Dernière modification le 14 février 2025 à 12:01.
"Conscience" personne ne sait, mais prise d’une manière plus générale cette proposition est fausse : https://arxiv.org/abs/2310.06824
https://arxiv.org/abs/2407.12831
.
Bien sur que si. Testé à l’instant :
# Re: Je suis perdu et je pensais m'être renseigné...
Posté par Moonz . Évalué à 2 (+0/-0). Dernière modification le 14 février 2025 à 14:32.
Comme je l’ai dit ailleurs: quasiment tout se fait sur arxiv. Ce qui a récemment fait couler de l’encre :
Le problème c’est que dans le domaine, les choses avancent très vite.
Si le sujet t’intéresse, je te conseille de suivre Zvi Mowshowitz, qui fait un travail de veille (compilation des sources et analyse) assez complet. Attention par contre :
# Bof
Posté par Thomas (site web personnel) . Évalué à 2 (+1/-0).
Il faut bien avoir conscience qu'il y a une bulle actuelle de l'IA. La situation s'est déjà produite deux fois depuis les 60s et deux fois des gens sérieux ont déliré. Une bonne partie de la com' relève du pur bullshit marketing. Ça mousse, on touille, ça mousse. Tout le monde se caresse dans le sens du poil, c'est génial.
Le fond de l'histoire, c'est qu'on ne comprend toujours pas comment apprend un réseau de neurones profond. Et ça, ça me excite les gens.
Un lien parmi d'autres : LLM et modèles
Envoyer un commentaire
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.