Le fait que l'IA dise des trucs faux, même si ça pourrait être des accusations graves, ça ne me choque pas. Les IA disent de la merde. Par contre le fait qu'elle sorte en plus le n° de téléphone et l'adresse de la personne (sans erreur cette fois) c'est un peu plus flippant.
Ce qui est marrant c'est qu'il y a 20 ans tout le monde avait ses coordonnées publiées dans l'annuaire, aujourd'hui c'est inconcevable.
Quand un système te donne une info fausse "ç'est la cata, faut pas les croire". Quand le système te donne une info vrai, "c'est la cata, tout les infos sont dispos sans erreurs" ?
À un moment, faut se décider, soit les trucs sont assez fiable pour leur faire confiance, soit ça n'est pas assez fiable.
La, ça a l'air d'être à géométrie variable, si c'est mal que ça soit faux, alors on exagère les erreurs, et si c'est mal que ça soit correct, alors on passe les erreurs sous le tapis.
Je suis sur qu'un peu de cohérence et de rigueur scientifique ne peut pas faire de mal (ou alors, faut juste dire qu'on s'adapte pour toujours avoir le discours de "c'est mal quoi que ça fasse", ça fera gagner du temps à tout le monde).
Quand une IA génère un résultat faux, alors on dit qu'on peut jamais lui faire confiance. Quand une IA génère un résultat vrai qui dérange (l'exemple de donner le bon numéro de téléphone), alors d'un coup, on suppose que ça va toujours donner les résultats qui dérange, donc que c'est un souci.
Donc faudrait savoir, le souci, c'est que ça génère trop de réponses correctes, ou pas assez ?
C'est de la provocation si c'est volontaire, ou erroné sinon. Tu présentes sur un même plan des problèmes différents (et conclus en imposant un choix étriqué). C'est de la mauvaise rhétorique !
Tu parles de mon raisonnement, ou de celui que je démonte ? Car si c'est le premier, je suis pas d'accord :p
Si c'est le second, je suis pas d'accord non plus, mais plus parce que je pense que la majorité des gens ne tiennent pas les 2 raisonnements en même temps (ou en tout cas, rarement), voir ne pense pas qu'il y a contradiction, mais que ça n’empêche pas de piocher suivant les circonstances (comme on a pu le voir ici). Donc ça n'est pas de la rhétorique.
C'est intéressant de voir que personne ne s'engage sur une voie ou sur l'autre pour démonter la contradiction, ce qui me semble le moyen le plus simple quand même.
Un autre exemple, c'est de déplorer que la reconnaissance faciale soit une violation des libertés parce elle est efficace, tout en déplorant que ça soit une discrimination raciste parce elle n'est pas efficace. Demander à améliorer les algos de reconnaissances faciales revient à demander les outils sur les caméras et les dérives que ça entraîne. Saboter ça (ou réduire l'efficacité d'une manière ou d'une autre) pour éviter les dérives, c'est entraîner des dérives racistes dans les applications tierces.
C'est pareil, il y a via 2 arguments valables et assez fort, qui sont séparés, mais qui aboutisse à la construction d'une contradiction assez flagrante.
Encore une fois, le résultat de l'argumentaire me semble indépendant de l'argument de base et jamais l'argument opposé ne vient nuancé la position. Pile tu perds, face je gagne, en très gros.
J'avais lu un article (que je ne retrouve pas) d'un sociologue américain sur le mariage pour tous en France. Il expliquait quelque chose qui m'a marqué, à savoir qu'en regardant les discours de l'époque, les gens étaient dehors pour protester contre le mariage, mais qu'en vérité, c'était plus contre la GPA et la PMA (et donc la filiation). Les discours n'exprimaient pas directement la peur sous jacente.
Et j'y pense assez souvent quand je vois ce genre de contradictions (qui abondent quand même pas mal selon moi), car si la prémisse de base n'a pas d'importance, alors c'est qu'autre chose en a. Sauf qu'on exprime jamais le "autre chose", et c'est un souci (en plus du fait que ça m'irrite quand les gens présentent tout et son contraire comme des vérités absolus, sans doute parce que j'ai pas la souplesse d'esprit de croire tout et son contraire).
Il n'y a pas de contradiction, juste 2 axes de mesure différents. Dans un cas, c'est efficace, dans l'autre pas.
Dire qu'un tournevis n'est pas efficace pour faire du café n'est pas contradictoire avec le faire qu'il est efficace pour dévisser le type de vis pour lesquelles il a été conçu.
Je pense qu'il faut aussi voir ça avec 2 destinations différents de l'information.
D'une part tu as des professionnels qui vont utiliser l'I.A. dans un cadre pro, qui ont besoin et donc vont s'attendre (parce que c'est comme ça qu'elle est vendue) à avoir une information valide et sur laquelle s'appuyer.
D'autre part, tu as des des gens qui vont l'utiliser afin d'avoir une aperçu de ce qui se dit à propos d'un sujet sans avoir besoin d'une validation de l'information, comme ils le feraient en lisant un magasine people, mais en mieux parce que tu peux lui demander n'importe quoi.
Pour les premiers, ils ne peuvent pas faire confiance à l'I.A. pour leur objectif.
Pour les seconds, il faut surtout s'intéresser à ceux que concerne l'information. Si elle est correcte (par ex. numéro de téléphone), c'est un problème facheux concernant leur vie privée (peu importe qu'ils aient par mégarde déposé leur numéro au mauvais endroit), si l'information est incorrecte (par ex. accusation de faits imaginaires), ça peut lui porter un préjudice conséquent.
En résumé, peu importe le sens, l'information n'est pas fiable.
Déja, est-ce qu'on parle de la qualité absolue de ce qui sort d'une IA, ou bien de la qualité relative par rapport aux données qu'elle a ingurgité? Si on nourrit une IA avec les pages de la Flat Earth Society, l'IA te dira que la terre est plate. Il n'y a pas de problème avec l'IA, juste un problème avec la qualité des données.
Ensuite, est-ce que l'argument est temporaire (du style, "pour l'instant, c'est pas assez fiable"), ou est-ce qu'il est définitif ("par principe, ça n'est pas fiable"). Enfin, quelle est la référence? Par exemple, une IA qui conduit une voiture, on sait qu'elle va avoir des accidents, la question est plutôt si elle a plus ou moins d'accident qu'un conducteur moyen, qu'un conducteur inexpérimenté, qu'un conducteur âgé, etc.
Du coup, il y a tellement d'arguments qui s'éparpillent partout sur l'échelle de l'argument foireux qu'à un moment, il est tentant de tout balancer, parce que la plupart sont des arguments de grand-mères à moustaches ("ce truc change le monde et je n'aime pas quand le monde change"). Et je suis d'accord aussi que beaucoup d'arguments sont contradictoires entre eux. "Ça ne fait que reformuler Wikipédia" vs "Ça n'aura jamais la fiabilité d'une page conçue par un humain", par exemple. Il y a également énormément d'arguments basés sur le traitement d'informations privées, qui pourraient être obtenues par un moteur de recherche : si Google te retourne la bonne réponse si tu demandes "Quel est le numéro de téléphone de Tartempion" ou "Est-ce que Tartempion est juif", alors c'est normal que chat GPT te donne également la bonne réponse, c'est ce qu'on attend de lui (et s'il ne la donnait pas, on dirait "ah ah c'est moins bien qu'une recherche Google").
Parce qu'une IA bien configurée peut aussi être au service de la vie privée. Justement, si elle a pour consigne de ne pas dévoiler d'informations privées, elle peut "filtrer" le contenu du web pour ne fournir que les informations pertinentes. Elle peut t'apporter des nuances ("selon certaines sources la Terre est plate, mais ce n'est pas l'avis des scientifiques"), etc. L'IA est un outil, c'est un outil tellement nouveau que peu savent comment il fonctionne et comment l'utiliser efficacement, c'est un outil tellement puissant que beaucoup en ont peur, et c'est un outil tellement récent qu'on n'a aucune protection légale, ni même aucune règle éthique, qui s'appliquerait aux excès. Mais une fois qu'on a retiré tous les argument superficiels (qui traduisent des peurs ou des fantasmes, tels que la peur de perdre son boulot), et les arguments qui se concentrent sur l'imperfection des implémentations disponibles actuellement ou sur les lacunes des bases de données qui servent à entraîner les logiciels, il reste beaucoup moins de questions à trancher. Une question majeure est celle de la responsabilité (qui est responsable, celui qui fournit l'IA, celui qui l'utilise, celui qui publie le résultat…), une autre question est celle de la légalité de l'usurpation (est-ce éthique d'utiliser une IA pour se faire passer pour un humain auprès d'un autre humain), etc. Mais tant qu'on ne se débarrasse pas des questions de grand-mères à moustaches, on aura du mal à s'intéresser au fond des choses.
On savait tout ça deux semaines après la sortie de chatGPT. Le truc c'est que malgré tout ça on a pas vraiment fait de progrès sur les questions parce que les vraies applications intéressantes étant donné ce qu'on sait des faiblesses des IAs en l'état actuel les applications réellement intéressantes sont encore plus ou moins faibles.
Faudra attendre d'autres progrès, soit des progrès techniques fondamentaux, soit du travail bien plus laborieux pour avoir des applications élaborées, du travail de corpus, des insertions dans des architectures logicielles plus élaborées avec des composants plus traditionnels, pour vraiment avancer. Ça contraste avec les promesses du truc ou tout d'un coup le grand public a eu l'impression d'avoir un machin un peu magique dans les pattes avec des tas d'applications gratuites, et pour les décideurs il suffisait de faire apprendre sur des tonnes de données et automagiquement d'avoir des résultats intéressants subséquemment gratuits. C'est pas le cas, il va falloir du travail humain (et pas forcément juste plein de sous, plus de matériel, un corpus plus gros, des plus gros modèles, et des centrales nucléaires)
Le truc c'est que malgré tout ça on a pas vraiment fait de progrès sur les questions parce que les vraies applications intéressantes
Je ne sais pas ce que tu appelles "intéressantes". Si c'est du point de vue de la société, je t'accorde que ça n'est pas impressionnant, même si je pense qu'il y a énormément de potentiel au niveau des interfaces entre les consommateurs d'un service et l'équipe de développement (questions fréquentes, documentation, rapport de bugs, etc). Par contre, le fait que ces systèmes soient capables de générer des copies mieux que moyennes jusqu'au niveau master, les étudiants l'ont bien compris. La capacité à étendre ou à résumer un texte est aussi extrêmement impressionnante. Comme dit plus haut, c'est un outil : il faudra repasser derrière pour vérifier rapidement, et ça n'aura jamais aucune réelle créativité, puisqu'il s'agit d'outils de synthèse. Mais si on en reste à ce niveau, ça marche quand même plutôt bien, et on a toutes les raisons de penser que ça ne peut que s'améliorer (jusqu'où? Ça n'est pas très clair).
on a toutes les raisons de penser que ça ne peut que s'améliorer (jusqu'où? Ça n'est pas très clair).
C'est un peu du "wishful thinking" dit comme ça. On espère un progrès, on sait pas trop comment, on sait pas trop l'évaluer et on a pas de plans mais c'est sur ça va marcher :p
On sait que ça va s'améliorer, mais on ne sait pas jusqu'où. Ça n'a rien à voir avec du "wishful thinking". Ça va s'améliorer, parce qu'on sait que les services professionnels sont largement supérieurs à ce qu'on peut avoir pour le grand public payant, ce qui est encore supérieur à ce qu'on a en gratuit. Il est donc possible d'avoir bien mieux que ce que la plupart d'entre nous a pu tester.
on sait pas trop comment, on sait pas trop l'évaluer et on a pas de plans
Tu confonds "on" et "je". Ça n'est pas parce que tu sais pas que personne ne sait.
En fait, je ne sais même pas comment tu peux tenir un tel discours sur la "médiocrité" des IA, ça me fait clairement penser à une sorte de déni. Est-ce que tu as essayé d'utiliser un outil grand public (type chatGPT) sans mauvaise volonté, sur une tâche pour laquelle il est "bon" (en gros, générer du texte)? Tu demandes la même chose à 100 humains au hasard dans la rue, tu penses que chatGPT se classe où? Franchement, il va très souvent être dans les quantiles tout en haut, 90%, 95%. Ça ne va pas valoir ce que pourraient produire les cracks du domaine, mais ça a largement, très largement même, être au moins équivalent à ce que produirait un humain. Comme je le disais plus haut, chatGPT a un niveau master dans beaucoup de domaines, ce qui n'est pas à la portée d'un être humain (je veux dire, niveau master, oui, mais pas dans tous les domaines).
Après, pense que tu es irremplaçable, que jamais une machine ne pourra t'égaler dans le futur, que tout ça est du flan, tu es libre de penser ce que tu veux. Mais pose-toi juste la question sur la part de ça qui est dû à un raisonnement rationnel, et la part qui espère juste ne pas vivre dans un monde où en effet, les machines seraient capables de fournir un travail intellectuel de qualité supérieure à la plupart des êtres humains?
Posté par Thomas Douillard .
Évalué à 2 (+0/-1).
Dernière modification le 26 août 2024 à 15:30.
C'est toujours marrant tout ce que les gens peuvent projeter sur tes opinions ou sur toi dés que tu tiens un discours critique.
Je suis plutôt curieux du sujet. Je suis sceptique sur le fait qu'en l'état actuel ça révolutionne réellement tant de truc que ça, et en particulier je m'intéresse pas mal aux limites du truc. Par exemple je suis assez curieux de savoir si on peut les faire raisonner, et la réponse des experts jusqu'à présent c'est plutôt "non, les LLM ne raisonnent pas vraiment et sont difficilement capable d'extrapoler sur des trucs qui sont pas présents en masse dans leur corpus", éventuellement "hors ligne" avec pas mal d'efforts on peut arriver à faire quelques trucs intéressants. On leur fait faire des maths mais c'est pas les modèles bruts, faut les intégrer dans des algos plus sophistiqués et faut les spécialiser.
Pour l'instant c'est plutôt difficile de leur faire tenir un raisonnement correct dans la durée : https://x.com/rao2z/status/1827778006972248123 Alors oui, il y a une marge de progression et les gens essayent de bien comprendre les capacités. Mais de ce que j'ai vu, et à mon avis, les LLMs sont intéressants pour ce type d'applis parce qu'ils sont capables d'extraire du "sens commun" et de guider un raisonnement, mais le vrai raisonnement devra être fait par des méthodes et des techniques algorithmiques plus traditionnels. Ils pourront peut être se servir des LLM comme "oracle" pour savoir par ou commencer, heuristiques, quand il y a plusieurs possibilité.
Également, le texte est un pâle reflet du monde et leur corpus est à la ramasse, faut leur réinjecter des nouvelles données. Et sur les modèles d'images, la correspondance riche entre le texte et les images, le raisonnement spatial, est compliqué si leur profondeur de raisonnement propre est limitée (ils sont capables de choper des éléments, mais pour tout combiner correctement et faire des trucs complexe il me semble qu'il faut rajouter du raisonnement).
Bref … "intelligence" est un terme qui veut dire bien des choses, mais sans raisonnement il me semble qu'on manque d'un ingrédient essentiel. Et leur rajouter ne viendra pas forcément gratuitement et facilement.
(pour contexte, le twit que j'ai lié, je le tiens d'un repost de Yan Le Cun, le chef de l'IA de facebook et aussi un pionnier)
De toutes manières, essayer de faire "raisonner" un modèle de langage est absurde. Ça démontre en effet pas mal le genre de fantasmes que les gens peuvent avoir, mais on est d'accord que ça n'a aucun intérêt? Au mieux, tu peux espérer avoir une réponse correcte que le problème est suffisamment connu pour qu'il soit largement représenté dans les données d'entrainement.
Je pense que ça illustre aussi pas mal la mauvaise foi avec la quelle la question est traitée parmi la communauté qui s'intéresse à ces technologies. Les gens qui ont conduit ces études savent pertinemment que rien dans un modèle de langage ne lui permet de suivre un raisonnement mathématique. Tu peux conclure que "ah ah cette AI est stupide", mais celui qui est stupide est celui qui a conçu ce test idiot.
Pour tester un LLM, fais-lui écrire une lettre, raconter une courte histoire, résumer un texte… Regarde par exemple, je viens de faire le test : "écris un sonnet sur une panne d'embrayage". Voici le résultat:
*Sur la route déserte, un triste présage,
L'embrayage soudain décide de céder,
Et mon voyageur se voit tout arrêter,
Dans un silence lourd, pesant comme un orage.
Je cherche en vain un secours, un visage,
Le moteur agonise, prêt à m'abandonner,
Et sous le capot chaud, je commence à douter,
Qu'un miracle survienne dans ce sombre paysage.
Mais voilà qu'arrive un vieil artisan,
Aux mains tachées d'huile, au geste précis,
Qui d'un tour de clé redonne vie au moteur.
L'embrayage renaît, brillant artisan,
Je repars enfin, le cœur allégé,
Reprenant la route, loin de toute frayeur.*
Bon, il y a des problèmes mineurs sur certaines rimes, mais honnêtement, il faut être blasé pour ne pas être amusé par la performance du truc, non? Évidemment que ça n'est pas du Hugo, mais là encore tu as un résultat meilleur que quoi, 90% des gens?
Bref … "intelligence" est un terme qui veut dire bien des choses, mais sans raisonnement il me semble qu'on manque d'un ingrédient essentiel
Ouais c'est ça, les gens intelligents c'est ceux qui savent mener un raisonnement mathématique. On se demande bien pourquoi tant de livres ont été écrits sur le sujets alors que c'est tellement facile.
Plus prosaïquement, quand tu mets un humain à un poste de travail par exemple, tu te fous un peu de savoir comment il mène les raisonnements qui le conduisent à prendre les bonnes décisions. Personne ne s'est jamais demandé si Dédé de la compta, il pensait vraiment ou il simulait la pensée. Et heureusement, parce qu'à part mener à des situations débiles et inconfortables, je ne vois pas où ça peut te mener. Bah voila, c'est pareil avec les LLM: ils se comportent dans la plupart des situations comme un humain qui raisonne, avec ses limites, ses erreurs, ses biais, ses imperfections. C'est donc une IA dans la mesure où elle peut simuler l'intelligence, donner les mêmes réponses qu'un humain qu'on présume intelligent. Chercher plus loin, c'est de l'escroquerie, parce qu'on sait très bien que les LLM ne raisonnent pas, ils ne sont pas conçus pour raisonner, et quelle que soit la complexité de la question qu'on leur pose, on finira toujours par pouvoir montrer qu'ils "simulent" le raisonnement.
Et ben pour moi non, c'est pas du tout trivial que le raisonnement soit impossible. Parce qu'il est capable d'apprendre une certaine forme de généralisation.
J'ai par curiosité essayé de lui faire appliquer un syllogisme (trivial) avec des mots inventés pour être sur que c'est pas un syllogisme de son corpus, ben il y arrive parfaitement. Donc d'une certaine manière, il est capable de faire certaines formes de raisonnement élémentaire et d'en déduire des trucs.
Une fois que tu as fait ça, en principe, il pourrait déduire d'autres trucs à partir de ça, de manière parfaitement correcte. Si il est capable d'appliquer une règle de raisonnement une fois sur des valeurs arbitraire, il devrait être capable de le faire également une autre fois. Avec dans son contexte les conclusions qu'il a déjà eu, donc d'être capable de les reprendre.
Ce qui n'est pas surprenant dans un tel cadre c'est qu'il ne soit pas vraiment capable de revenir en arrière et de remettre en cause son "raisonnement" en cas de résultat absurde parce qu'il n'y a pas de notion de "backtracking" dans une telle boucle ou il complète juste ce qui est entamé.
On pourrait aussi s'interroger sur l'émergence possible d'une notion de "vérité" et d'erreur étant donné qu'il a une certaine capacité de généralisation et qu'il a plein d'exemples, on pourrait supposer que ce soit un truc qui soit utile pour prédire le mot suivant de manière plus efficace, qu'à force de voir des textes qui utilisent plus ou moins ces notions explicitement il finisse par les "encoder" dans son réseau. Il semblerait que pour l'instant ça ne soit pas arrivé et qu'on ne voie pas venir ça, et pour moi c'est pas totalement une évidence.
(Et pardon je m'auto-répond pour compléter parce que j'ai oublié un bout et c'est trop tard)
Et donc, à partir du moment ou de telles capacités un peu générales et applicables à chaque sous domaine un peu transversalement n'émergent pas, c'est pas évident pour moi de savoir comment ils pourraient beaucoup gagner en qualité dans le futur juste avec des incrémentations de numéro de modèle comme tu l'affirmes plus haut.
Ils sont peut-être condamnés, comme ça, à être bons à tel ou tel trucs, comme maintenant, sans pouvoir multiplier les possibilités du fait de pouvoir combiner ces capacités correctement. C'est "tel truc plus ou moins bien" et "tel autre truc plus ou moins bien", mais jamais "à la fois tel truc et tel autre truc", c'est des capacités indépendantes qui ne se combinent pas.
Dans un tel contexte, c'est peut-être plus intéressants de spécialiser des modèles sur telle ou telle tache au lieux d'avoir un gros gloubiboulga générique qui fera jamais mieux que le modèle spécialisé seul.
Dans un tel contexte, c'est peut-être plus intéressants de spécialiser des modèles sur telle ou telle tache au lieux d'avoir un gros gloubiboulga générique qui fera jamais mieux que le modèle spécialisé seul.
Lui faire avaler la littérature scientifique plutôt que les logs de Twitter? Oui, en effet, je pense que ça serait mieux si tu veux lui faire recracher des trucs vrais. Mais je pense que le but c'était de passer le test de Turing, auquel cas mieux vaut sortir les mêmes idioties qu'un humain moyen.
Posté par arnaudus .
Évalué à 3 (+0/-0).
Dernière modification le 26 août 2024 à 16:38.
Ce qui n'est pas surprenant dans un tel cadre c'est qu'il ne soit pas vraiment capable de revenir en arrière et de remettre en cause son "raisonnement" en cas de résultat absurde parce qu'il n'y a pas de notion de "backtracking" dans une telle boucle ou il complète juste ce qui est entamé.
En général, si tu lui demandes "es-tu sûr de ton raisonnement?", il va se corriger.
Mais bon, tout ça reste une forme de simulation de raisonnement, et je ne pense pas qu'il puisse réellement raisonner (dans le sens où on le conçoit). D'une manière plus générale, il n'a pas réellement de notion de vérité, puisqu'il ne connait que le corpus d'entrainement, il n'a aucun moyen de comparer ce corpus avec le monde réel.
Ce qui n'est pas très étonnant d'ailleurs. Si le corpus c'est l'univers de Star Wars, alors pour lui, la Force et les Jedi sont des trucs réels. C'est malvenu de lui reprocher ça, puisqu'un humain serait exactement dans la même situation, d'ailleurs. Comme il n'a pas accès au monde par ses propres sens, il ne peut que "croire" ce qu'on lui raconte.
Si il a un contexte suffisamment grand il pourrait savoir qu'on est dans un cadre fictionnel quand on parle de Star Wars. D'ailleurs si tu lui demandes si la force existe il te dira probablement que la force n'existe pas.
J'imagine au contraire qu'un LLM avec tous ces circuits et tous ces neurones devrait être capable de discriminer les contextes et d'apprendre que certaines règles s'appliquent différemment dans différents cadre fictionnels, avec des "heuristiques" déduites du contexte pour savoir si ça s'applique ou pas.
On parle de LLM et de capacité émergentes, de trucs supposés être généraliste avec apprentissage sur tous le web.
Et puis ça ne change pas vraiment la logique, juste les lois de la physique en l'occurrence.
Et justement, toute la question à mon avis c'est jusqu'ou il est nécessaire d'avoir un bon "modèle" du monde pour prédire la suite d'un texte (enfin ce qu'on en reflète dans nos textes et leur structure) et ce qu'il est nécessaire d'en capturer pour prédire ce qu'on va écrire en suite. Est-ce qu'il y a besoin de "raisonner" (dans le sens d'encoder des règles de déduction valides) pour bien prédire ou alors avec suffisamment de données et tout pleins de neurones paramètres on peut faire un bon job avec un modèle qui ne reflète ou capture pas grand chose des réalités du monde, ou alors tellement déconnecté qu'il n'aura aucun lien entre des choses qui sont liées de manière évidente pour nous ?
D'ailleurs si tu lui demandes si la force existe il te dira probablement que la force n'existe pas.
Probablement, si ton corpus d'apprentissage est à 95% hors de star wars et décrit star wars comme une oeuvre de fiction. Mais tu as plein d'exemples où ça n'est pas forcément le cas. Par exemple, quelle part du corpus décrit la mythologie monothéiste comme une oeuvre de fiction? De facto, une part substantielle des humains ne la considèrent pas comme de la fiction, qu'est-ce qu'une IA devrait répondre là-dessus?
Et puis ça ne change pas vraiment la logique, juste les lois de la physique en l'occurrence.
Certes, mais ça n'est quand même pas facile de lui demander d'avoir un sens de la "vérité" quand le corpus contient de gros blocs cohérents dans lesquels les lois de la physique sont fausses. Pour le coup, être capable de classifier un corpus en "fiction" vs "réalité", ça c'est quand même un signe d'intelligence, non? Par exemple, si ton IA lit "L'histoire de Quiddich à travers les âges", jamais le livre ne s'identifie comme une oeuvre de fiction qui fait partir de l'univers de Harry Potter. Nous, on est cablés pour faire très facilement la différence; à 2 ans un gamin fait la différence entre une histoire fictionnelle et une histoire vraie. Mais un LLM doit faire émerger ça à partir de son corpus, ça n'a pas l'air facile. Surtout s'il faut évaluer si la biographie de Trump est une oeuvre de fiction, par exemple.
"Est-ce qu'il y a besoin de "raisonner" (dans le sens d'encoder des règles de déduction valides) pour bien prédire"
Les LLM prouvent que non; ils manipulent les syllogismes et se trompent rarement sur les raisonnement piégeux (du style "combien de temps faut-il à 9 femmes pour faire un enfant"). En fait, c'est assez facile de montrer qu'ils ne raisonnement pas; ils arrivent fréquemment à te donner la bonne réponse sans être capables de te donner un raisonnement correct quand tu leur demandes; ça ressemble plus à une intuition très efficace (du fait de la taille du corpus ingurgité), et une sorte de rationalisation a posteriori quand tu lui demandes explicitement.
Mais encore une fois, est-ce bien grave? Imagine que tu fournisses un service de diagnostic en ligne de pannes de bagnole. Tes experts donnent le bon diagnostic dans 90% des cas, à partir des informations fournies dans un chat. Ils vont raisonner, du style "C'est une 206 de 2010, on sait qu'il y a souvent des pannes dûes aux faisceaux sur ces modèles", etc. À côté, chatGPT ne sait même pas ce qu'est une bagnole, mais donne un résultat probabiliste basé sur autant d'indices qu'il peut percevoir (l'orthographe du client, la rapidité des réponses dans le chat…). S'il est précis à 95%, quel est le problème à lui laisser donner des réponses intuitives? Dans la plupart des applications, ce que tu souhaites, c'est avoir la bonne réponse à ton problème, et pas de t'assurer que cette réponse est construite sur un raisonnement solide.
J'ai noté que tu as parlé de "peur fantasmatique" de perdre son boulot puis que
"Après, pense que tu es irremplaçable", et là je suis pas sur de voir la cohérence.
Et puis je crois que je me suis concentré sur le potentiel d'évolution, et là il n'est pas spécialement évident. Si ça dépend assez largement du jeu de données, en apprenant sur tout Internet on a probablement atteint un certain volume assez important difficile à égaler. Potentiellement il reste des jeux de données moins publics et plus restreints comme les dossiers de santé pour apprendre des diagnostics, mais ça touche d'autres problèmes éthiques. Et puis l'intérêt serait pour les pathologies rares, le truc étant que la fiabilités des IAs sur les trucs rares est pas assurée donc ça limite l'intérêt, pour le tout venant les médecins lambda savent faire.
J'ai noté que tu as parlé de "peur fantasmatique" de perdre son boulot puis que
"Après, pense que tu es irremplaçable", et là je suis pas sur de voir la cohérence.
J'avais l'impression que tu partais du principe que les IA/LMM c'était de la bouse et que ça n'était qu'un effet de mode, comme si les versions actuellement disponibles n'étaient capables de rien d'intéressant. C'est ça que je trouve paradoxal : soit c'est de la bouse et il n'y a aucune raison de craindre un effet à long terme sur la société, soit ça marche et ça va marcher de mieux en mieux et que c'est ça qui est "inquiétant". Mais en tout cas, moi ces modèles m'ont fait prendre conscience à quel point les employés du tertiaire étaient en théorie remplaçables, et que l'humain n'était pas si "intelligent" que ça quand on le prenait individuellement. En tout cas, certaines tâches qu'on pensait réservées à des élites intellectuelles (écrire des rapports d'expertise, synthétiser des documents, répondre spécifiquement à des demandes de support…) étaient à la portée de systèmes automatiques. Et pour moi, la raison principale qui expliquerait pourquoi certains nient ça avec insistance et prétendent que les LLM ne font rien d'intéressant, c'est parce qu'ils ont peur de ce qui pourrait advenir d'eux dans quelques années. Justement, parce que l'argument "les LLM ne font rien d'intéressant" ne tient pas quand on essaye de leur faire faire des choses intéressantes (et pas de les piéger pour tenter de démontrer qu'on est plus intelligent qu'eux).
Mais je me trompe peut-être, tu penses peut-être sincèrement que les LLM ne font rien de spécial, mais dans ce cas je ne suis pas d'accord : les LLM sont capables de trucs extraordinaires; actuellement ils ne sont qu'un outil parce qu'il faut corriger deux ou trois trucs après eux mais il ne s'en faut pas de beaucoup pour avoir quelque chose de prêt à la production directement.
J'ai jamais dit que les LLMs ne font pas de trucs intéressants, au contraire je m'intéresse vachement à ce qu'ils font d'intéressant, et encore plus à ce qu'ils ne font pas !
Mais dans « ils ne sont qu'un outil parce qu'il faut corriger deux ou trois trucs après eux mais il ne s'en faut pas de beaucoup pour avoir quelque chose de prêt à la production directement. » si tu as la solution pour "il n'en faut pas de beaucoup" ça intéresse beaucoup de monde :p A mon avis il reste encore pas mal de recherche à faire, et le fait qu'il y ait beaucoup d'argent dans le domaine mais qu'on y soit pas encore et même sans chemin clair bien qu'il y ait pleins de travaux et d'articles de recherches qui paraissent le montrent bien.
Bref, je me situe un peu dans une situation médiane, j'essaye de pas minimiser l'importance du truc, sans pour autant être trop optimiste sur l'avenir, parce que ben en la matière il y a eu un paquet de fois ou on a pensé avoir une panacée et avoir résolu le problème, avant une stagnation de quelques décennies avant d'avoir des nouvelles avancées.
Pour l'instant ce que je trouve prometteur :
* la capacité des réseaux de neurones à "évoluer" dans des environnements pleins de soupe de pixel et à en extraire du "sens" en terme d'objets présents et de positions géographique, ou d'extraire en quelque sorte du sens d'un texte. Et donc par la même occasion de passer du monde "analogique" dans lequel on vit et communique à des mondes "formels" ou on peut travailler à l'aide d'algorithmes connus (d'ailleurs une appli intéressante est la génération d'algorithmes), genre spécifier ou formaliser des buts pour passer dans un monde "logique" avec du vrai et du faux, genre la capacité de transformer une demande humaine en une requête formelle dans une base de donnée avec des faits garantis corrects. Ca peut être de gros progrès en terme d'ihm. On peut discuter aussi, puisqu'il s'agit de "vérifier à posteriori" les sorties des IAs de formaliser le résultats de ces "vérifications" dans des bases de connaissances avec des notions de vrai et de faux, potentiellement.
* et de l'autre la possibilité d'avoir un certain "instinct" sur le monde qui peut aider les algorithmes plus classiques avec du vrai et du faux mais aucune jugeote qui pourraient se perdre dans un très grand ensemble de possibilités sans discernement à trouver un chemin logique tenant compte des connaissances ordinaires des humains.
* et le tout, dans le cas de l'interaction avec le vrai monde, de valider ou pas le "monde formel" vis à vis des observations (ça semble être une des directions que prend la recherche pour l'utilisation des IAs en robotique)
C'est des directions intéressantes, c'est certain, mais c'est du boulot tout ça :)
De toutes manières, essayer de faire "raisonner" un modèle de langage est absurde.
En dehors de la question du raisonnement, ce que je trouve le plus limitant au final dans les LLM, c'est qu'elles fonctionnent sur des sets d'informations qui peuvent être périmées et n'ont pas la capacité de se renouveler d'elles-même (à part en entrainant une nouvelle itération du modèle).
Un exemple courant est quand tu utilises copilot et qu'il te propose des trucs qui peuvent maintenant être faits de manière plus facile/directes/élégantes avec la nouvelle version de la même librairie. Ce serait bien plus utile s'il pouvait s'améliorer en temps réel.
ce que je trouve le plus limitant au final dans les LLM, c'est qu'elles fonctionnent sur des sets d'informations qui peuvent être périmées
Ça n'est pas juste une limitation imposée par le distributeur du modèle? Rien n'empêche de sortir une version actualisée tous les mois ou tous les ans.
Le simple fait de devoir entrainer, valider (et potentiellement censurer) les modèles est une grosse limitation de la technologie justement comparé à … un truc comme HAL-9000?
ça me rappelle la genèse des lois sur le piratage aux USA. La loi CFAA, première "loi" sur la cyber sécurité, a été discuté après la sortie de Wargames.
Bien sur, si on dit "le législateur se base sur des œuvres de fiction pour passer des lois", ça semble sans doute ridicule. Mais je suppose que c'est ridicule uniquement quand on est pas d'accord.
Posté par arnaudus .
Évalué à 3 (+0/-0).
Dernière modification le 26 août 2024 à 18:54.
Rien ne garantit que le message soit compatible avec la morale du XXIe siècle, hein… Moi je comprends que Zeus il est très musclé, il a des grosses balloches pleines de testostérone, et que comme ça Europe elle ne peut pas résister (on comprend comme on veut), et que c'est comme ça que font les Dieux mâles dominants très virils. De toutes manières, après il la refile à un roi pour des raisons politiques, donc il n'était pas non plus très très amoureux.
Wikipédia ajoute que "À Gortyne, sous un platane qui depuis lors est toujours vert, Europe s'accouple avec Zeus, sous forme humaine cette fois"… soit c'est mal écrit, soit le "cette fois" est un peu inquiétant parce que je n'avais pas compris les détails de l'histoire comme ça.
# Wow
Posté par antistress (site web personnel) . Évalué à 4 (+1/-0).
Alors il faut bien tout lire jusqu'au bout, c'est pétrifiant le nombre de dysfonctionnements relatés et leurs conséquences
[^] # Re: Wow
Posté par ted (site web personnel) . Évalué à 4 (+2/-0).
Le fait que l'IA dise des trucs faux, même si ça pourrait être des accusations graves, ça ne me choque pas. Les IA disent de la merde. Par contre le fait qu'elle sorte en plus le n° de téléphone et l'adresse de la personne (sans erreur cette fois) c'est un peu plus flippant.
Ce qui est marrant c'est qu'il y a 20 ans tout le monde avait ses coordonnées publiées dans l'annuaire, aujourd'hui c'est inconcevable.
Un LUG en Lorraine : https://enunclic-cappel.fr
[^] # Re: Wow
Posté par Misc (site web personnel) . Évalué à -1 (+3/-7).
C'est quand même assez paradoxale.
Quand un système te donne une info fausse "ç'est la cata, faut pas les croire". Quand le système te donne une info vrai, "c'est la cata, tout les infos sont dispos sans erreurs" ?
À un moment, faut se décider, soit les trucs sont assez fiable pour leur faire confiance, soit ça n'est pas assez fiable.
La, ça a l'air d'être à géométrie variable, si c'est mal que ça soit faux, alors on exagère les erreurs, et si c'est mal que ça soit correct, alors on passe les erreurs sous le tapis.
Je suis sur qu'un peu de cohérence et de rigueur scientifique ne peut pas faire de mal (ou alors, faut juste dire qu'on s'adapte pour toujours avoir le discours de "c'est mal quoi que ça fasse", ça fera gagner du temps à tout le monde).
[^] # Re: Wow
Posté par antistress (site web personnel) . Évalué à 7 (+4/-0).
C'est une remarque sur l'article, le commentaire ?
Je n'ai pas compris ton point.
[^] # Re: Wow
Posté par Misc (site web personnel) . Évalué à -1 (+2/-6).
La combinaison des 2.
Quand une IA génère un résultat faux, alors on dit qu'on peut jamais lui faire confiance. Quand une IA génère un résultat vrai qui dérange (l'exemple de donner le bon numéro de téléphone), alors d'un coup, on suppose que ça va toujours donner les résultats qui dérange, donc que c'est un souci.
Donc faudrait savoir, le souci, c'est que ça génère trop de réponses correctes, ou pas assez ?
[^] # Re: Wow
Posté par antistress (site web personnel) . Évalué à 7 (+4/-0). Dernière modification le 26 août 2024 à 00:30.
Ha OK j'ai compris ton point merci.
C'est de la provocation si c'est volontaire, ou erroné sinon. Tu présentes sur un même plan des problèmes différents (et conclus en imposant un choix étriqué). C'est de la mauvaise rhétorique !
[^] # Re: Wow
Posté par Misc (site web personnel) . Évalué à 1 (+0/-2).
Tu parles de mon raisonnement, ou de celui que je démonte ? Car si c'est le premier, je suis pas d'accord :p
Si c'est le second, je suis pas d'accord non plus, mais plus parce que je pense que la majorité des gens ne tiennent pas les 2 raisonnements en même temps (ou en tout cas, rarement), voir ne pense pas qu'il y a contradiction, mais que ça n’empêche pas de piocher suivant les circonstances (comme on a pu le voir ici). Donc ça n'est pas de la rhétorique.
C'est intéressant de voir que personne ne s'engage sur une voie ou sur l'autre pour démonter la contradiction, ce qui me semble le moyen le plus simple quand même.
Un autre exemple, c'est de déplorer que la reconnaissance faciale soit une violation des libertés parce elle est efficace, tout en déplorant que ça soit une discrimination raciste parce elle n'est pas efficace. Demander à améliorer les algos de reconnaissances faciales revient à demander les outils sur les caméras et les dérives que ça entraîne. Saboter ça (ou réduire l'efficacité d'une manière ou d'une autre) pour éviter les dérives, c'est entraîner des dérives racistes dans les applications tierces.
C'est pareil, il y a via 2 arguments valables et assez fort, qui sont séparés, mais qui aboutisse à la construction d'une contradiction assez flagrante.
Encore une fois, le résultat de l'argumentaire me semble indépendant de l'argument de base et jamais l'argument opposé ne vient nuancé la position. Pile tu perds, face je gagne, en très gros.
J'avais lu un article (que je ne retrouve pas) d'un sociologue américain sur le mariage pour tous en France. Il expliquait quelque chose qui m'a marqué, à savoir qu'en regardant les discours de l'époque, les gens étaient dehors pour protester contre le mariage, mais qu'en vérité, c'était plus contre la GPA et la PMA (et donc la filiation). Les discours n'exprimaient pas directement la peur sous jacente.
Et j'y pense assez souvent quand je vois ce genre de contradictions (qui abondent quand même pas mal selon moi), car si la prémisse de base n'a pas d'importance, alors c'est qu'autre chose en a. Sauf qu'on exprime jamais le "autre chose", et c'est un souci (en plus du fait que ça m'irrite quand les gens présentent tout et son contraire comme des vérités absolus, sans doute parce que j'ai pas la souplesse d'esprit de croire tout et son contraire).
[^] # Re: Wow
Posté par Elfir3 . Évalué à 3 (+1/-0).
Il n'y a pas de contradiction, juste 2 axes de mesure différents. Dans un cas, c'est efficace, dans l'autre pas.
Dire qu'un tournevis n'est pas efficace pour faire du café n'est pas contradictoire avec le faire qu'il est efficace pour dévisser le type de vis pour lesquelles il a été conçu.
[^] # Re: Wow
Posté par Elfir3 . Évalué à 4 (+2/-0).
Je pense qu'il faut aussi voir ça avec 2 destinations différents de l'information.
D'une part tu as des professionnels qui vont utiliser l'I.A. dans un cadre pro, qui ont besoin et donc vont s'attendre (parce que c'est comme ça qu'elle est vendue) à avoir une information valide et sur laquelle s'appuyer.
D'autre part, tu as des des gens qui vont l'utiliser afin d'avoir une aperçu de ce qui se dit à propos d'un sujet sans avoir besoin d'une validation de l'information, comme ils le feraient en lisant un magasine people, mais en mieux parce que tu peux lui demander n'importe quoi.
Pour les premiers, ils ne peuvent pas faire confiance à l'I.A. pour leur objectif.
Pour les seconds, il faut surtout s'intéresser à ceux que concerne l'information. Si elle est correcte (par ex. numéro de téléphone), c'est un problème facheux concernant leur vie privée (peu importe qu'ils aient par mégarde déposé leur numéro au mauvais endroit), si l'information est incorrecte (par ex. accusation de faits imaginaires), ça peut lui porter un préjudice conséquent.
En résumé, peu importe le sens, l'information n'est pas fiable.
[^] # Re: Wow
Posté par Psychofox (Mastodon) . Évalué à 9 (+6/-0).
J'imagine que c'est justement le fait que ça propose les deux qui est dérangeant.
Si l'IA était présentée comme un générateur d'info fantaisiste et pas comme un outil réel de travail on n'en serait pas là.
[^] # Re: Wow
Posté par arnaudus . Évalué à 2 (+0/-1).
Déja, est-ce qu'on parle de la qualité absolue de ce qui sort d'une IA, ou bien de la qualité relative par rapport aux données qu'elle a ingurgité? Si on nourrit une IA avec les pages de la Flat Earth Society, l'IA te dira que la terre est plate. Il n'y a pas de problème avec l'IA, juste un problème avec la qualité des données.
Ensuite, est-ce que l'argument est temporaire (du style, "pour l'instant, c'est pas assez fiable"), ou est-ce qu'il est définitif ("par principe, ça n'est pas fiable"). Enfin, quelle est la référence? Par exemple, une IA qui conduit une voiture, on sait qu'elle va avoir des accidents, la question est plutôt si elle a plus ou moins d'accident qu'un conducteur moyen, qu'un conducteur inexpérimenté, qu'un conducteur âgé, etc.
Du coup, il y a tellement d'arguments qui s'éparpillent partout sur l'échelle de l'argument foireux qu'à un moment, il est tentant de tout balancer, parce que la plupart sont des arguments de grand-mères à moustaches ("ce truc change le monde et je n'aime pas quand le monde change"). Et je suis d'accord aussi que beaucoup d'arguments sont contradictoires entre eux. "Ça ne fait que reformuler Wikipédia" vs "Ça n'aura jamais la fiabilité d'une page conçue par un humain", par exemple. Il y a également énormément d'arguments basés sur le traitement d'informations privées, qui pourraient être obtenues par un moteur de recherche : si Google te retourne la bonne réponse si tu demandes "Quel est le numéro de téléphone de Tartempion" ou "Est-ce que Tartempion est juif", alors c'est normal que chat GPT te donne également la bonne réponse, c'est ce qu'on attend de lui (et s'il ne la donnait pas, on dirait "ah ah c'est moins bien qu'une recherche Google").
Parce qu'une IA bien configurée peut aussi être au service de la vie privée. Justement, si elle a pour consigne de ne pas dévoiler d'informations privées, elle peut "filtrer" le contenu du web pour ne fournir que les informations pertinentes. Elle peut t'apporter des nuances ("selon certaines sources la Terre est plate, mais ce n'est pas l'avis des scientifiques"), etc. L'IA est un outil, c'est un outil tellement nouveau que peu savent comment il fonctionne et comment l'utiliser efficacement, c'est un outil tellement puissant que beaucoup en ont peur, et c'est un outil tellement récent qu'on n'a aucune protection légale, ni même aucune règle éthique, qui s'appliquerait aux excès. Mais une fois qu'on a retiré tous les argument superficiels (qui traduisent des peurs ou des fantasmes, tels que la peur de perdre son boulot), et les arguments qui se concentrent sur l'imperfection des implémentations disponibles actuellement ou sur les lacunes des bases de données qui servent à entraîner les logiciels, il reste beaucoup moins de questions à trancher. Une question majeure est celle de la responsabilité (qui est responsable, celui qui fournit l'IA, celui qui l'utilise, celui qui publie le résultat…), une autre question est celle de la légalité de l'usurpation (est-ce éthique d'utiliser une IA pour se faire passer pour un humain auprès d'un autre humain), etc. Mais tant qu'on ne se débarrasse pas des questions de grand-mères à moustaches, on aura du mal à s'intéresser au fond des choses.
[^] # Re: Wow
Posté par Thomas Douillard . Évalué à 2 (+0/-1).
On savait tout ça deux semaines après la sortie de chatGPT. Le truc c'est que malgré tout ça on a pas vraiment fait de progrès sur les questions parce que les vraies applications intéressantes étant donné ce qu'on sait des faiblesses des IAs en l'état actuel les applications réellement intéressantes sont encore plus ou moins faibles.
Faudra attendre d'autres progrès, soit des progrès techniques fondamentaux, soit du travail bien plus laborieux pour avoir des applications élaborées, du travail de corpus, des insertions dans des architectures logicielles plus élaborées avec des composants plus traditionnels, pour vraiment avancer. Ça contraste avec les promesses du truc ou tout d'un coup le grand public a eu l'impression d'avoir un machin un peu magique dans les pattes avec des tas d'applications gratuites, et pour les décideurs il suffisait de faire apprendre sur des tonnes de données et automagiquement d'avoir des résultats intéressants subséquemment gratuits. C'est pas le cas, il va falloir du travail humain (et pas forcément juste plein de sous, plus de matériel, un corpus plus gros, des plus gros modèles, et des centrales nucléaires)
[^] # Re: Wow
Posté par arnaudus . Évalué à 3 (+0/-0).
Je ne sais pas ce que tu appelles "intéressantes". Si c'est du point de vue de la société, je t'accorde que ça n'est pas impressionnant, même si je pense qu'il y a énormément de potentiel au niveau des interfaces entre les consommateurs d'un service et l'équipe de développement (questions fréquentes, documentation, rapport de bugs, etc). Par contre, le fait que ces systèmes soient capables de générer des copies mieux que moyennes jusqu'au niveau master, les étudiants l'ont bien compris. La capacité à étendre ou à résumer un texte est aussi extrêmement impressionnante. Comme dit plus haut, c'est un outil : il faudra repasser derrière pour vérifier rapidement, et ça n'aura jamais aucune réelle créativité, puisqu'il s'agit d'outils de synthèse. Mais si on en reste à ce niveau, ça marche quand même plutôt bien, et on a toutes les raisons de penser que ça ne peut que s'améliorer (jusqu'où? Ça n'est pas très clair).
[^] # Re: Wow
Posté par Thomas Douillard . Évalué à 3 (+1/-1).
C'est un peu du "wishful thinking" dit comme ça. On espère un progrès, on sait pas trop comment, on sait pas trop l'évaluer et on a pas de plans mais c'est sur ça va marcher :p
[^] # Re: Wow
Posté par arnaudus . Évalué à 3 (+0/-0).
On sait que ça va s'améliorer, mais on ne sait pas jusqu'où. Ça n'a rien à voir avec du "wishful thinking". Ça va s'améliorer, parce qu'on sait que les services professionnels sont largement supérieurs à ce qu'on peut avoir pour le grand public payant, ce qui est encore supérieur à ce qu'on a en gratuit. Il est donc possible d'avoir bien mieux que ce que la plupart d'entre nous a pu tester.
Tu confonds "on" et "je". Ça n'est pas parce que tu sais pas que personne ne sait.
En fait, je ne sais même pas comment tu peux tenir un tel discours sur la "médiocrité" des IA, ça me fait clairement penser à une sorte de déni. Est-ce que tu as essayé d'utiliser un outil grand public (type chatGPT) sans mauvaise volonté, sur une tâche pour laquelle il est "bon" (en gros, générer du texte)? Tu demandes la même chose à 100 humains au hasard dans la rue, tu penses que chatGPT se classe où? Franchement, il va très souvent être dans les quantiles tout en haut, 90%, 95%. Ça ne va pas valoir ce que pourraient produire les cracks du domaine, mais ça a largement, très largement même, être au moins équivalent à ce que produirait un humain. Comme je le disais plus haut, chatGPT a un niveau master dans beaucoup de domaines, ce qui n'est pas à la portée d'un être humain (je veux dire, niveau master, oui, mais pas dans tous les domaines).
Après, pense que tu es irremplaçable, que jamais une machine ne pourra t'égaler dans le futur, que tout ça est du flan, tu es libre de penser ce que tu veux. Mais pose-toi juste la question sur la part de ça qui est dû à un raisonnement rationnel, et la part qui espère juste ne pas vivre dans un monde où en effet, les machines seraient capables de fournir un travail intellectuel de qualité supérieure à la plupart des êtres humains?
[^] # Re: Wow
Posté par Thomas Douillard . Évalué à 2 (+0/-1). Dernière modification le 26 août 2024 à 15:30.
C'est toujours marrant tout ce que les gens peuvent projeter sur tes opinions ou sur toi dés que tu tiens un discours critique.
Je suis plutôt curieux du sujet. Je suis sceptique sur le fait qu'en l'état actuel ça révolutionne réellement tant de truc que ça, et en particulier je m'intéresse pas mal aux limites du truc. Par exemple je suis assez curieux de savoir si on peut les faire raisonner, et la réponse des experts jusqu'à présent c'est plutôt "non, les LLM ne raisonnent pas vraiment et sont difficilement capable d'extrapoler sur des trucs qui sont pas présents en masse dans leur corpus", éventuellement "hors ligne" avec pas mal d'efforts on peut arriver à faire quelques trucs intéressants. On leur fait faire des maths mais c'est pas les modèles bruts, faut les intégrer dans des algos plus sophistiqués et faut les spécialiser.
Pour l'instant c'est plutôt difficile de leur faire tenir un raisonnement correct dans la durée : https://x.com/rao2z/status/1827778006972248123 Alors oui, il y a une marge de progression et les gens essayent de bien comprendre les capacités. Mais de ce que j'ai vu, et à mon avis, les LLMs sont intéressants pour ce type d'applis parce qu'ils sont capables d'extraire du "sens commun" et de guider un raisonnement, mais le vrai raisonnement devra être fait par des méthodes et des techniques algorithmiques plus traditionnels. Ils pourront peut être se servir des LLM comme "oracle" pour savoir par ou commencer, heuristiques, quand il y a plusieurs possibilité.
Également, le texte est un pâle reflet du monde et leur corpus est à la ramasse, faut leur réinjecter des nouvelles données. Et sur les modèles d'images, la correspondance riche entre le texte et les images, le raisonnement spatial, est compliqué si leur profondeur de raisonnement propre est limitée (ils sont capables de choper des éléments, mais pour tout combiner correctement et faire des trucs complexe il me semble qu'il faut rajouter du raisonnement).
Bref … "intelligence" est un terme qui veut dire bien des choses, mais sans raisonnement il me semble qu'on manque d'un ingrédient essentiel. Et leur rajouter ne viendra pas forcément gratuitement et facilement.
(pour contexte, le twit que j'ai lié, je le tiens d'un repost de Yan Le Cun, le chef de l'IA de facebook et aussi un pionnier)
[^] # Re: Wow
Posté par arnaudus . Évalué à 3 (+0/-0).
De toutes manières, essayer de faire "raisonner" un modèle de langage est absurde. Ça démontre en effet pas mal le genre de fantasmes que les gens peuvent avoir, mais on est d'accord que ça n'a aucun intérêt? Au mieux, tu peux espérer avoir une réponse correcte que le problème est suffisamment connu pour qu'il soit largement représenté dans les données d'entrainement.
Je pense que ça illustre aussi pas mal la mauvaise foi avec la quelle la question est traitée parmi la communauté qui s'intéresse à ces technologies. Les gens qui ont conduit ces études savent pertinemment que rien dans un modèle de langage ne lui permet de suivre un raisonnement mathématique. Tu peux conclure que "ah ah cette AI est stupide", mais celui qui est stupide est celui qui a conçu ce test idiot.
Pour tester un LLM, fais-lui écrire une lettre, raconter une courte histoire, résumer un texte… Regarde par exemple, je viens de faire le test : "écris un sonnet sur une panne d'embrayage". Voici le résultat:
*Sur la route déserte, un triste présage,
L'embrayage soudain décide de céder,
Et mon voyageur se voit tout arrêter,
Dans un silence lourd, pesant comme un orage.
Je cherche en vain un secours, un visage,
Le moteur agonise, prêt à m'abandonner,
Et sous le capot chaud, je commence à douter,
Qu'un miracle survienne dans ce sombre paysage.
Mais voilà qu'arrive un vieil artisan,
Aux mains tachées d'huile, au geste précis,
Qui d'un tour de clé redonne vie au moteur.
L'embrayage renaît, brillant artisan,
Je repars enfin, le cœur allégé,
Reprenant la route, loin de toute frayeur.*
Bon, il y a des problèmes mineurs sur certaines rimes, mais honnêtement, il faut être blasé pour ne pas être amusé par la performance du truc, non? Évidemment que ça n'est pas du Hugo, mais là encore tu as un résultat meilleur que quoi, 90% des gens?
Ouais c'est ça, les gens intelligents c'est ceux qui savent mener un raisonnement mathématique. On se demande bien pourquoi tant de livres ont été écrits sur le sujets alors que c'est tellement facile.
Plus prosaïquement, quand tu mets un humain à un poste de travail par exemple, tu te fous un peu de savoir comment il mène les raisonnements qui le conduisent à prendre les bonnes décisions. Personne ne s'est jamais demandé si Dédé de la compta, il pensait vraiment ou il simulait la pensée. Et heureusement, parce qu'à part mener à des situations débiles et inconfortables, je ne vois pas où ça peut te mener. Bah voila, c'est pareil avec les LLM: ils se comportent dans la plupart des situations comme un humain qui raisonne, avec ses limites, ses erreurs, ses biais, ses imperfections. C'est donc une IA dans la mesure où elle peut simuler l'intelligence, donner les mêmes réponses qu'un humain qu'on présume intelligent. Chercher plus loin, c'est de l'escroquerie, parce qu'on sait très bien que les LLM ne raisonnent pas, ils ne sont pas conçus pour raisonner, et quelle que soit la complexité de la question qu'on leur pose, on finira toujours par pouvoir montrer qu'ils "simulent" le raisonnement.
[^] # Re: Wow
Posté par Thomas Douillard . Évalué à 2 (+0/-1).
Et ben pour moi non, c'est pas du tout trivial que le raisonnement soit impossible. Parce qu'il est capable d'apprendre une certaine forme de généralisation.
J'ai par curiosité essayé de lui faire appliquer un syllogisme (trivial) avec des mots inventés pour être sur que c'est pas un syllogisme de son corpus, ben il y arrive parfaitement. Donc d'une certaine manière, il est capable de faire certaines formes de raisonnement élémentaire et d'en déduire des trucs.
Une fois que tu as fait ça, en principe, il pourrait déduire d'autres trucs à partir de ça, de manière parfaitement correcte. Si il est capable d'appliquer une règle de raisonnement une fois sur des valeurs arbitraire, il devrait être capable de le faire également une autre fois. Avec dans son contexte les conclusions qu'il a déjà eu, donc d'être capable de les reprendre.
Ce qui n'est pas surprenant dans un tel cadre c'est qu'il ne soit pas vraiment capable de revenir en arrière et de remettre en cause son "raisonnement" en cas de résultat absurde parce qu'il n'y a pas de notion de "backtracking" dans une telle boucle ou il complète juste ce qui est entamé.
On pourrait aussi s'interroger sur l'émergence possible d'une notion de "vérité" et d'erreur étant donné qu'il a une certaine capacité de généralisation et qu'il a plein d'exemples, on pourrait supposer que ce soit un truc qui soit utile pour prédire le mot suivant de manière plus efficace, qu'à force de voir des textes qui utilisent plus ou moins ces notions explicitement il finisse par les "encoder" dans son réseau. Il semblerait que pour l'instant ça ne soit pas arrivé et qu'on ne voie pas venir ça, et pour moi c'est pas totalement une évidence.
[^] # Re: Wow
Posté par Thomas Douillard . Évalué à 2 (+0/-1).
(Et pardon je m'auto-répond pour compléter parce que j'ai oublié un bout et c'est trop tard)
Et donc, à partir du moment ou de telles capacités un peu générales et applicables à chaque sous domaine un peu transversalement n'émergent pas, c'est pas évident pour moi de savoir comment ils pourraient beaucoup gagner en qualité dans le futur juste avec des incrémentations de numéro de modèle comme tu l'affirmes plus haut.
Ils sont peut-être condamnés, comme ça, à être bons à tel ou tel trucs, comme maintenant, sans pouvoir multiplier les possibilités du fait de pouvoir combiner ces capacités correctement. C'est "tel truc plus ou moins bien" et "tel autre truc plus ou moins bien", mais jamais "à la fois tel truc et tel autre truc", c'est des capacités indépendantes qui ne se combinent pas.
Dans un tel contexte, c'est peut-être plus intéressants de spécialiser des modèles sur telle ou telle tache au lieux d'avoir un gros gloubiboulga générique qui fera jamais mieux que le modèle spécialisé seul.
[^] # Re: Wow
Posté par arnaudus . Évalué à 4 (+1/-0).
Lui faire avaler la littérature scientifique plutôt que les logs de Twitter? Oui, en effet, je pense que ça serait mieux si tu veux lui faire recracher des trucs vrais. Mais je pense que le but c'était de passer le test de Turing, auquel cas mieux vaut sortir les mêmes idioties qu'un humain moyen.
[^] # Re: Wow
Posté par arnaudus . Évalué à 3 (+0/-0). Dernière modification le 26 août 2024 à 16:38.
En général, si tu lui demandes "es-tu sûr de ton raisonnement?", il va se corriger.
Mais bon, tout ça reste une forme de simulation de raisonnement, et je ne pense pas qu'il puisse réellement raisonner (dans le sens où on le conçoit). D'une manière plus générale, il n'a pas réellement de notion de vérité, puisqu'il ne connait que le corpus d'entrainement, il n'a aucun moyen de comparer ce corpus avec le monde réel.
Ce qui n'est pas très étonnant d'ailleurs. Si le corpus c'est l'univers de Star Wars, alors pour lui, la Force et les Jedi sont des trucs réels. C'est malvenu de lui reprocher ça, puisqu'un humain serait exactement dans la même situation, d'ailleurs. Comme il n'a pas accès au monde par ses propres sens, il ne peut que "croire" ce qu'on lui raconte.
[^] # Re: Wow
Posté par Thomas Douillard . Évalué à 2 (+0/-1).
Si il a un contexte suffisamment grand il pourrait savoir qu'on est dans un cadre fictionnel quand on parle de Star Wars. D'ailleurs si tu lui demandes si la force existe il te dira probablement que la force n'existe pas.
J'imagine au contraire qu'un LLM avec tous ces circuits et tous ces neurones devrait être capable de discriminer les contextes et d'apprendre que certaines règles s'appliquent différemment dans différents cadre fictionnels, avec des "heuristiques" déduites du contexte pour savoir si ça s'applique ou pas.
On parle de LLM et de capacité émergentes, de trucs supposés être généraliste avec apprentissage sur tous le web.
Et puis ça ne change pas vraiment la logique, juste les lois de la physique en l'occurrence.
Et justement, toute la question à mon avis c'est jusqu'ou il est nécessaire d'avoir un bon "modèle" du monde pour prédire la suite d'un texte (enfin ce qu'on en reflète dans nos textes et leur structure) et ce qu'il est nécessaire d'en capturer pour prédire ce qu'on va écrire en suite. Est-ce qu'il y a besoin de "raisonner" (dans le sens d'encoder des règles de déduction valides) pour bien prédire ou alors avec suffisamment de données et tout pleins de neurones paramètres on peut faire un bon job avec un modèle qui ne reflète ou capture pas grand chose des réalités du monde, ou alors tellement déconnecté qu'il n'aura aucun lien entre des choses qui sont liées de manière évidente pour nous ?
[^] # Re: Wow
Posté par arnaudus . Évalué à 3 (+0/-0).
Probablement, si ton corpus d'apprentissage est à 95% hors de star wars et décrit star wars comme une oeuvre de fiction. Mais tu as plein d'exemples où ça n'est pas forcément le cas. Par exemple, quelle part du corpus décrit la mythologie monothéiste comme une oeuvre de fiction? De facto, une part substantielle des humains ne la considèrent pas comme de la fiction, qu'est-ce qu'une IA devrait répondre là-dessus?
Certes, mais ça n'est quand même pas facile de lui demander d'avoir un sens de la "vérité" quand le corpus contient de gros blocs cohérents dans lesquels les lois de la physique sont fausses. Pour le coup, être capable de classifier un corpus en "fiction" vs "réalité", ça c'est quand même un signe d'intelligence, non? Par exemple, si ton IA lit "L'histoire de Quiddich à travers les âges", jamais le livre ne s'identifie comme une oeuvre de fiction qui fait partir de l'univers de Harry Potter. Nous, on est cablés pour faire très facilement la différence; à 2 ans un gamin fait la différence entre une histoire fictionnelle et une histoire vraie. Mais un LLM doit faire émerger ça à partir de son corpus, ça n'a pas l'air facile. Surtout s'il faut évaluer si la biographie de Trump est une oeuvre de fiction, par exemple.
Les LLM prouvent que non; ils manipulent les syllogismes et se trompent rarement sur les raisonnement piégeux (du style "combien de temps faut-il à 9 femmes pour faire un enfant"). En fait, c'est assez facile de montrer qu'ils ne raisonnement pas; ils arrivent fréquemment à te donner la bonne réponse sans être capables de te donner un raisonnement correct quand tu leur demandes; ça ressemble plus à une intuition très efficace (du fait de la taille du corpus ingurgité), et une sorte de rationalisation a posteriori quand tu lui demandes explicitement.
Mais encore une fois, est-ce bien grave? Imagine que tu fournisses un service de diagnostic en ligne de pannes de bagnole. Tes experts donnent le bon diagnostic dans 90% des cas, à partir des informations fournies dans un chat. Ils vont raisonner, du style "C'est une 206 de 2010, on sait qu'il y a souvent des pannes dûes aux faisceaux sur ces modèles", etc. À côté, chatGPT ne sait même pas ce qu'est une bagnole, mais donne un résultat probabiliste basé sur autant d'indices qu'il peut percevoir (l'orthographe du client, la rapidité des réponses dans le chat…). S'il est précis à 95%, quel est le problème à lui laisser donner des réponses intuitives? Dans la plupart des applications, ce que tu souhaites, c'est avoir la bonne réponse à ton problème, et pas de t'assurer que cette réponse est construite sur un raisonnement solide.
[^] # Re: Wow
Posté par Thomas Douillard . Évalué à 2 (+0/-1).
Je sais plus de quoi on parlait, en fait /o\
J'ai noté que tu as parlé de "peur fantasmatique" de perdre son boulot puis que
"Après, pense que tu es irremplaçable", et là je suis pas sur de voir la cohérence.
Et puis je crois que je me suis concentré sur le potentiel d'évolution, et là il n'est pas spécialement évident. Si ça dépend assez largement du jeu de données, en apprenant sur tout Internet on a probablement atteint un certain volume assez important difficile à égaler. Potentiellement il reste des jeux de données moins publics et plus restreints comme les dossiers de santé pour apprendre des diagnostics, mais ça touche d'autres problèmes éthiques. Et puis l'intérêt serait pour les pathologies rares, le truc étant que la fiabilités des IAs sur les trucs rares est pas assurée donc ça limite l'intérêt, pour le tout venant les médecins lambda savent faire.
[^] # Re: Wow
Posté par arnaudus . Évalué à 3 (+0/-0).
J'avais l'impression que tu partais du principe que les IA/LMM c'était de la bouse et que ça n'était qu'un effet de mode, comme si les versions actuellement disponibles n'étaient capables de rien d'intéressant. C'est ça que je trouve paradoxal : soit c'est de la bouse et il n'y a aucune raison de craindre un effet à long terme sur la société, soit ça marche et ça va marcher de mieux en mieux et que c'est ça qui est "inquiétant". Mais en tout cas, moi ces modèles m'ont fait prendre conscience à quel point les employés du tertiaire étaient en théorie remplaçables, et que l'humain n'était pas si "intelligent" que ça quand on le prenait individuellement. En tout cas, certaines tâches qu'on pensait réservées à des élites intellectuelles (écrire des rapports d'expertise, synthétiser des documents, répondre spécifiquement à des demandes de support…) étaient à la portée de systèmes automatiques. Et pour moi, la raison principale qui expliquerait pourquoi certains nient ça avec insistance et prétendent que les LLM ne font rien d'intéressant, c'est parce qu'ils ont peur de ce qui pourrait advenir d'eux dans quelques années. Justement, parce que l'argument "les LLM ne font rien d'intéressant" ne tient pas quand on essaye de leur faire faire des choses intéressantes (et pas de les piéger pour tenter de démontrer qu'on est plus intelligent qu'eux).
Mais je me trompe peut-être, tu penses peut-être sincèrement que les LLM ne font rien de spécial, mais dans ce cas je ne suis pas d'accord : les LLM sont capables de trucs extraordinaires; actuellement ils ne sont qu'un outil parce qu'il faut corriger deux ou trois trucs après eux mais il ne s'en faut pas de beaucoup pour avoir quelque chose de prêt à la production directement.
[^] # Re: Wow
Posté par Thomas Douillard . Évalué à 2 (+0/-1).
J'ai jamais dit que les LLMs ne font pas de trucs intéressants, au contraire je m'intéresse vachement à ce qu'ils font d'intéressant, et encore plus à ce qu'ils ne font pas !
Mais dans « ils ne sont qu'un outil parce qu'il faut corriger deux ou trois trucs après eux mais il ne s'en faut pas de beaucoup pour avoir quelque chose de prêt à la production directement. » si tu as la solution pour "il n'en faut pas de beaucoup" ça intéresse beaucoup de monde :p A mon avis il reste encore pas mal de recherche à faire, et le fait qu'il y ait beaucoup d'argent dans le domaine mais qu'on y soit pas encore et même sans chemin clair bien qu'il y ait pleins de travaux et d'articles de recherches qui paraissent le montrent bien.
Bref, je me situe un peu dans une situation médiane, j'essaye de pas minimiser l'importance du truc, sans pour autant être trop optimiste sur l'avenir, parce que ben en la matière il y a eu un paquet de fois ou on a pensé avoir une panacée et avoir résolu le problème, avant une stagnation de quelques décennies avant d'avoir des nouvelles avancées.
Pour l'instant ce que je trouve prometteur :
* la capacité des réseaux de neurones à "évoluer" dans des environnements pleins de soupe de pixel et à en extraire du "sens" en terme d'objets présents et de positions géographique, ou d'extraire en quelque sorte du sens d'un texte. Et donc par la même occasion de passer du monde "analogique" dans lequel on vit et communique à des mondes "formels" ou on peut travailler à l'aide d'algorithmes connus (d'ailleurs une appli intéressante est la génération d'algorithmes), genre spécifier ou formaliser des buts pour passer dans un monde "logique" avec du vrai et du faux, genre la capacité de transformer une demande humaine en une requête formelle dans une base de donnée avec des faits garantis corrects. Ca peut être de gros progrès en terme d'ihm. On peut discuter aussi, puisqu'il s'agit de "vérifier à posteriori" les sorties des IAs de formaliser le résultats de ces "vérifications" dans des bases de connaissances avec des notions de vrai et de faux, potentiellement.
* et de l'autre la possibilité d'avoir un certain "instinct" sur le monde qui peut aider les algorithmes plus classiques avec du vrai et du faux mais aucune jugeote qui pourraient se perdre dans un très grand ensemble de possibilités sans discernement à trouver un chemin logique tenant compte des connaissances ordinaires des humains.
* et le tout, dans le cas de l'interaction avec le vrai monde, de valider ou pas le "monde formel" vis à vis des observations (ça semble être une des directions que prend la recherche pour l'utilisation des IAs en robotique)
C'est des directions intéressantes, c'est certain, mais c'est du boulot tout ça :)
[^] # Re: Wow
Posté par Psychofox (Mastodon) . Évalué à 3 (+0/-0).
En dehors de la question du raisonnement, ce que je trouve le plus limitant au final dans les LLM, c'est qu'elles fonctionnent sur des sets d'informations qui peuvent être périmées et n'ont pas la capacité de se renouveler d'elles-même (à part en entrainant une nouvelle itération du modèle).
Un exemple courant est quand tu utilises copilot et qu'il te propose des trucs qui peuvent maintenant être faits de manière plus facile/directes/élégantes avec la nouvelle version de la même librairie. Ce serait bien plus utile s'il pouvait s'améliorer en temps réel.
[^] # Re: Wow
Posté par arnaudus . Évalué à 3 (+0/-0).
Ça n'est pas juste une limitation imposée par le distributeur du modèle? Rien n'empêche de sortir une version actualisée tous les mois ou tous les ans.
[^] # Re: Wow
Posté par Psychofox (Mastodon) . Évalué à 3 (+0/-0).
Le simple fait de devoir entrainer, valider (et potentiellement censurer) les modèles est une grosse limitation de la technologie justement comparé à … un truc comme HAL-9000?
[^] # Re: Wow
Posté par devnewton 🍺 (site web personnel) . Évalué à 5 (+2/-0).
Il y a 20 ans, on avait déjà tous vu Terminator.
Le post ci-dessus est une grosse connerie, ne le lisez pas sérieusement.
[^] # Re: Wow
Posté par Misc (site web personnel) . Évalué à 4 (+1/-0).
ça me rappelle la genèse des lois sur le piratage aux USA. La loi CFAA, première "loi" sur la cyber sécurité, a été discuté après la sortie de Wargames.
Bien sur, si on dit "le législateur se base sur des œuvres de fiction pour passer des lois", ça semble sans doute ridicule. Mais je suppose que c'est ridicule uniquement quand on est pas d'accord.
[^] # Re: Wow
Posté par devnewton 🍺 (site web personnel) . Évalué à 3 (+0/-0).
Les fictions et les mythes permettent de faire passer des messages.
Par exemple quand Zeus se transforme en taureau pour enlever Europe, le message c'est… Heu…
Le post ci-dessus est une grosse connerie, ne le lisez pas sérieusement.
[^] # Re: Wow
Posté par Ysabeau 🧶 (site web personnel, Mastodon) . Évalué à 3 (+0/-0).
Que Zeus est un dieu vraiment mâle ? Et euh.
« Tak ne veut pas quʼon pense à lui, il veut quʼon pense », Terry Pratchett, Déraillé.
[^] # Re: Wow
Posté par arnaudus . Évalué à 3 (+0/-0). Dernière modification le 26 août 2024 à 18:54.
Rien ne garantit que le message soit compatible avec la morale du XXIe siècle, hein… Moi je comprends que Zeus il est très musclé, il a des grosses balloches pleines de testostérone, et que comme ça Europe elle ne peut pas résister (on comprend comme on veut), et que c'est comme ça que font les Dieux mâles dominants très virils. De toutes manières, après il la refile à un roi pour des raisons politiques, donc il n'était pas non plus très très amoureux.
Wikipédia ajoute que "À Gortyne, sous un platane qui depuis lors est toujours vert, Europe s'accouple avec Zeus, sous forme humaine cette fois"… soit c'est mal écrit, soit le "cette fois" est un peu inquiétant parce que je n'avais pas compris les détails de l'histoire comme ça.
[^] # Re: Wow
Posté par antistress (site web personnel) . Évalué à 3 (+0/-0).
"donc il n'était pas non plus très très amoureux" est ta seule conclusion à "il la refile à un roi pour des raisons politiques" ???
Envoyer un commentaire
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.