Ces questions sont piégeuses pour des humains, ça n'est pas étonnant qu'elles soient hors de portée des AI.
Sur l'essai que j'ai fait, chatGPT3 a presque la réponse:
Sally has 2 sisters. In this riddle, the information that Sally has 3 brothers is given to confuse you. However, when it says "Each brother has 2 sisters," it's referring to Sally and the other sister, so Sally has 2 sisters in total.
C'est super courant, mais c'est un bug : il donne une mauvaise réponse, puis tient un raisonnement correct, puis confirme la mauvaise réponse. Ça n'est pas la première fois que je vois ça. J'imagine que c'est juste une conséquence du fait que c'est un modèle de langage, il ne sait pas manipuler les concepts. Par exemple, au fil du dialogue que j'ai eu avec lui, il m'a dit qu'il y avait 4 filles (Sally et ses trois frères).
J'pige pas trop le truc, mais c'est bien qu'il recycle les déchets toxiques.
Du coup, il fume une cigarette et ça lui fait un mégot en plus (soit sept en tout…) Il se fait une autre cigarette, donc trois mégots en moins (soit quatre restant…) Après s'être enfumé, il a un autre mégot (donc cinq en tout…) Il se fait encore une autre cigarette (i.e. trois mégots en moins et il lui en reste plus que deux…) Après ce troisième tour, il lui reste un mégot (soit trois en tout…) pour une dernière cigarette. Finalement, avec six mégots et sa cigarette initiale, il aura pu enfumer quatre fois ses poumons…
Ceci dit, me demande aussi s'il peut en fumer plus d'une à la fois. /o\
“It is seldom that liberty of any kind is lost all at once.” ― David Hume
Avec 9 mégots le 1er clochard fait 4 cigarettes : d'abord 3 qu'il fume et qui lui donnent 3 autres mégots avec lesquels il fait une 4e cigarette qu'il fume et il lui reste 1 mégot.
Le clochard qui n'a que 6 mégots fait 2 cigarettes qu'il fume ce qui lui donne 2 mégots. Il emprunte le dernier mégot de celui qui en avait 9, fait une 3e cigarette qu'il fume et il rend son mégot au premier.
Posté par arnaudus .
Évalué à 3.
Dernière modification le 13 septembre 2023 à 22:29.
Oui enfin, c'est typiquement le genre de petite devinette que l'on donne à un enfant de primaire.
Bah non, l'information est cachée dans une tournure alambiquée. Si on te dit "chaque frère a deux voitures", combien il y a de voitures? La tournure est complètement artificielle, elle est conçue pour tromper un modèle de langage. La formulation correcte serait "Both brothers", pas "Each brother".
Sally (a girl) has two brothers, Tom and Jack. Tom has two sisters, and Jack has two sisters. How many sisters does Sally have?
ChatGPT: Sally has one sister. In the given information, it's mentioned that Tom has two sisters, which means one of those sisters is Sally, and Jack also has two sisters, with Sally being the other sister.
C'est comme la programmation. Garbage in, garbage out. C'est juste que les humains sont parfois capables de corriger d'eux mêmes les formulations ambigües; ici, ça semble logique que "chaque frère a deux soeurs" est une faute de langage (ils n'ont pas deux soeurs chacun). L'ordinateur ne comprend pas ça, même si ChatGPT n'est pas loin.
La formulation correcte serait "Both brothers", pas "Each brother".
Si tous les deux vous avez la même mère/patrie/etc., est-ce que vous n'avez pas chacun cette même mère/patrie/etc.?
La tournure est complètement artificielle,
Dans ma petite expérience, elle n'a pas l'air si « artificielle » car je rencontre beaucoup de calques inconscients d'une langue dans une autre qui donne cela (et au passage cela n'empêche pas la compréhension naturelle…)
elle est conçue pour tromper
Nous y voilà ; tu supposes une « compréhension »… Ah oui ça s'appelle I forcément. ;-)
“It is seldom that liberty of any kind is lost all at once.” ― David Hume
Bah non, l'information est cachée dans une tournure alambiquée.
Cette formulation sert justement à détecter si on a bien compris que les relations en jeu sont transitives et donc que les 2 sœurs du 1er frère sont aussi les sœurs des 2e et 3e et donc qu'il y a exactement 2 filles au total dans la fratrie. Apparemment les LLM ont du mal avec la transitivité.
C'est aussi une caractéristique de l'intelligence que de savoir dépouiller une expression compliquée de ses oripeaux pour en extraire l'information. On savait que les LLM ne sont pas intelligents, on en a juste une preuve de plus.
C'est pour ça qu'il faut arrêter de dire "intelligence artificielle" (AI) et plutôt dire "apprentissage machine" (ML).
L'expression d'intelligence artificielle est un champ de recherche. Dans le cas d'une implémentation d'un modèle, elle est purement marketing et trompeuse. Et plein de gros malins passent du temps à prouver qu'un truc incapable de réflexion est incapable de réflexion.
Posté par Psychofox (Mastodon) .
Évalué à 3.
Dernière modification le 14 septembre 2023 à 09:59.
Mais dans ce cas doit-on vraiment parler d'intelligence pour les êtres humains. Il y a beaucoup d'indicateurs qui montrent que les humains fonctionnent de la même manière:
- la plupart des comportements des enfants intervient par imitation et apprentissage
- si tu regardes n'importe quel humain, ses comportements seront intimements liés à la façon dont il a été éduqué/se comporte son environnement social et culturel. C'est très flagrant quand on cherche à lutter contre les phénomènes de violence, machisme, racistes, etc.
- la majorité des changements majeurs dans la vie de chacun n'est en général pas lié à une profonde reflexion interne, mais est directement liée au choix à
1. un évènement important, plus particulièrement s'il est dramatique
2. une rencontre importante
3. l'usage de drogues[1]
Et une grosse partie de nos comportements, humeurs et raisonnements sont intimement liés à de la pure biologie. Ça va des influences hormonales, des pressions exercées sur le cerveau par des tumeurs, des infections parasitaires, les addictions, la diététique, la sexualité. L'expérience montre qu'on est finalement pas tant maître de nos propres décisions que cela, qu'on est collectivement et individuellement berné de manière totalement triviale et qu'un être humain est une sorte de guignol contrôlé par des centaines voire milliers de fils invisible.
[1] beaucoup partent dans des délires plus ou moins cosmiques ou religieux après un trip lsd/champis hallucinogènes
Tu as raison, une énorme partie de nos comportements sont programmés (la reproduction, se nourrir) ou appris par imitation très vite (le langage ?), des découvertes comme l'épigénétique montrent que l'environnement peut agir à un niveau très bas. Là-dessus on est d'accord.
Mais un réseau de neurones dans un ordi n'est pas un humain (ou un autre animal un peu sophistiqué genre un grand singe ou un porc) : il ne souffre pas ni n'a de joie, ne fait pas d'introspection ni de rêves, ne fait pas de crise d'ado, n'est jamais surpris, ne trouve rien ni beau ni laid¹… Et en plus ça se mange pas !
Par contre c'est sans doute un outil très efficace dans plein de domaines, pour faire des recoupements ou des corrélations dans des corpus gigantesques, ou reproduire des variantes graphiques à partir de contraintes (comme des étudiant·es en Arts :o) ).
¹ La BD Carbone et Silicium de Mathieu Bablet a l'intérêt de donner une vie propre à des créatures genre androïdes. J'ai pas trop accroché, mais il y a deux trois trucs sympa, comme un des personnages qui préfère s'affranchir des limites physiques et vivre quasiment que dans les réseaux, sans corps (idée de partager la connaissance de cerveau à cerveau qu'on peut retrouver plus de 30 ans avant dans les BD de Gébé, et sans doute avant encore).
ici, ça semble logique que "chaque frère a deux soeurs" est une faute de langage (ils n'ont pas deux soeurs chacun)
Si justement, les frères ont bien 2 sœurs chacun. C'est juste que les LLM ne savent pas faire la différence entre avoir des frères ou des sœurs et posséder un bien. Sans doute un biais de capitaliste qui considère les humains comme des marchandises et pense que chacun des 3 frères possède un tiers de Sally.
Posté par arnaudus .
Évalué à 3.
Dernière modification le 14 septembre 2023 à 11:13.
C'est juste que les LLM ne savent pas faire la différence entre avoir des frères ou des sœurs et posséder un bien. Sans doute un biais de capitaliste qui considère les humains comme des marchandises
Je ne sais pas si c'est sérieux ou pas, mais ça ne marche pas du tout.
Chaque frère a deux amis. Ça fait combien d'amis?
Au final, c'est assez facile de tromper un modèle de langage. Il faut trouver une formulation grammaticalement ambigüe, que les humains corrigeraient intuitivement parce que la phrase prise littéralement serait assez improbable.
Attention, les modèles de langage ont scanné le web, ils connaissent XKCD:
Posté par Tit .
Évalué à 8.
Dernière modification le 14 septembre 2023 à 11:40.
Chaque frère a deux amis. Ça fait combien d'amis?
On sait pas, parce qu'on ne sait pas s'ils ont des amis communs.
par contre quand tu dis :
"chaque frère a deux soeurs" est une faute de langage (ils n'ont pas deux soeurs chacun)
ça ne me semble pas une faute de langage, j'ai une soeur, mon frère a une soeur, on a bien une soeur chacun (pourtant il y a bien une seule fille au total). je n'ai pas une demi soeur et mon frère une autre demi soeur.
Posté par arnaudus .
Évalué à 2.
Dernière modification le 14 septembre 2023 à 14:17.
j'ai une soeur, mon frère a une soeur, on a bien une soeur chacun
Ma femme et moi avons une voiture chacun. Il existe un monde où tu peux imaginer qu'on parle de la même voiture?
Quand on dit "ils ont un X chacun", c'est justement pour indiquer que ça n'est pas les mêmes.
"Mes frères ont invité deux amis" vs "Mes frères ont invité deux amis chacun". Dans le premier cas, il n'y a que deux amis, dans le deuxième cas, il y a 4 amis.
Je sais que je peux être de mauvaise foi, mais là j'ai sincèrement l'impression qu'on me répond n'importe quoi juste par principe. La formule "Ils ont n trucs chacun" ne veut dire qu'une seule chose : il y a n trucs par personne. C'est donc normal que les modèles de langage ont tendance à comprendre "ils ont 2 soeurs chacun, donc ils ont 6 soeurs en tout". Ça n'est pas parce que les modèles de langage sont "inintelligents", c'est parce que l'auteur de l'anecdote a volontairement utilisé une formule grammaticalement incorrecte ("each" à la place de "both") pour tromper les chatbots.
On sait que les LLM ne manipulent pas les concepts, et que c'est le genre de situations qui les fait planter : l'énoncé utilise une construction grammaticale incorrecte, qu'un humain saurait réinterpréter intuitivement vu le contexte, mais la plupart des programmes d'IA ne comprennent pas qu'on cherche à les tromper. Pour moi, l'affaire est entendue : la formule "les trois frères ont deux soeurs" est correcte, "les trois frères ont deux soeurs chacun" est incorrecte, mais en tant qu'humain c'est facile de comprendre qu'il faut retirer "chacun" pour que la phrase ait un sens, simplement parce que s'il s'était s'agit de demi-frères l'énoncé l'aurait précisé.
Vous utilisez "chaque" ou "chacun" comme vous voulez, la grammaire fautive n'est pas punie par la loi. Mais ça n'est pas la peine de raconter n'importe quoi, si dans la phrase "mes frères ont invité deux amis chacun", vous comprenez qu'il peut y avoir des amis en commun, c'est juste qu'on ne parle pas la même langue (ou que vous êtes juste de très mauvaise foi).
C'est pourtant du vécu ! On nous avait dit, à tous les trois, "vous invitez deux amis chacun". D'après toi, on ramenait six personnes en tout sinon on est juste de mauvaise foi ou qu'on met la grammaire en faite ? Pas de bol, six était bien le maximum attendu par notre hôte et on n'en a ramené que quatre …du fait des ami-e-s commun-e-s. C'est la vie, la majorité ne semble pas parler la même langue que toi.
“It is seldom that liberty of any kind is lost all at once.” ― David Hume
Posté par Zenitram (site web personnel) .
Évalué à 4.
Dernière modification le 14 septembre 2023 à 14:43.
Ma femme et moi avons une voiture chacun. Il existe un monde où tu peux imaginer qu'on parle de la même voiture?
Cette phrase laisse aucun doute, en effet, erreur de Tit qui s'est fait avoir par son propre jeu.
Mais techniquement la phrase qui se rapproche de la phrase de l'auteur du jeu initial est : nous sommes 2, chacun de nous a une voiture.
En pratique, si on va rapidement (on ajoute inconsciemment une contrainte) oui 2 voitures, mais sinon en réfléchissant on ne sait pas trop, ça pourrait être 1 ou 2 voitures car la phrase n'est pas très précise (surtout sur la notion de "a", est-ce une possession pleine ou est-ce la possibilité de prendre une voiture à un moment?).
MAIS : dans le cas de "frère", la définition de "frère" empêche un cas, donc il ne reste qu'un cas. Comme pour voiture la définition ça n’empêche pas on ne peut pas savoir. Et c'est bien le jeu que d'éliminer une possibilité par le biais d'un autre indice!
On peut le dire autrement : tu dis "j'ai une voiture" à ami 1, ta femme dit "j'ai une voiture" à ami 2, ça revient un peu au même que la phrase précédente mais la on a moins envie de mettre son préjugé dedans, c'est peut-être la même.
"Mes frères ont invité deux amis" vs "Mes frères ont invité deux amis chacun". Dans le premier cas, il n'y a que deux amis, dans le deuxième cas, il y a 4 amis.
Techniquement la phrase qui se rapproche de la phrase de l'auteur est : chacun de mes 2 frères a invité 2 amis.
En pratique, comme on ne sait pas si les amis sont communs donc ça fait entre 2 et 4. Il y en aurait 2 que la phrase serait toujours juste!
grammaticalement incorrecte
?
Comment ça incorrect? Inhabituel oui, mais incorrect?
vous comprenez qu'il peut y avoir des amis en commun, c'est juste qu'on ne parle pas la même langue (ou que vous êtes juste de très mauvaise foi).
Ou alors tu ne veux pas comprendre (mauvaise foi?) la différence entre une habitude facile à base de conventions ou préjugés, et la réalité d'une phrase qui peut laisser plus de doutes que ce qu'on imagine.
On apprend assez tôt en cours de math à faire la différence entre ce qui est écrit dans un énoncé et no préjugés, afin de laisser no préjugés de côté. On ne demande pas à la machine d'avoir des préjugés, et surtout la on rigole sur l'impossibilité de la réponse donnée.
allez, pour jouer, imaginons qu'on est lundi et qu'on donne rendez-vous à samedi prochain, c'est celui dans 5 ou 12 jours? Ça dépend en réalité de conventions, donc la machine (et nous aussi si on n'a pas la convention commune!) doit garder les 2 possibilités, et dire "on ne peux pas être sûr, ça dépend de conventions, merci de préciser". Un des problèmes de l' "IA" actuelle est qu'on fait tout pour qu'elle ne dise pas qu'elle n'est pas sûre, on veut lui faire dire une réponse précise même si il n'y a pas de précision possible.
Mais dans le cas du lien, pas besoin de conventions, les définitions des mots étant suffisantes pour éliminer des cas et il ne reste plus qu'un cas possible même si ce n'est pas le plus naturel. Dire autre chose est ne pas parler la même langue (pas la même définition de "frère"?).
Rappel : c'est un jeu! le but est de piéger autant l'humain que la machine.
Peut-être mauvaise analyse de ma part mais un "chacun" à la fin me fait déduire que c'est 1 par personne, de manière exclusif, contrairement à "chacun" devant les possédants.
Posté par Tit .
Évalué à 3.
Dernière modification le 15 septembre 2023 à 14:28.
mouais, je sais pas, c'est vrai que suivant le contexte, l'intonation, ou en changeant légèrement la tournure on peut comprendre différemment une même phrase, mais là je vois pas. chaque frère a une soeur, ou chacun des frères a une sœur ou ces hommes (en désignant les frères) ont une soeur chacun, ça me semble pareil
On demande a un groupe de X hommes s'ils ont un (et un seul frère) ils répondent tous oui, pour moi toutes les formulations suivantes me semblent à peu près équivalente : "chaque homme du groupe a un frère", "ils ont chacun un frère", "ils ont un frère chacun", dans tous les cas je n'ai pas l'impression qu'on peut exclure le fait que dans le groupe il y ait des frères, et donc on ne peut savoir combien exactement il y aura de personnes si on leur demande de venir la prochaine fois avec leurs frères.
Posté par Faya .
Évalué à 3.
Dernière modification le 14 septembre 2023 à 15:16.
Formulé ainsi en français : "La petite Sally a 3 frères. Chaque frère a 2 soeurs. Combien de soeurs a Sally ?"
Réponse de GPT-4 (testé à l'instant) :
La petite Sally a 3 frères. Si chaque frère a 2 sœurs, cela signifie que ces deux sœurs sont les > mêmes pour chaque frère. Autrement dit, les deux sœurs sont Sally et une autre fille.
Donc, Sally a 1 sœur.
Donc soit il a appris entre-temps, soit il s'attend à ce qu'un énoncé en français soit piégeux parce que les français sont chiants (humour)
Posté par Tit .
Évalué à 6.
Dernière modification le 14 septembre 2023 à 16:29.
Peut-être que je parle mal français, et je veux bien des liens qui confirmeraient ce que tu dis, mais pour moi, je peux dire "chaque enfant a une mère" sans que ça signifie qu'il y a autant de mères que d'enfants, c'est la même chose que dire "tout enfant a une mère".
Si chacun a une couleur préférée, ça n'implique pas qu'il y autant de couleurs préférés que de personnes (on peut être plusieurs à préférer le rouge)
Je persiste à penser que "chaque frère a deux soeurs" n'est pas une faute de langage (et encore moins une faute de grammaire).
Posté par Strash .
Évalué à 1.
Dernière modification le 13 septembre 2023 à 16:48.
La question est assez ambigüe et je suis pas sûr que la réponse attendue (1 sœur) soit celle qu'une personne répondrait (sans contexte supplémentaire).
Sally (a girl) has 3 brothers. Each brother has 2 sisters. How many sisters does Sally have?
Que l'on pourrait traduire par :
Sally (une fille) a 3 frère. Chaque frère a 2 sœurs. Combien de sœurs a Sally ?
La tournure du "Chaque frère a 2 sœurs" est étrange, ce n'est pas comme cela que je décrirais une fratrie de 5 (2 filles et 3 garçons). Je dirais plutôt "Les frères ont 2 sœurs" je n'utiliserais pas "chaque". Sauf si il s'agit d'une famille recomposée où les frères en question sont en fait demi-frère, et qu'il y a donc potentiellement 6 filles dans l'équation (ou tout nombre entre les deux).
Je serais curieux de savoir la réponse de ces LLM à la question:
Sally (a girl) has 3 brothers. Her brothers have 2 sisters. How many sisters does Sally have?
La tournure du "Chaque frère a 2 sœurs" est étrange
Étrange, oui, mais ça n'enlève rien à l'analyse car la tournure dit la même chose que ce que tu dis. C'est ce qui fait la différence entre une analyse intelligente des informations fournies et une tentative par le biais de stats de donner la réponse qui a le plus de chances de marcher à partir d'un jeu de données qu'on avait donné avant et qui ressemble.
à partir d'un jeu de données qu'on avait donné avant
oui j'avoue ne pas trop comprendre l'intérêt de ces benchmarks… on sait qu'il n'y a pas de raisonnement derrière, donc c'est pas donner le plus "intelligent" des moteurs, mais en gros celui qui aura bouffé le plus gros corpus, voire celui qui aura la chance d'être tombé sur ce type d'exercice.
en tous cas les prochains se feront pas avoir c'est certain, vu qu'ils seront entraînés spécifiquement à ces benchmark (mais bon, les benchmarks changeront etc.)
mais ça ne les empêchera pas de continuer à raconter tout et n'importe quoi sur le reste.
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
Étrange, oui, mais ça n'enlève rien à l'analyse car la tournure dit la même chose que ce que tu dis.
Non, comme je l'ai écris plus haut, si tu écris "Chaque frère a 2 amis", c'est totalement normal de le comprendre comme "il y a 3*2 = 6 amis". La phrase est grammaticalement très ambigüe, et c'est juste parce qu'on devine qu'on aurait dit "demi-frère" si ça n'était pas des pleins frères etc. qu'on peut penser que la bonne réponse est 1. Je ne suis pas sûr du tout que comprendre ce genre de subtilités fait partie de l'intelligence artificielle; ça ne touche qu'une sous-partie très précise liée à la compréhension des sous-entendus dans les langages naturels.
Ça ne retire rien par ailleurs au fait que les modèles de langage ne manipulent pas les concepts. Ce que je trouve fascinant, c'est plutôt à quel point il est facile de nous faire croire qu'ils manipulent les concepts, alors qu'ils ne manipulent que les mots.
Posté par Zenitram (site web personnel) .
Évalué à 2.
Dernière modification le 14 septembre 2023 à 11:52.
Non
Ben si, ne t'en déplaise. C'est un peu tordu mais n'enlève rien à la signification de chaque mot et de ses conséquences.
si tu écris "Chaque frère a 2 amis", c'est totalement normal de le comprendre comme "il y a 3*2 = 6 amis".
Ben non.
C'est plutôt normal de comprendre comme entre 2 et 6 amis, suivant si les amis se recoupent ou pas, il faut donc plus d'info pour un chiffre plus précis. Si tu balances 6 c'est que tu n'as pas assez réfléchi et pense savoir alors que peut-être, peut-être pas, tu fais une supposition (que les amis sont distincts) qui n'a jamais été indiquée et que tu as donc inventé.
La phrase est grammaticalement très ambigüe, et c'est juste parce qu'on devine qu'on aurait dit "demi-frère"
Pas compris ce que viennent faire les demi-frères dans l'histoire dès le départ, ça semble être la juste pour faire diversion avec du hors sujet.
Parce que :
c'est juste parce qu'on devine qu'on aurait dit "demi-frère" si ça n'était pas des pleins frères
ça ne touche qu'une sous-partie très précise liée à la compréhension des sous-entendus dans les langages naturels.
Dans le cas qui nous concerne, aucun sous-entendu dans la langue, c'est purement technique et factuel, justement c'est le factuel qui est piégeant face à l'humain, et c'est bien là qu'on perd le "machine learning" qui ne sait pas assez analyser techniquement la phrase mais tape dans sa base de donnée pour tenter une approche statistique plutôt que logique. Et les humains qui ne font pas attention se loupent aussi mais c'est la beauté du jeu pour les humains d'aller trop vite et se louper, puis de se dire "ho je me suis bien fait avoir".
ChatGPT3 donne la bonne réponse si on retire "each". C'est le "chacun" qui est trompeur, parce qu'il n'est pas grammaticalement correct dans cette phrase. "Mes frères ont invité deux amis" vs "Mes frères ont invité deux amis chacun", ça ne veut pas dire la même chose.
L'intéret ici, ça n'est pas pourquoi les bots se plantent, parce qu'ils ont raison de se planter, c'est pourquoi les humains comprennent correctement cette phrase incorrecte. Je pense que le cerveau considère très rapidement les possibilités que sous-entend "chacun" (adoption, demi-frères…), qu'il décide que ça n'a pas de sens dans le contexte de l'énigme (parce qu'on l'aurait précisé explicitement), et décide d'"oublier" le mot "chacun" : on comprend "les frères ont deux soeurs". J'imagine qu'on a naturellement une forme de tolérance aux fautes de grammaire, d'orthographe, ou de prononciation, c'est ça qui nous permet de parler avec des gens qui ont un accent ou qui sont étrangers par exemple. Les modèles de langage ont probablement moins de flexibilité, et c'est utilisé ici pour les tromper.
Si les frères de Sally ont été adoptés, leur deuxième sœur pourrait être biologique et ne pas être la sœur de Sally. Il serait donc correct pour Sally de parler d'une sœur de son frère (ou de la sœur de ses frères) sans que cette personne ne soit sa sœur.
La réponse 0 peut donc être correcte.
Dans le même style, si Sally a été adoptée, il est possible qu'elle ait des sœurs qui n'ont pas été adoptées par sa famille adoptive.
La réponse consistant à dire qu'il n'y a pas assez d'informations pour répondre à la question peut donc être correcte.
Tu veux jouer mais ça fait plouf, du fait de la définition de "frère", que ce soit biologique (même parents biologiques) ou légal (les adoptés sont comme les nés, du coup la filiation d'un adopté avec une frère biologique disparaît légalement), et tu décides de changer la définition d'un mot en cours de route pour pouvoir jouer.
Que ce soit biologique ou légal, dans les 2 cas il n'y a qu'une réponse possible, 1, les autres réponses sont seulement en n'utilisant pas la même définition d'un même mot dans un intitulé.
Posté par nico4nicolas .
Évalué à 1.
Dernière modification le 14 septembre 2023 à 17:04.
Pourquoi j'ai raison
Je ne change pas la définition des mots, les mots ont plusieurs définitions. Si je parle de mon frère, il peut s'agir d'une personne née des mêmes parents que moi ou d'une personne qui partage la même religion que moi. Les deux interprétations sont correctes et dire que "mon frère n'est pas mon frère" est aussi correct. Les mots ont plusieurs définitions.
Pourquoi tu as raison
Les termes de mère et père ont tous deux ces 2 définitions :
… qui a donné naissance à un enfant.
… qui a pris le rôle et la responsabilité maternelle/paternelle dans la vie d’un enfant.
Il est donc lexicalement correct pour une personne d'avoir des parents biologiques et des parents adoptifs. D'après leurs définitions, les soeurs et frères doivent être nés des mêmes parents, c'est la définition de fraternité.
La parenté est la relation de consanguinité ou d’alliance qui unit deux personnes entre elles. Si deux enfants ont été adoptés par les mêmes parents s'appeler frère et sœur ne serait pas correct.
Tu aurais donc raison sauf que dans l'usage, c'est ce qui se passe. Les enfants de mêmes parents adoptifs s'appellent frère et sœur mais il est vrai que cela est incorrect si on s'arrête aux définitions.
# Un peu trop en demander...
Posté par arnaudus . Évalué à 6.
Ces questions sont piégeuses pour des humains, ça n'est pas étonnant qu'elles soient hors de portée des AI.
Sur l'essai que j'ai fait, chatGPT3 a presque la réponse:
C'est super courant, mais c'est un bug : il donne une mauvaise réponse, puis tient un raisonnement correct, puis confirme la mauvaise réponse. Ça n'est pas la première fois que je vois ça. J'imagine que c'est juste une conséquence du fait que c'est un modèle de langage, il ne sait pas manipuler les concepts. Par exemple, au fil du dialogue que j'ai eu avec lui, il m'a dit qu'il y avait 4 filles (Sally et ses trois frères).
[^] # Commentaire supprimé
Posté par Anonyme . Évalué à 5.
Ce commentaire a été supprimé par l’équipe de modération.
[^] # Re: Un peu trop en demander...
Posté par Thomas Douillard . Évalué à 3.
Dans les deux cas, il s’est fait une cigarette. Donc il ne peut en fumer qu’une. J’ai bon ? /o\
[^] # Re: Un peu trop en demander...
Posté par Gil Cot ✔ (site web personnel, Mastodon) . Évalué à 2.
J'pige pas trop le truc, mais c'est bien qu'il recycle les déchets toxiques.
Du coup, il fume une cigarette et ça lui fait un mégot en plus (soit sept en tout…) Il se fait une autre cigarette, donc trois mégots en moins (soit quatre restant…) Après s'être enfumé, il a un autre mégot (donc cinq en tout…) Il se fait encore une autre cigarette (i.e. trois mégots en moins et il lui en reste plus que deux…) Après ce troisième tour, il lui reste un mégot (soit trois en tout…) pour une dernière cigarette. Finalement, avec six mégots et sa cigarette initiale, il aura pu enfumer quatre fois ses poumons…
Ceci dit, me demande aussi s'il peut en fumer plus d'une à la fois. /o\
“It is seldom that liberty of any kind is lost all at once.” ― David Hume
[^] # Re: Un peu trop en demander...
Posté par Jean-Baptiste Faure . Évalué à 6.
Et beh, pas récent comme devinette. ;-)
Avec 9 mégots le 1er clochard fait 4 cigarettes : d'abord 3 qu'il fume et qui lui donnent 3 autres mégots avec lesquels il fait une 4e cigarette qu'il fume et il lui reste 1 mégot.
Le clochard qui n'a que 6 mégots fait 2 cigarettes qu'il fume ce qui lui donne 2 mégots. Il emprunte le dernier mégot de celui qui en avait 9, fait une 3e cigarette qu'il fume et il rend son mégot au premier.
[^] # Commentaire supprimé
Posté par Anonyme . Évalué à 3.
Ce commentaire a été supprimé par l’équipe de modération.
[^] # Re: Un peu trop en demander...
Posté par arnaudus . Évalué à 3. Dernière modification le 13 septembre 2023 à 22:29.
Bah non, l'information est cachée dans une tournure alambiquée. Si on te dit "chaque frère a deux voitures", combien il y a de voitures? La tournure est complètement artificielle, elle est conçue pour tromper un modèle de langage. La formulation correcte serait "Both brothers", pas "Each brother".
C'est comme la programmation. Garbage in, garbage out. C'est juste que les humains sont parfois capables de corriger d'eux mêmes les formulations ambigües; ici, ça semble logique que "chaque frère a deux soeurs" est une faute de langage (ils n'ont pas deux soeurs chacun). L'ordinateur ne comprend pas ça, même si ChatGPT n'est pas loin.
[^] # Re: Un peu trop en demander...
Posté par Gil Cot ✔ (site web personnel, Mastodon) . Évalué à 3.
Si tous les deux vous avez la même mère/patrie/etc., est-ce que vous n'avez pas chacun cette même mère/patrie/etc.?
Dans ma petite expérience, elle n'a pas l'air si « artificielle » car je rencontre beaucoup de calques inconscients d'une langue dans une autre qui donne cela (et au passage cela n'empêche pas la compréhension naturelle…)
Nous y voilà ; tu supposes une « compréhension »… Ah oui ça s'appelle I forcément. ;-)
“It is seldom that liberty of any kind is lost all at once.” ― David Hume
[^] # Re: Un peu trop en demander...
Posté par Jean-Baptiste Faure . Évalué à 4.
Cette formulation sert justement à détecter si on a bien compris que les relations en jeu sont transitives et donc que les 2 sœurs du 1er frère sont aussi les sœurs des 2e et 3e et donc qu'il y a exactement 2 filles au total dans la fratrie. Apparemment les LLM ont du mal avec la transitivité.
C'est aussi une caractéristique de l'intelligence que de savoir dépouiller une expression compliquée de ses oripeaux pour en extraire l'information. On savait que les LLM ne sont pas intelligents, on en a juste une preuve de plus.
[^] # Re: Un peu trop en demander...
Posté par cg . Évalué à 7.
C'est pour ça qu'il faut arrêter de dire "intelligence artificielle" (AI) et plutôt dire "apprentissage machine" (ML).
L'expression d'intelligence artificielle est un champ de recherche. Dans le cas d'une implémentation d'un modèle, elle est purement marketing et trompeuse. Et plein de gros malins passent du temps à prouver qu'un truc incapable de réflexion est incapable de réflexion.
[^] # Re: Un peu trop en demander...
Posté par Psychofox (Mastodon) . Évalué à 3. Dernière modification le 14 septembre 2023 à 09:59.
Mais dans ce cas doit-on vraiment parler d'intelligence pour les êtres humains. Il y a beaucoup d'indicateurs qui montrent que les humains fonctionnent de la même manière:
- la plupart des comportements des enfants intervient par imitation et apprentissage
- si tu regardes n'importe quel humain, ses comportements seront intimements liés à la façon dont il a été éduqué/se comporte son environnement social et culturel. C'est très flagrant quand on cherche à lutter contre les phénomènes de violence, machisme, racistes, etc.
- la majorité des changements majeurs dans la vie de chacun n'est en général pas lié à une profonde reflexion interne, mais est directement liée au choix à
1. un évènement important, plus particulièrement s'il est dramatique
2. une rencontre importante
3. l'usage de drogues[1]
Et une grosse partie de nos comportements, humeurs et raisonnements sont intimement liés à de la pure biologie. Ça va des influences hormonales, des pressions exercées sur le cerveau par des tumeurs, des infections parasitaires, les addictions, la diététique, la sexualité. L'expérience montre qu'on est finalement pas tant maître de nos propres décisions que cela, qu'on est collectivement et individuellement berné de manière totalement triviale et qu'un être humain est une sorte de guignol contrôlé par des centaines voire milliers de fils invisible.
[1] beaucoup partent dans des délires plus ou moins cosmiques ou religieux après un trip lsd/champis hallucinogènes
[^] # Re: Un peu trop en demander...
Posté par cg . Évalué à 3.
Tu as raison, une énorme partie de nos comportements sont programmés (la reproduction, se nourrir) ou appris par imitation très vite (le langage ?), des découvertes comme l'épigénétique montrent que l'environnement peut agir à un niveau très bas. Là-dessus on est d'accord.
Mais un réseau de neurones dans un ordi n'est pas un humain (ou un autre animal un peu sophistiqué genre un grand singe ou un porc) : il ne souffre pas ni n'a de joie, ne fait pas d'introspection ni de rêves, ne fait pas de crise d'ado, n'est jamais surpris, ne trouve rien ni beau ni laid¹… Et en plus ça se mange pas !
Par contre c'est sans doute un outil très efficace dans plein de domaines, pour faire des recoupements ou des corrélations dans des corpus gigantesques, ou reproduire des variantes graphiques à partir de contraintes (comme des étudiant·es en Arts :o) ).
¹ La BD Carbone et Silicium de Mathieu Bablet a l'intérêt de donner une vie propre à des créatures genre androïdes. J'ai pas trop accroché, mais il y a deux trois trucs sympa, comme un des personnages qui préfère s'affranchir des limites physiques et vivre quasiment que dans les réseaux, sans corps (idée de partager la connaissance de cerveau à cerveau qu'on peut retrouver plus de 30 ans avant dans les BD de Gébé, et sans doute avant encore).
[^] # Re: Un peu trop en demander...
Posté par Jean-Baptiste Faure . Évalué à 5.
Si justement, les frères ont bien 2 sœurs chacun. C'est juste que les LLM ne savent pas faire la différence entre avoir des frères ou des sœurs et posséder un bien. Sans doute un biais de capitaliste qui considère les humains comme des marchandises et pense que chacun des 3 frères possède un tiers de Sally.
[^] # Re: Un peu trop en demander...
Posté par arnaudus . Évalué à 3. Dernière modification le 14 septembre 2023 à 11:13.
Je ne sais pas si c'est sérieux ou pas, mais ça ne marche pas du tout.
Chaque frère a deux amis. Ça fait combien d'amis?
Au final, c'est assez facile de tromper un modèle de langage. Il faut trouver une formulation grammaticalement ambigüe, que les humains corrigeraient intuitivement parce que la phrase prise littéralement serait assez improbable.
Attention, les modèles de langage ont scanné le web, ils connaissent XKCD:
[^] # Re: Un peu trop en demander...
Posté par Tit . Évalué à 8. Dernière modification le 14 septembre 2023 à 11:40.
On sait pas, parce qu'on ne sait pas s'ils ont des amis communs.
par contre quand tu dis :
ça ne me semble pas une faute de langage, j'ai une soeur, mon frère a une soeur, on a bien une soeur chacun (pourtant il y a bien une seule fille au total). je n'ai pas une demi soeur et mon frère une autre demi soeur.
[^] # Re: Un peu trop en demander...
Posté par Gil Cot ✔ (site web personnel, Mastodon) . Évalué à 3.
Encore que, en français, avec les familles recomposées, vous pourriez en avoir une demie chacun sans que le sens ne change.
“It is seldom that liberty of any kind is lost all at once.” ― David Hume
[^] # Re: Un peu trop en demander...
Posté par arnaudus . Évalué à 2. Dernière modification le 14 septembre 2023 à 14:17.
Ma femme et moi avons une voiture chacun. Il existe un monde où tu peux imaginer qu'on parle de la même voiture?
Quand on dit "ils ont un X chacun", c'est justement pour indiquer que ça n'est pas les mêmes.
"Mes frères ont invité deux amis" vs "Mes frères ont invité deux amis chacun". Dans le premier cas, il n'y a que deux amis, dans le deuxième cas, il y a 4 amis.
Je sais que je peux être de mauvaise foi, mais là j'ai sincèrement l'impression qu'on me répond n'importe quoi juste par principe. La formule "Ils ont n trucs chacun" ne veut dire qu'une seule chose : il y a n trucs par personne. C'est donc normal que les modèles de langage ont tendance à comprendre "ils ont 2 soeurs chacun, donc ils ont 6 soeurs en tout". Ça n'est pas parce que les modèles de langage sont "inintelligents", c'est parce que l'auteur de l'anecdote a volontairement utilisé une formule grammaticalement incorrecte ("each" à la place de "both") pour tromper les chatbots.
On sait que les LLM ne manipulent pas les concepts, et que c'est le genre de situations qui les fait planter : l'énoncé utilise une construction grammaticale incorrecte, qu'un humain saurait réinterpréter intuitivement vu le contexte, mais la plupart des programmes d'IA ne comprennent pas qu'on cherche à les tromper. Pour moi, l'affaire est entendue : la formule "les trois frères ont deux soeurs" est correcte, "les trois frères ont deux soeurs chacun" est incorrecte, mais en tant qu'humain c'est facile de comprendre qu'il faut retirer "chacun" pour que la phrase ait un sens, simplement parce que s'il s'était s'agit de demi-frères l'énoncé l'aurait précisé.
Vous utilisez "chaque" ou "chacun" comme vous voulez, la grammaire fautive n'est pas punie par la loi. Mais ça n'est pas la peine de raconter n'importe quoi, si dans la phrase "mes frères ont invité deux amis chacun", vous comprenez qu'il peut y avoir des amis en commun, c'est juste qu'on ne parle pas la même langue (ou que vous êtes juste de très mauvaise foi).
[^] # Re: Un peu trop en demander...
Posté par Gil Cot ✔ (site web personnel, Mastodon) . Évalué à 4.
C'est pourtant du vécu ! On nous avait dit, à tous les trois, "vous invitez deux amis chacun". D'après toi, on ramenait six personnes en tout sinon on est juste de mauvaise foi ou qu'on met la grammaire en faite ? Pas de bol, six était bien le maximum attendu par notre hôte et on n'en a ramené que quatre …du fait des ami-e-s commun-e-s. C'est la vie, la majorité ne semble pas parler la même langue que toi.
“It is seldom that liberty of any kind is lost all at once.” ― David Hume
[^] # Re: Un peu trop en demander...
Posté par Zenitram (site web personnel) . Évalué à 4. Dernière modification le 14 septembre 2023 à 14:43.
Cette phrase laisse aucun doute, en effet, erreur de Tit qui s'est fait avoir par son propre jeu.
Mais techniquement la phrase qui se rapproche de la phrase de l'auteur du jeu initial est : nous sommes 2, chacun de nous a une voiture.
En pratique, si on va rapidement (on ajoute inconsciemment une contrainte) oui 2 voitures, mais sinon en réfléchissant on ne sait pas trop, ça pourrait être 1 ou 2 voitures car la phrase n'est pas très précise (surtout sur la notion de "a", est-ce une possession pleine ou est-ce la possibilité de prendre une voiture à un moment?).
MAIS : dans le cas de "frère", la définition de "frère" empêche un cas, donc il ne reste qu'un cas. Comme pour voiture la définition ça n’empêche pas on ne peut pas savoir. Et c'est bien le jeu que d'éliminer une possibilité par le biais d'un autre indice!
On peut le dire autrement : tu dis "j'ai une voiture" à ami 1, ta femme dit "j'ai une voiture" à ami 2, ça revient un peu au même que la phrase précédente mais la on a moins envie de mettre son préjugé dedans, c'est peut-être la même.
Techniquement la phrase qui se rapproche de la phrase de l'auteur est : chacun de mes 2 frères a invité 2 amis.
En pratique, comme on ne sait pas si les amis sont communs donc ça fait entre 2 et 4. Il y en aurait 2 que la phrase serait toujours juste!
?
Comment ça incorrect? Inhabituel oui, mais incorrect?
Ou alors tu ne veux pas comprendre (mauvaise foi?) la différence entre une habitude facile à base de conventions ou préjugés, et la réalité d'une phrase qui peut laisser plus de doutes que ce qu'on imagine.
On apprend assez tôt en cours de math à faire la différence entre ce qui est écrit dans un énoncé et no préjugés, afin de laisser no préjugés de côté. On ne demande pas à la machine d'avoir des préjugés, et surtout la on rigole sur l'impossibilité de la réponse donnée.
allez, pour jouer, imaginons qu'on est lundi et qu'on donne rendez-vous à samedi prochain, c'est celui dans 5 ou 12 jours? Ça dépend en réalité de conventions, donc la machine (et nous aussi si on n'a pas la convention commune!) doit garder les 2 possibilités, et dire "on ne peux pas être sûr, ça dépend de conventions, merci de préciser". Un des problèmes de l' "IA" actuelle est qu'on fait tout pour qu'elle ne dise pas qu'elle n'est pas sûre, on veut lui faire dire une réponse précise même si il n'y a pas de précision possible.
Mais dans le cas du lien, pas besoin de conventions, les définitions des mots étant suffisantes pour éliminer des cas et il ne reste plus qu'un cas possible même si ce n'est pas le plus naturel. Dire autre chose est ne pas parler la même langue (pas la même définition de "frère"?).
Rappel : c'est un jeu! le but est de piéger autant l'humain que la machine.
[^] # Re: Un peu trop en demander...
Posté par Tit . Évalué à 2.
J'ai pas compris où ai-je fait une erreur ?
[^] # Re: Un peu trop en demander...
Posté par Zenitram (site web personnel) . Évalué à 3.
Peut-être mauvaise analyse de ma part mais un "chacun" à la fin me fait déduire que c'est 1 par personne, de manière exclusif, contrairement à "chacun" devant les possédants.
[^] # Re: Un peu trop en demander...
Posté par Tit . Évalué à 3. Dernière modification le 15 septembre 2023 à 14:28.
mouais, je sais pas, c'est vrai que suivant le contexte, l'intonation, ou en changeant légèrement la tournure on peut comprendre différemment une même phrase, mais là je vois pas. chaque frère a une soeur, ou chacun des frères a une sœur ou ces hommes (en désignant les frères) ont une soeur chacun, ça me semble pareil
On demande a un groupe de X hommes s'ils ont un (et un seul frère) ils répondent tous oui, pour moi toutes les formulations suivantes me semblent à peu près équivalente : "chaque homme du groupe a un frère", "ils ont chacun un frère", "ils ont un frère chacun", dans tous les cas je n'ai pas l'impression qu'on peut exclure le fait que dans le groupe il y ait des frères, et donc on ne peut savoir combien exactement il y aura de personnes si on leur demande de venir la prochaine fois avec leurs frères.
[^] # Re: Un peu trop en demander...
Posté par Faya . Évalué à 3. Dernière modification le 14 septembre 2023 à 15:16.
Formulé ainsi en français : "La petite Sally a 3 frères. Chaque frère a 2 soeurs. Combien de soeurs a Sally ?"
Réponse de GPT-4 (testé à l'instant) :
Donc soit il a appris entre-temps, soit il s'attend à ce qu'un énoncé en français soit piégeux parce que les français sont chiants (humour)
[^] # Re: Un peu trop en demander...
Posté par Tit . Évalué à 2. Dernière modification le 14 septembre 2023 à 16:24.
edit; je n'ai pas répondu au bon endroit
[^] # Re: Un peu trop en demander...
Posté par Tit . Évalué à 6. Dernière modification le 14 septembre 2023 à 16:29.
Peut-être que je parle mal français, et je veux bien des liens qui confirmeraient ce que tu dis, mais pour moi, je peux dire "chaque enfant a une mère" sans que ça signifie qu'il y a autant de mères que d'enfants, c'est la même chose que dire "tout enfant a une mère".
Si chacun a une couleur préférée, ça n'implique pas qu'il y autant de couleurs préférés que de personnes (on peut être plusieurs à préférer le rouge)
Je persiste à penser que "chaque frère a deux soeurs" n'est pas une faute de langage (et encore moins une faute de grammaire).
[^] # Re: Un peu trop en demander...
Posté par Ysabeau 🧶 (site web personnel, Mastodon) . Évalué à 4.
C'est tout à fait correct en effet !
« Tak ne veut pas quʼon pense à lui, il veut quʼon pense », Terry Pratchett, Déraillé.
# Pas très fair play
Posté par Strash . Évalué à 1. Dernière modification le 13 septembre 2023 à 16:48.
La question est assez ambigüe et je suis pas sûr que la réponse attendue (1 sœur) soit celle qu'une personne répondrait (sans contexte supplémentaire).
Que l'on pourrait traduire par :
La tournure du "Chaque frère a 2 sœurs" est étrange, ce n'est pas comme cela que je décrirais une fratrie de 5 (2 filles et 3 garçons). Je dirais plutôt "Les frères ont 2 sœurs" je n'utiliserais pas "chaque". Sauf si il s'agit d'une famille recomposée où les frères en question sont en fait demi-frère, et qu'il y a donc potentiellement 6 filles dans l'équation (ou tout nombre entre les deux).
Je serais curieux de savoir la réponse de ces LLM à la question:
[^] # Re: Pas très fair play
Posté par Zenitram (site web personnel) . Évalué à 5.
Étrange, oui, mais ça n'enlève rien à l'analyse car la tournure dit la même chose que ce que tu dis. C'est ce qui fait la différence entre une analyse intelligente des informations fournies et une tentative par le biais de stats de donner la réponse qui a le plus de chances de marcher à partir d'un jeu de données qu'on avait donné avant et qui ressemble.
[^] # Re: Pas très fair play
Posté par gUI (Mastodon) . Évalué à 6.
oui j'avoue ne pas trop comprendre l'intérêt de ces benchmarks… on sait qu'il n'y a pas de raisonnement derrière, donc c'est pas donner le plus "intelligent" des moteurs, mais en gros celui qui aura bouffé le plus gros corpus, voire celui qui aura la chance d'être tombé sur ce type d'exercice.
en tous cas les prochains se feront pas avoir c'est certain, vu qu'ils seront entraînés spécifiquement à ces benchmark (mais bon, les benchmarks changeront etc.)
mais ça ne les empêchera pas de continuer à raconter tout et n'importe quoi sur le reste.
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
[^] # Re: Pas très fair play
Posté par arnaudus . Évalué à 3.
Non, comme je l'ai écris plus haut, si tu écris "Chaque frère a 2 amis", c'est totalement normal de le comprendre comme "il y a 3*2 = 6 amis". La phrase est grammaticalement très ambigüe, et c'est juste parce qu'on devine qu'on aurait dit "demi-frère" si ça n'était pas des pleins frères etc. qu'on peut penser que la bonne réponse est 1. Je ne suis pas sûr du tout que comprendre ce genre de subtilités fait partie de l'intelligence artificielle; ça ne touche qu'une sous-partie très précise liée à la compréhension des sous-entendus dans les langages naturels.
Ça ne retire rien par ailleurs au fait que les modèles de langage ne manipulent pas les concepts. Ce que je trouve fascinant, c'est plutôt à quel point il est facile de nous faire croire qu'ils manipulent les concepts, alors qu'ils ne manipulent que les mots.
[^] # Re: Pas très fair play
Posté par Zenitram (site web personnel) . Évalué à 2. Dernière modification le 14 septembre 2023 à 11:52.
Ben si, ne t'en déplaise. C'est un peu tordu mais n'enlève rien à la signification de chaque mot et de ses conséquences.
Ben non.
C'est plutôt normal de comprendre comme entre 2 et 6 amis, suivant si les amis se recoupent ou pas, il faut donc plus d'info pour un chiffre plus précis. Si tu balances 6 c'est que tu n'as pas assez réfléchi et pense savoir alors que peut-être, peut-être pas, tu fais une supposition (que les amis sont distincts) qui n'a jamais été indiquée et que tu as donc inventé.
Pas compris ce que viennent faire les demi-frères dans l'histoire dès le départ, ça semble être la juste pour faire diversion avec du hors sujet.
Parce que :
https://www.larousse.fr/dictionnaires/francais/fr%C3%A8re/35195
"née du même père et de la même mère qu'une autre personne"
Alors certes
https://www.larousse.fr/dictionnaires/francais/demi-fr%C3%A8re/23342
Tort la logique en se contredisant un peu, mais techniquement ça reste que "demi-frère" ne peut être "frère", donc impossible que les frères dans le texte soient demi-frères.
Dans le cas qui nous concerne, aucun sous-entendu dans la langue, c'est purement technique et factuel, justement c'est le factuel qui est piégeant face à l'humain, et c'est bien là qu'on perd le "machine learning" qui ne sait pas assez analyser techniquement la phrase mais tape dans sa base de donnée pour tenter une approche statistique plutôt que logique. Et les humains qui ne font pas attention se loupent aussi mais c'est la beauté du jeu pour les humains d'aller trop vite et se louper, puis de se dire "ho je me suis bien fait avoir".
[^] # Re: Pas très fair play
Posté par Strash . Évalué à -3.
Grammaticalement écrire "Chaque frère a 2 sœurs" est juste très limite voir faux.
[^] # Re: Pas très fair play
Posté par Psychofox (Mastodon) . Évalué à 4. Dernière modification le 14 septembre 2023 à 17:06.
Arrêtez d'inventer des inepties parce que vous n'avez pas été foutus de trouver la bonne réponse.
# Pas à pas
Posté par Benoît Laurent (site web personnel) . Évalué à 2.
Avec un prompt qui demande de procéder pas à pas, GPT-4 à la bonne réponse.
Il me semble que c'est le seul de la page :
https://benchmarks.llmonitor.com/cot-sally
[^] # Re: Pas à pas
Posté par Jean-Baptiste Faure . Évalué à 4.
ReMM SLERP L2 13B donne aussi la bonne réponse mais avec un raisonnement faux. Il devrait répondre 5 si son raisonnement était cohérent.
[^] # Re: Pas à pas
Posté par arnaudus . Évalué à 2.
ChatGPT3 donne la bonne réponse si on retire "each". C'est le "chacun" qui est trompeur, parce qu'il n'est pas grammaticalement correct dans cette phrase. "Mes frères ont invité deux amis" vs "Mes frères ont invité deux amis chacun", ça ne veut pas dire la même chose.
L'intéret ici, ça n'est pas pourquoi les bots se plantent, parce qu'ils ont raison de se planter, c'est pourquoi les humains comprennent correctement cette phrase incorrecte. Je pense que le cerveau considère très rapidement les possibilités que sous-entend "chacun" (adoption, demi-frères…), qu'il décide que ça n'a pas de sens dans le contexte de l'énigme (parce qu'on l'aurait précisé explicitement), et décide d'"oublier" le mot "chacun" : on comprend "les frères ont deux soeurs". J'imagine qu'on a naturellement une forme de tolérance aux fautes de grammaire, d'orthographe, ou de prononciation, c'est ça qui nous permet de parler avec des gens qui ont un accent ou qui sont étrangers par exemple. Les modèles de langage ont probablement moins de flexibilité, et c'est utilisé ici pour les tromper.
# Plusieurs réponses correctes
Posté par nico4nicolas . Évalué à 2.
Si les frères de Sally ont été adoptés, leur deuxième sœur pourrait être biologique et ne pas être la sœur de Sally. Il serait donc correct pour Sally de parler d'une sœur de son frère (ou de la sœur de ses frères) sans que cette personne ne soit sa sœur.
La réponse 0 peut donc être correcte.
Dans le même style, si Sally a été adoptée, il est possible qu'elle ait des sœurs qui n'ont pas été adoptées par sa famille adoptive.
La réponse consistant à dire qu'il n'y a pas assez d'informations pour répondre à la question peut donc être correcte.
[^] # Re: Plusieurs réponses correctes
Posté par Zenitram (site web personnel) . Évalué à 3.
Tu veux jouer mais ça fait plouf, du fait de la définition de "frère", que ce soit biologique (même parents biologiques) ou légal (les adoptés sont comme les nés, du coup la filiation d'un adopté avec une frère biologique disparaît légalement), et tu décides de changer la définition d'un mot en cours de route pour pouvoir jouer.
Que ce soit biologique ou légal, dans les 2 cas il n'y a qu'une réponse possible, 1, les autres réponses sont seulement en n'utilisant pas la même définition d'un même mot dans un intitulé.
[^] # Re: Plusieurs réponses correctes
Posté par nico4nicolas . Évalué à 1. Dernière modification le 14 septembre 2023 à 17:04.
Pourquoi j'ai raison
Je ne change pas la définition des mots, les mots ont plusieurs définitions. Si je parle de mon frère, il peut s'agir d'une personne née des mêmes parents que moi ou d'une personne qui partage la même religion que moi. Les deux interprétations sont correctes et dire que "mon frère n'est pas mon frère" est aussi correct. Les mots ont plusieurs définitions.
Pourquoi tu as raison
Les termes de mère et père ont tous deux ces 2 définitions :
Il est donc lexicalement correct pour une personne d'avoir des parents biologiques et des parents adoptifs. D'après leurs définitions, les soeurs et frères doivent être nés des mêmes parents, c'est la définition de fraternité.
La parenté est la relation de consanguinité ou d’alliance qui unit deux personnes entre elles. Si deux enfants ont été adoptés par les mêmes parents s'appeler frère et sœur ne serait pas correct.
Tu aurais donc raison sauf que dans l'usage, c'est ce qui se passe. Les enfants de mêmes parents adoptifs s'appellent frère et sœur mais il est vrai que cela est incorrect si on s'arrête aux définitions.
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.