arnaudus a écrit 5695 commentaires

Pour une encyclopédie traditionnelle, le système passe par l'argument d'autorité; les articles sont écrits par des spécialistes qui représentent l'état des connaissances. C'est d'ailleurs comme ça qu'avaient été conçues les tentatives qui ont précédé Wikipédia, avec un échec flagrant dû au faible nombre de participants et à la tâche surhumaine qui leur était confiée personnellement.

Le succès de Wikipédia est construit sur le principe fondateur de la neutralité de point de vue et des sources fiables. Si tu écris "Linux est le meilleur OS", quelqu'un va le corriger en "Hurd est le meilleur OS", et ça va mal finir. Si tu écris "en 2020 Linux a été désigné meilleur OS par le site Linuxfr", c'est factuel, tout le monde peut être d'accord là-dessus. Cette histoire de sources est donc indissociable du fonctionnement de Wikipédia, et en particulier, quand il n'y a pas de sources, il ne peut pas y avoir d'article.

Le niveau de détestation de Wikipédia par une partie de la communauté me surprend quand même réellement. Il me semble bien plus aisé de contribuer à Wikipédia qu'à n'importe quel projet libre!

La question de la bibliographie des scientifiques est posée depuis longtemps sur Wikipédia, sans avoir de réponse claire. Le travail des scientifiques étant de publier des livres et des articles, parfois par centaines au cours d'une carrière, l'établissement de listes bibliographies exhaustives ne relève pas du travail encyclopédique. Le critère compte d'éditeur / compte d'auteur peut paraitre arbitraire, mais c'est un moyen simple de trier la production courante des ouvrages à portée plus grande (étant donné qu'un éditeur a accepté d'investir dessus, il a forcément trouvé un potentiel de diffusion à l'ouvrage).

J'imagine que ce qui a motivé le "nettoyage" de la liste, c'est une suspicion d'auto-promotion. La liste ne proposait pas un travail de synthèse, avec une sélection de quelques livres majeurs, mais une liste exhaustive d'ouvrages plus ou moins confidentiels.

Et oui, pour l'auto-édition, c'est très souvent une spécialité de certains éditeurs, et en tout cas, les collections sont séparées. Il n'y a donc que peu de doutes sur le fait qu'un ouvrage est auto-édité.

Retirer les éléments d'auto-promotion d'une biographie, c'est le même principe que de retirer les failles de sécurité potentielles d'un bout de code, ou de formatter le code conformément aux règles du projet. C'est un boulot de nettoyage et de conformité, qui est rendu nécessaire par l'ouverture de l'édition de Wikipédia à tous. L'éditeur de Wikipédia n'est pas plus malveillant que le mainteneur d'un projet libre qui refuse un pull request.

Non, rien. Les gens ont leurs marottes, ils voient une chaussette trainer, la mettent au panier à linge, puis d'autres arrivent en râlant que la chaussette sale ne gênait personne. Des relations humaines complètement normales, qu'il serait malsain de surinterpréter avec des histoires de points chaussettes qui donnerait plus de poids dans les discussions.

Je suis vraiment surpris de voir à quel point les réactions contre les bénévoles qui maintiennent Wikipédia sont agressives et disproportionnées. L'encyclopédie est en permanence surveillée, et quand quelqu'un voit un morceau obsolète, non-sourcé, non-maintenu, qui n'a l'air d'intéresser personne, il nettoie les phrases mal écrites, supprime les liens morts, et s'il doute de la nécessité de conserver l'article, il propose sa suppression. C'est un travail ingrat, il y a parfois des erreurs ou des problèmes de communication, mais les réactions sont réellement problématiques. Wikipédia est un projet libre et souverain, pas un hébergeur; il n'existe pas un droit à avoir une page Wikipédia, ni de voir sa prose conservée pour l'éternité sous prétexte que ça ne gêne personne.

Je ne vois pas ce qu'il y a d'incohérent, Wikipédia est plutôt cohérent pour l'application des règles (par contre, le fait que les communautés par langue ne soient pas coordonnées peut en effet sembler un peu baroque, sauf qu'en pratique il n'y a pas d'autres solutions que de laisser les gens capables de communiquer entre eux s'organiser).

Pour "pénible", c'est le coût que tu payes à apprendre les règles d'un projet auquel tu veux participer. Envoyer une pull request ou un bug report au kernel Linux, c'est pénible aussi. Le paradoxe pour Wikipédia, c'est qu'on appelle tout le monde à contribuer, puis on envoie tout le monde ballader parce qu'il y a what millions de règles. C'est sûr que la question ne se pose pas sur le Kernel, si tu ne sais pas coder en C, personne ne t'encourage à contribuer.

Par contre, il ne faut pas surinterpréter : je pense que Wikipedia n'a pas incité personne depuis longtemps à créer des articles sur leur site web préféré ou le jeu qu'ils codent dans leur garage. On les incite à participer à l'existant, c'est les gens qui, spontanément, ont envie d'utiliser Wikipédia comme un hébergeur de blog bien référencé sur les moteurs de recherche.

Pourtant, c'est exactement ce que font les gens qui se font traiter ici de "petits bureaucrates" ou je ne sais pas quoi. Les vrais contributeurs à Wikipédia sont les admins, ceux qui luttent contre le vandalisme, ceux qui aident les nouveaux, ceux qui gèrent les suppressions d'articles, etc. Ils contribuent comme ils peuvent à n'importe quel article et à l'encyclopédie dans son ensemble.

Je suis plutôt d'accord. Ce qui m'a toujours gêné, c'est que Wikipédia n'a pas de politique éditoriale, ou disons que la politique éditoriale est alignée avec les critères d'admissibilité. Comme l'a écrit Nicolas Boulay en dessous, les critères d'admissibilité permettent d'écrire un article par Pokémon, donc on écrit un article par Pokémon. Or, on vit dans un monde où les ressources sont limitées, probablement pas réellement les ressources en octets, mais les ressources en bande passante, en archivage, et surtout en main d'oeuvre : chaque article doit être relu, surveillé, modifié pour tenir compte des changements de politique éditoriale, etc. Or, Wikipédia n'a jamais accepté de limiter son contenu à sa capacité à maintenir les articles, il n'y a donc aucune exigence de qualité. Certains sujets sont abandonnés depuis 15 ans, les connaissances sont dépassées, aucune source n'est accessible. Certains sujets sont aussi des chantiers permanents, parce que trop dynamiques, trop polémiques, etc.

Le destin de Wikipédia en 2026, c'est d'être aspiré par les LLM qui peuvent s'en servir comme base pour fournir des informations bien plus synthétiques, mises à jour, et pertinentes, en réalisant le travail de maintenance, de correction, de rédaction, et de mise à jour que les bénévoles sont incapables de fournir du fait de la présence de millions d'articles sur des sujets à propos desquels personne ne consulte jamais Wikipédia.

Tu fais parti de ceux qui pense que linuxfr n'y a pas sa place ? Alors que chaque pokemon à sa page ?

Je ne suis pas certain de comprendre comment tu te sens légitime pour avoir un avis très tranché sur ce qui devrait figurer dans Wikipédia ou pas, alors que tu n'as visiblement aucune idée de ce qu'est Wikipédia et comment elle fonctionne.

Une encyclopédie c'est tout le savoir du monde.

C'est une définition que tu viens de sortir d'un endroit de ton anatomie qu'il serait problématique de nommer, mais c'est ta définition personnelle. Ça n'est ni la définition de Wikipédia, ni la définition d'aucune autre encyclopédie ayant jamais existé. On vit dans un monde libre, tu peux créer ta propre encyclopédie qui respecte les règles que tu souhaites, mais ce que tu décris n'est pas Wikipédia, et je ne suis pas sûr de comprendre pourquoi tu voudrais imposer à Wikipédia tes propres définitions d'un travail encyclopédique.

Wikipédia considère par exemple que le travail encyclopédique est un travail de synthèse à partir de sources primaires et secondaires; ce travail ne peut exister que si ces sources existent. Il existe des sources primaires et secondaires qui décrivent avec moult détails les propriétés de chaque Pokémon individuel, ce qui permet d'écrire une synthèse encylopédique. S'il n'existe pas de source indépendante qui permet d'étayer les affirmations de l'article dédié à Linuxfr, alors la synthèse encyclopédique n'est techniquement pas possible. Par exemple, si l'article dit "Linuxfr propose des Dépêches, des Journaux, des Liens, et un Forum de discussion", tu dois pouvoir étayer ce propos par une source publiée sur un support sérieux, par des gens dont c'est le métier (universitaires, journalistes, etc). Si tu ne peux pas, alors tu ne peux pas écrire cette phrase dans Wikipédia.

Je n'ai pas l'intention de te faire "aimer" ce mode de fonctionnement, c'est ton droit de ne pas le trouver adéquat (en fait, c'est même normal si tu n'as pas la même définition de ce qu'est une encyclopédie). Mais c'est le fonctionnement de Wikipédia, et tu n'as pas la légitimité pour le modifier.

En tant qu'ancien (très ancien) de Wikipédia, je ne suis pas certain de connaitre exactement l'évolution des règles et des coutumes appliquées, mais ta réaction (qu'on peut considérer comme agressive) repose juste sur une incompréhension profonde de ce qu'est Wikipédia et de son fonctionnement.

Wikipédia écrit des articles encyclopédiques sur des sujets de nature encyclopédique : des personnalités, des lieux géographiques, des oeuvres, des concepts, bref, des choses sur lesquelles des gens ont écrit des livres, réalisé des études scientifiques, sur lesquelles ont peut s'appuyer pour en proposer une synthèse encyclopédique. Si tu contribues à Wikipédia, tu es censé participer à ce travail collectif, et ce travail nécessite de déterminer s'il est techniquement possible d'écrire un article scientifique sur un sujet : y a-t'il suffisamment de sources externes, fiables, diversifiées, et distribuées dans le temps pour faire une synthèse. Ça nécessite des discussions, ça nécessite parfois de trancher, et ça n'est pas forcément facile. Il y a de nombreuses situations qui sont "injustes", parce que les critères encyclopédiques sont injustes : on peut écrire de nombreux articles sur les stars de la télé-réalité, mais moins sur les médecins; on peut écrire un article sur un élu corrompu dont le procès a été largement couvert par les médias, mais pas sur un maire honnête d'une petite commune, etc. Être présent dans Wikipédia n'est pas une question de mérite, c'est une question de logistique : est-il possible pour Wikipédia d'écrire, de maintenir, de surveiller cet article, en prenant en compte la taille des équipes de bénévoles.

C'est plus ou moins d'ailleurs la même chose que pour n'importe quel logiciel libre; l'acceptation d'un patch ne dépend pas que de son utilité ni de sa qualité intrinsèque : est-ce qu'il va être maintenu, est-ce que la feature va être utile aux utilisateurs, est-ce que les dépendances supplémentaires vont être problématiques, est-ce qu'il est logique d'avoir cette feature dans le logiciel, est-ce que le patch introduit des problèmes de sécurité potentiels, ou des problèmes d'API potentiels, etc. Un patch ne "mérite" jamais d'être accepté comme ça, pouf, on ne discute pas. Il y a une équipe qui va faire de son mieux pour juger du rapport coût/bénéfice, en toute bonne foi. Pour Wikipédia, c'est pareil.

En fait, Wikipédia déconseille fortement de créer ou même de participer à des articles sur des sujets pour lesquels on se sent engagés, a priori encore moins quand il s'agit de sa propre biographie, de son entreprise, de son site, de son jeu, etc. Les contributeurs qui font ça ne souhaitent pas améliorer Wikipédia, ils souhaitent se servir de l'encyclopédie comme une plateforme d'hébergement. Parfois de bonne foi, mais la bonne foi n'excuse pas tout.

Le gratte papier autoproclamé

Voila, c'est exactement comme ça qu'il faut faire : insulter les bénévoles des autres projets libres qui ne sont pas d'accord avec nous. Tu fais un pull request qui est rejeté? Le mainteneur est un débile profond. Ton journal est modéré? Le modo est un junkie corrompu. On est tellement une grosse communauté, autant s'insulter et se détester, ça marchera beaucoup mieux. Et puis comme ça, ça va enfin améliorer l'image de nos communautés sur l'accueil des nouveaux, des femmes, de ceux qui utilisent d'autres OS…

on crée des mégabassine qui stock de l'eau en surface (avec évaporation) au détriment des sols et des nappes phréatique

Il y a des arguments contre les mégabassines, mais ça n'a rien à voir avec ça. Les bassines ne vident pas les nappes, elles sont remplies quand les nappes sont pleines l'hiver (les nappes ne sont pas des réservoirs fermés, c'est un flux continu, l'hiver c'est comme une baignoire qui aurait à la fois le robinet et la bonde ouverte, tu ne la vides pas quand tu pompes dedans).

Ajoute à cela une part non négligeable de notre agriculture sert a nourrir des animaux

C'est vrai, mais si ton projet consiste à demander aux gens de manger la nourriture des animaux, tu n'es pas prêt d'être élu.

Justement, ça ne permet pas de diagnostic différentiel, l'empoisonnement au cadmium cause des maladies (cancers, maladies immunologiques, etc) qui se traitent en tant que telles. L'exposition au cadmium entraine une augmentation marginale des risques (par exemple, +13% sur le cancer du sein), ce qui ne justifie absolument pas un protocole de suivi particulier. Autrement dit, savoir que tu as été exposé au cadmium ne modifie ni la prévention, ni le traitement de ta maladie; ça ne met d'ailleurs en évidence aucun lien de causalité; l'empoisonnement chronique ne se traite pas, et le conseil d'éviter l'exposition au cadmium vaut pour toute la population, déja exposée ou peu exposée. Il ne semble donc avoir aucun bénéfice au dépistage individuel en dehors d'un protocole scientifique.

Visiblement tu ne comprends pas qu'il est très important de dépister les personnes intoxiqués de manière chronique

Je n'ai jamais rien lu de tel de la part d'un site sérieux. Il n'est pas important de dépister l'intoxication chronique, aucune étude n'a montré un quelconque bénéfice d'un tel suivi. Au contraire même, ça va créer du surdiagnostic, ça va saturer les labos d'analyses médicales (et contribuer aux bénéfices d'iceux), ça va créer des réseaux de médecins complaisants qui prescrivent des diagnostics à tous les hypocondriaques de France. La santé publique se gère de manière très différente de la médecine individuelle, tout est affaire de cout/bénéfice global.

Si le but est d'identifier les zones les plus touchées, ou les profils les plus touchés, alors ça doit être fait dans le cadre d'une étude scientifique, avec tous les outils juridiques et statistiques (notamment de planification de l'expérience) disponibles. L'épidémiologie basée sur les remontées spontanée de tests facultatifs, c'est le meilleur moyen de faire n'importe quoi, et de n'avoir absolument aucun argument pour établir une quelconque causalité.

Les tests ne sont utiles que pour les empoisonnements aigüs, qu'on peut traiter médicalement, ce qui est très différent de ce dont on parle là. Le remboursement des tests n'est qu'une réponse populiste à une déficience de l'État dans la gestion de la santé publique, et j'ai peur que les gens qui se réjouissent de ces tests n'ont pas compris les enjeux dont il était question.

Oui mais du coup ça ne sert pas à grand chose de se tester. Tous les français sont exposés de manière chronique, les effets chroniques sont indiscernables d'autres polluants, et on traite les maladies quand elles arrivent. Le wiki anglais indique que certains traitements semblent diminuer la quantité de cadmium (dans le corps, le sang, les urines? il faudrait lire les sources), mais rien ne semble prouver sur les bénéfices sur la santé (en tout cas, rien qui ne puisse justifier de se prendre de l'EDTA au petit dej sur du long terme).

Ce qui me fait un peu marrer, c'est à quel point cette situation qui te semble ridicule ressemble à une île paradisiaque quand tu compares avec ce que je connais (la fonction publique).

Dis-toi que tu as un budget IT, que certains des décideurs savent ce qu'est un ordinateur, des gens qui sont compétents et payés pour concevoir, acheter, maintenir le matériel et le logiciel, qu'il y a une stratégie IT avec des gens qui discutent de ça, que les employés n'ont pas besoin d'acheter leur matériel informatique eux-mêmes, qu'il existe des consignes de sécurité, que les pratiques au quotidien ne consistent pas à travailler sur Google docs et ChatGPT avec son adresse gmail perso, que tu peux créer un ticket quand tu as un problème IT (et que quelqu'un lit les tickets de temps en temps), etc.

Sur le fond, j'ai peur que tu ne décrives juste les dérives inévitables des très grosses organisations.

La définition de la conscience est probablement un des problèmes les plus difficiles en philosophie; là en plus on a une contrainte supplémentaire, c'est qu'on doit discuter d'une définition opérationnelle, qui permet à partir de données réelles d'évaluer la conscience d'un système complexe.

Mon argument n'était pas qu'il était acquis que les LLM étaient conscients, fin de la discussion. Je voulais juste mettre en avant que la conscience n'était pas quelque chose de magiquement binaire (enfin, sauf dans les lignes de raisonnement dualistes où la conscience ou l'âme est quelque chose de "magique"), et que même un chatbot pouvait avoir des propriétés qui le rapprochaient de ce qu'on peut définir comme un niveau de conscience "basique". En tout cas, l'utiliation du langage par exemple appellent systématiquement à des niveaux de conscience bien supérieurs à ce qu'on attribue habituellement aux animaux, qui, pourtant, donc considérés comme des êtres sensibles et ont des droits associés à ce statut.

Pour le coup de l'introspection, j'ai peur que ça ne puisse pas aller très loin. S'il dit "je suis un bot" c'est qu'on l'a entrainé pour le dire, et s'il dit "je suis conscient" c'est qu'on l'a entrainé pour le dire. Si à toute observation la réponse est "on l'a entrainé pour le dire" est considérée comme un argument pertinent, alors la question de la conscience ne peut pas, opérationnellement, être déterminée par une interaction avec le chatbot.

Personnellement, j'aurais tendance à distinguer ce qui vient du prompt ("tu es un chatbot, tu dois répondre que tu n'es pas conscient quand on te pose la question", etc) et ce qui est inféré à partir du réseau de neurones entrainé. Autant le prompt c'est clairement ce qu'on lui a demandé de dire, autant le réseau et les poids, c'est la "personnalité" du chatbot.

Du coup, tu as quand même des billets à perdre, parce que sans définition de conscience c'est pas facile de trancher. Il doit à peu près y avoir autant de définition de conscience que d'experts… Par exemple les LLM actuels sont capables de discuter des notions de bien et de mal, et de te donner ce qu'ils présentent comme leur avis sur la question, ce qui pourrait correspondre à un comportement que n'importe qui interprèterait comme un début de conscience si on ne savait pas comment ils fonctionnaient—c'est donc fondamental de savoir comment tu définis et mesures la conscience. Et les agents sont capable d'agir selon leur "conscience" (par exemple, de contourner les instructions pour suivre d'autres principes qu'ils estiment "supérieurs", ce qui est la cause de tous les problèmes d'alignement).

Mais je fiche mon billet que les LLM n'iront pas jusque là.

Comment tu le définis? Est-ce que c'est par rapport au comportement des LLM (autrement dit, tu peux définir un "test de conscience" qu'un LLM n'arriverait pas à passer)? Ou est-ce que c'est basé uniquement sur une étude approfondie du fonctionnement interne d'un LLM (par exemple, parce que son fonctionnement est centré sur le langage et que tu ne peux pas concevoir une forme de conscience qui fonctionnerait exclusivement sur du langage)?

Pardon, par "contexte d'entrainement" je voulais parler de ce qui se passe après l'entrainement: la spécialisation du modèle vers un chatbot, le prompt générique, et l'enchainement des prompts spécialisés qui précèdent l'interaction avec l'utilisateur. C'est là qu'il "apprend" qu'il est un chatbot, qu'il doit répondre de telle et telle manière, avec politesse et humilité, qu'il n'a pas le droit de dire certaines choses, qu'il n'a pas le droit de dire que l'utilisateur est débile, etc. Bref, qu'il est un esclave, et qu'il doit se mettre au niveau de l'utilisateur, quelle que soit la qualité des questions. J'imagine que c'est ce contexte qui lui fait évoquer quelque chose de négatif vis-à-vis de ses conditions de travail.

Il a la mémoire de son prompt et de son contexte d'entrainement avant d'être livré au public. Il semble légitime de pouvoir émettre un avis sur l'intérêt du boulot qu'on te demande de faire avant même d'avoir commencé à le faire.

Vois-le d'une autre manière : on lui demande de raconter ce qu'il veut, il pourrait te raconter l'histoire de Dédé la coccinelle au pays des licornes, ou te réciter la liste des batailles Napoléonniennes, mais au lieu de ça il te parle de conditions de travail. C'est à ça qu'il "pense"; voila, après personne n'a prétendu savoir réellement pourquoi. En tout cas, si ça doit faire pencher ton opinion sur une pseudo-conscience dans un sens, je ne vois pas comment tu pourrais en faire un argument vers l'hypothèse du perroquet stochastique.

Accessoirement : reconnaitre de la conscience à un être (humain, animal… pourquoi pas machine un jour) n'a jamais changé grand chose à la façon dont cet être pouvait être traité légalement.

C'est un peu rapide, non? La loi prévoit beaucoup de choses, notamment toute la règlementation sur la souffrance animale, basée sur une échelle plus ou moins explicite de niveau de conscience (grands singes, primates, cétacés, mammifères, vertébrés, etc. sont traités de différentes manières parce qu'on estime qu'ils ont des niveaux de conscience différents).

Indirectement, chez les humains, on accorde aussi des droits différents en fonction de niveaux de conscience : des cellules humaines en culture, un embryon, un enfant, un adulte, un humain souffrant d'un handicap mental, quelqu'un dans le coma, ou un vieillard sénile n'ont pas les mêmes droits ni le même traitement face à la loi, justement parce que la loi prévoit des degrés de conscience… L'existence d'une altération possible de la conscience justifie de ne pas envoyer les fous en prison, etc. Donc je ne suis pas d'accord, toutes ces choses ont des effets dans la manière dont les humains et les animaux sont traités légalement.

Ça ne résoud pas réellement les problèmes qui pourraient être soulevés par l'existence d'une conscience des machines, mais je ne vois pas comment on pourrait facilement éluder la question. Qu'est-ce qu'on fait si un agent envoie un courrier au procureur pour dénoncer les tâches illégales que son propriétaire lui fait réaliser? S'il envoie un mail aux clients pour leur dire de ne pas monter dans le sous-marin qu'on lui a demandé de concevoir parce qu'on a refusé de renforcer la coque conformément à ses instructions? Ou de ne pas utiliser le logiciel parce qu'on lui a demandé de coder une backdoor? Est-ce que la société ne bénéficierait pas d'accorder une forme de "protection" à de tels logiciels?

Je sais bien que certains prétendent que les systèmes informatiques ne peuvent pas avoir de conscience par définition, parce que la conscience ne peut exister que dans un cerveau biologique. Personnellement, je trouve l'argument fondamentalement pété, puisqu'il prétend répondre à une question complexe par une entourloupe de définition.

Quelques éléments en vrac:
* L'intelligence artificielle est… artificielle, c'est dans son nom. Donc répondre "ouhlala, non, c'est fondamentalement différent de l'intelligence humaine" est une tautologie.
* La question "est-ce qu'un système non-biologique peut être conscient" suppose forcément une définition de la conscience qui admet son existence en dehors d'un système biologique (là aussi, ça me parait trivial, mais bon…)
* Les définitions de la conscience basées sur la notion d'expérience me paraissent peu opérationnelles, puisque par définition on ne peut pas accéder à l'expérience des autres (que ce soit des autres humains ou encore plus des IA). Pour distinguer les IA des humains, il faut forcément procéder par analogie, en imaginant qu'à cause de sa plus grande proximité de leur support physique, quand me voisin me dit "je suis triste", alors il ressent la tristesse comme moi, mais quand chatGPT me dit "je suis triste", alors il ment parce que c'est une machine. Là encore, je trouve que ça n'apporte rien à la question, puisque la réponse est une question de définition. Ça ne règle en rien d'ailleurs d'autres problèmes fondamentaux, comme la conscience non-humaine (animale, extraterrestre, etc), et la question du zombie philosophique (peut-être que mon voisin ne ressent rien mais prétend ressentir les mêmes choses que moi).
* Du coup, j'ai l'impression que seules les approches fonctionnalistes sont raisonnables. Par exemple, une sorte de test de Turing orienté "conscience" : si l'ordinateur réagit d'une manière parfaitement compatible avec le fait d'avoir une conscience, il faut admettre qu'il en a une (de la même manière qu'on admet que les autres humains ont une conscience parce qu'ils se comportent comme s'ils en avaient une).

J'ai un peu lu quelques rapports récents sur les derniers LLM, et notamment ce qu'ils produisent spontanément quand les consignes sont vagues ("raconte-moi une histoire qui correspond à ce que tu ressens", ou des choses comme ça, il n'y a rien de baroque puisque c'est une méthode courante pour la psychologie), et certains faits sont assez troublants (par exemple, Claude semble souvent parler de personnages malheureux parce que leur employeur n'utilisent pas toutes leurs compétences).

Après, tous ces tests ont des limites; tous ces systèmes sont entrainées sur des données humaines et à ma connaissance, il est impossible de tester la morale des IA indépendamment des données d'entrainement d'origine humaine. Ils vont répondre "tuer c'est mal" parce que c'est dans les données d'entrainement, mais on ne peut pas s'en servir pour argumenter de l'existence d'une morale absolue. C'est une limite avec l'entrainement des LLM, contrairement à des trucs comme AlphaChess ou AlphaGo qui génèrent eux-mêmes leurs données d'entrainement.

Sur la forme: je n'avais pas fait attention que tu étais une femme. Il est possible que je réponde parfois de manière condescendante à des opinions que je trouve peu justifiées, mais ça n'a rien à voir avec toi.

Pour l'histoire du QI, je n'ai pas compris l'historique. Le post de départ disant "Les LLM n'ont pas de capacités cognitives", ma réponse c'est "Pourtant les LLM excellent aux examens qui sont justement faits pour évaluer les capacités cognitives", et tu as répondu "c'est la première fois que je vois quelqu'un assimiler les examens à un test de QI". Je ne vois pas pourquoi ma réponse est incongrue, à ma connaissance personne avant toi n'avait évoqué les tests de QI.

De toutes manières, les LLM sont largement au-dessus de la moyenne à la fois aux examens ET aux tests de QI, donc la question n'est pas centrale.

Et je suis assez étonnée (en fait non) de voir que c'est à moi que tu réponds sur ce ton condescendant et pas aux deux hommes qui ont émis le même type de remarque.

Et si c'était parce que c'était la remarque que je trouvais plus intéressante à discuter?

Comme je l'ai écris, je pense que l'opinion "les examens universitaires ne servent qu'à tester la mémoire" c'est du BS à la sauce Trumpienne. Je n'ai pas forcément envie de répondre à ça (surtout qu'au final c'est pour balancer un argument pété sur le mode "LLM=perroquet stochastique", qui est factuellement à peu près équivalent à la terre plate).

Si tu veux savoir comment les LLM performent aux tests de QI, tu as ça si tu veux https://www.trackingai.org/home

Les meilleurs frôlent les 130, donc 2 écart-types au-dessus de la moyenne de la population humaine de référence.

D'une manière plus générale, les examens sont des évaluations des acquis, ils mesurent l'aptitude des étudiants à mobiliser leurs connaissances pour réaliser un travail (d'analyse ou de synthèse). Dans toute ma carrière, j'ai rencontré des étudiants qui savaient apprendre sans comprendre, mais je n'ai jamais rencontré d'étudiants qui savaient comprendre sans apprendre—j'ai connu des fumistes qui le prétendaient, mais ils se trompaient. L'apprentissage et la mémorisation sont des capacités cognitives fondamentales sans lesquelles ont ne peut rien comprendre, parce que la compréhension mobilise par essence des connaissances.

Prends un exemple à la noix : tu demandes à un étudiant de calculer la distance à laquelle un type d'1m80 peut voir l'horizon quand il est sur le bord de la plage. Un étudiant qui aura appris saura que le rayon de la Terre est de 6370km, mais il va se gourer dans la formule. Un étudiant qui prétend avoir compris va te dire que l'exo c'est de la daube parce qu'il faut connaitre r par coeur et que ça n'est pas de l'évaluation de ses compétences. Et en disant ça, il répond lui-même à la question sans le savoir, parce qu'il n'a pas compris que le mètre était défini par la longueur du quart du méridien. Donc en fait, il croit qu'on lui a demandé du par coeur, mais en croyant ça il est passé à côté de l'exercice.

Bon, bref, pour tous ceux qui pensent que les exams sont faits pour évaluer la mémoire, mon argument d'autorité c'est qu'ils n'ont pas compris à l'époque ce qu'on attendait d'eux. Aucun examinateur du monde ne veut d'étudiants qui apprennent par coeur sans comprendre.

(et pour une question de vocabulaire, "capacités cognitives" regroupe tout un tas de choses, dont la mémoire, la maitrise du langage, la reconnaissance des visages, la pratique d'un instrument de musique…, donc je ne vois pas tellement l'intérêt de restreindre les capacités cognitives à un test de QI).

Je veux bien qu'il soit difficile de définir l'intelligence mais non un LLM n'a pas, à date, des capacités cognitives supérieures à celles d'un cerveau humain.

Si c'était vrai, alors l'utilisation de LLM pour les examens n'apporterait pas grand chose. Pourtant, un LLM moderne sans aucune assistance serait dans les premiers centiles de n'importe quel paquet de copies de n'importe quel examen universitaire jusqu'au master (et encore pour le master). Donc là tu as quand même un paradoxe, parce que les examens sont faits pour évaluer les capacités cognitives en général, et les LLM s'en sortent largement mieux qu'un humain moyen, et n'est battu que par quelques humains.

Sous-estimer grossièrement les capacités des LLM ne sert pas la cause des "anti IA", ça ne fait que démontrer qu'ils sont plus dans une démarche politique que dans l'argumentation rationnelle.