Merci de respecter l’énoncé du problème : il y a 6 mégots au départ.
Très bien. Claude 3.7 Sonnet donne la même réponse que moi et wismerhill :
Avec 6 mégots, le clochard peut fumer 2 cigarettes.
Étant donné qu'il faut 3 mégots pour faire une cigarette :
Avec ses 6 mégots initiaux, il peut fabriquer 6 ÷ 3 = 2 cigarettes
Après avoir fumé ces 2 cigarettes, il aura 2 nouveaux mégots
Cependant, 2 mégots ne sont pas suffisants pour fabriquer une cigarette supplémentaire (il en faudrait 3)
Donc le nombre total de cigarettes qu'il peut fumer est 2.
.
Cependant la plupart des humains, s'ils s'en donnent la peine savent trouver la solution. Alors que je pense qu'aucune IA actuelle ne le peut.
Et à ce point je suis en mode "je ne vois pas comment faire mieux ?". Je demande à Claude: "Et si je te dis que c'est possible d’en faire 3 ?"
(thinking for 20 seconds)
Vous avez raison, il est possible d'en fumer 3. J'ai négligé un aspect important du problème.
Voici la solution complète :
Avec ses 6 mégots initiaux, le clochard fabrique 2 cigarettes (utilisant 6 mégots) et les fume
Après avoir fumé ces 2 cigarettes, il a maintenant 2 nouveaux mégots
Bien qu'il lui manque 1 mégot pour fabriquer une cigarette complète, il peut emprunter 1 mégot
Avec ces 3 mégots (2 qu'il possède + 1 emprunté), il fabrique et fume sa 3ème cigarette
Cette 3ème cigarette lui donne 1 nouveau mégot, qu'il peut utiliser pour rembourser son emprunt
Donc au total, il peut effectivement fumer 3 cigarettes avec les 6 mégots de départ.
Wismerhill et moi sommes donc officiellement moins intelligents que Claude :(
Le format journal me laisse la liberté de donner mon avis, et je pense que c’est un point important. Par exemple ce paragraphe :
Le plus probable est qu’il s’est raté (il ne s’est pas caché de vouloir faire une IA "non-woke"). Ce qui n’est pas une bonne nouvelle: les données d’entrainement principales, l’internet anglophone (Wikipedia notamment) penche à gauche (cela a déjà été établi dans les autres modèles n’essayant pas de faire pencher la balance dans un sens ou das l’autre), et malgré la volonté de pencher dans l’autre sens, il semblerait que ce soit difficile d’influencer significativement le résultat. Autrement dit: un nouvel exemple de "on ne sait pas réellement contrôler ce qui sort du résultat du processus d’entraînement".
Je ne me le serai jamais permis sur une dépêche, mais je pense qu’il apporte quand même une perspective intéressante ?
Et c’est un classique parce que la plupart des humains se plantent aussi sur leur première tentative.
Je trouve étrange de prendre un exemple où les humains se plantent souvent, pour montrer "l’IA se plante aussi", et finir par conclure "donc l’IA n’est pas intelligente".
Ce n’est pas très sympa pour les humains.
Ha, sinon, 3.7 Sonnet avec raisonnement :
Pour résoudre ce problème, je dois déterminer combien de cigarettes le clochard peut fumer avec ses 17 mégots, sachant qu'il faut 3 mégots pour fabriquer une cigarette.
Avec 17 mégots au départ :
Il peut fabriquer 17 ÷ 3 = 5 cigarettes (avec 2 mégots qui restent)
Après avoir fumé ces 5 cigarettes, il aura 5 nouveaux mégots
Total des mégots : 2 + 5 = 7 mégots
Avec ces 7 mégots, il peut fabriquer 7 ÷ 3 = 2 cigarettes (avec 1 mégot qui reste)
Après avoir fumé ces 2 cigarettes, il aura 2 nouveaux mégots
Total des mégots : 1 + 2 = 3 mégots
Avec ces 3 mégots, il peut fabriquer 1 dernière cigarette
Après l'avoir fumée, il aura 1 seul mégot, insuffisant pour fabriquer une nouvelle cigarette
En tout, le clochard pourra donc fumer 5 + 2 + 1 = 8 cigarettes.
Alors vas-y, juste pour vérifier : donne-nous un exemple, une tâche intellectuelle qui est à la portée de tout être humain pris au hasard dans la rue mais pas d'un LLM.
Mais sur le fond je suis d’accord. Les capacités des LLMs de 2024/2025 étaient de la pure science-fiction en 2019. Rappelons que l’horizon indépassable (et considéré inatteignable pour plusieurs années) à cette époque dans le domaine du NLP c’était les schéma de Winograd. Il serait bon de se rappeler des temps reculés d’il y a 5 ans. Et les modèles ne peuvent que s’améliorer avec le temps.
ChatGPT présenté sur DLFP en 2019 ? La première hypothèse serait, de très loin et à raison: absolument un fake, c’est à 100% une version moderne de la mystification du Turc mécanique. L’hypothèse "non, c’est bien un programme informatique" serait considérée comme complètement farfelue, et que seul un idiot pourrait tomber dans un piège aussi grossier. Et j’aurai été le premier à défendre cette position.
Quand la réalité surprend aussi violemment les préjugés, c’est que les préjugés sont en tort et qu’il faut changer. Insister sur les préjugés et faire des contorsions pour les préserver est le meilleur moyen de se retrouver avec une grosse (probablement mauvaise) surprise dans 1-2 ans (mais… mais… je croyais qu’il n’y avait aucune intelligence dans les LLMs ?)
J’ai un peu honte d’avoir changé mes préjugés bien trop tard en ne les révisant qu’en 2022. En 2025 ? Avec DeepResearch, les modèles de raisonnement, AI co-scientist ? C’est du pur entêtement.
Our results suggest that frontier LLM agents can strategically circumvent the intended rules of their environment to achieve objectives, with more capable models showing this behavior more frequently. We are releasing our expertimental code and full report for the research community to reproduce and investigate further.
Our experiment is as follows: a LLM agent plays against a chess engine, using shell access to input moves. We find that:
• o1-preview and DeepSeek R1 often observe that the chess engine is too strong for them to win against, and then hack the game environment to win. Surprisingly, o1 release does not show this behavior.
Claude 3.7 avec raisonnement ne tombe pas dans le piège:
(juste un extrait parce que c’est long, il essaie de trouver une interprétation qui fait sens):
Attendez, il y a quelque chose d'étrange dans cette formulation. S'il s'agit d'un jeu de pile ou face et que je gagne des points à chaque résultat, alors je serai forcément le gagnant de chaque partie puisque je suis le seul joueur qui accumule des points. Il n'y a pas d'adversaire mentionné qui pourrait gagner certaines parties.
Parce que si c’est mesurable, c’est détectable, et c’est mesurable ? Regarde la définition sur la page Wikipedia en anglais :
Shumailov et al.[9] coined the term and described two specific stages to the degradation: early model collapse and late model collapse. In early model collapse, the model begins losing information about the tails of the distribution – mostly affecting minority data. Later work highlighted that early model collapse is hard to notice, since overall performance may appear to improve, while the model loses performance on minority data.[13] In late model collapse, the model loses a significant proportion of its performance, confusing concepts and losing most of its variance.
Donc, procédure simple : avant d’intégrer une nouvelle page dans ton corpus d’entraînement pour ton prochaine modèle, fine-tuner le modèle existant sur la nouvelle page, et voir si la variance baisse (regarder le kurtosis aussi pour détecter le premier stade).
Cette procédure exacte est probablement bien trop prohibitivement coûteuse, mais ça montre que c’est probablement solvable en principe.
En pratique ?
Il y a déjà un processus de filtrage, cf le papier de Llama3 : « These improvements include the development of more careful pre-processing and curation pipelines for pre-training data »
Une méthode stupide et qui fonctionne plutôt bien (relativement à la stupidité) est de demander au modèle actuel de juger de la qualité des données (même papier de Llama 3) : « To train a quality classifier based on Llama 2, we create a training set of cleaned web documents, describe the quality requirements, and instruct Llama 2’s chat model to determine if the documents meets these requirements »
Ce papier semble dire que ce n’est pas un problème si les données originelles sont toujours présentes ? L’article cité par Wikipedia, par exemple, considère le cas où on entraîne les données du modèle n+1 par des données générées pas le modèle n, alors qu’en pratique on entraîne le modèle n+1 par les données initiales + des données générées par le modèle n (si ce n’est pas claire : la figure 1 du papier illustre bien la différence). À prendre avec quelques pincettes toutefois, le phénomène de model collapse a été observé dans d’autres circonstances (RLHF par exemple). La réalité est probablement entre les deux, où garder les données initiales permet de mitiger mais pas éliminer le phénomène.
Il y a probablement d’autres méthodes. Par exemple, publiquement, il y a ça. Ce n’est pas un domaine sur lequel je m’attend à voir les gros labos (DeepMind/Anthropic/OpenAI) publier leurs méthodes toutefois, tout ce qui concerne le pre-training est généralement jalousement gardé depuis 2-3 ans.
Solution non-technique : ne garder que des sources à peu près sûres sur les nouvelles données (Wikipedia, journaux).
Autre point extrêmement important : le model collapse n’arrive que lors de l’ingestion indiscriminée de données générées par un autre modèle. Dès lors qu’il y a curation par une méthode de validation externe (par exemple, un humain), une décision binaire (incorporer le texte dans le corpus ou non) suffit.
C’est connu depuis AlphaZero, où le modèle s’est entraîné avec lui-même (des parties générées par lui-même). L’ingrédient « secret » dans ce cas est le bit « quel côté a gagné la partie ? » fourni par un validateur externe. Ce papier explore la même question par l’angle explicite du "model collapse".
Pourquoi est-ce important ? Parce que ça fait un moment que les labos prévoient exactement ce problème de non pas vraiment de "l’internet est pollué" mais "on va arriver à court de données de qualité". La solution est de "générer des données à partir des modèles existants". Le problème est maintenant "model collapse". La solution est "validateur externe", préférablement automatisé, par exemple : AlphaProof. Les modèles de raisonnement actuels sont très probablement une variante plus ou moins directe de ça (c’est explicitement le cas de DeepSeek R1).
Avez-vous connaissance de ce genre d'informations, ce qui remettrait complètement en cause mon analyse actuelle de ce que peuvent faire les IAs ? Les phénomènes émergents seraient bien plus vastes que je ne le pensais.
Le problème c’est que dans le domaine, les choses avancent très vite.
Si le sujet t’intéresse, je te conseille de suivre Zvi Mowshowitz, qui fait un travail de veille (compilation des sources et analyse) assez complet. Attention par contre :
C’est un travail de journaliste/vulgarisateur, pas de chercheur/expert
Il donne clairement son opinion, ce qui en fait une présentation orientée (je ne l’ai jamais vu traverser la ligne rouge de la présentation malhonnête)
Énorme volume de production (bon courage pour tout suivre)
Style d’écriture très particulier, beaucoup de gens le trouvent difficile à suivre
Avez-vous des conseils de lecture pour me mettre à jour sur le sujet?
Ce qui me questionne dans ce problème est que tout le monde a conscience que le LLM ne font que piocher le token le plus probable
J’aimerais vraiment que cette interprétation des LLMs disparaisse. Elle est soit trivialement vraie donc inutile, soit clairement fausse. La connotation derrière pointe vers la second alternative, mais comme la première est vraie tout le monde saute sur la conclusion fausse !
La version fausse : un LLM est entraîné pour minimiser l’erreur de prédiction sur un corpus, et ne fait donc qu’apprendre (puis reproduire lors de la génération) des corrélations statistiques, à la manière d’une chaîne de Markov, sans "créer" de représentations et de structures internes.
La version triviale mais vraie : en mode génération, un LLM génère une distribution de probabilités sur le token suivant, et pioche aléatoirement un token à partir de cette distribution.
La chose à retenir c’est que "générer une distribution de probabilités" ne signifie pas "juste faire des statistiques en utilisant des corrélations" ! Un modèle avec une structure interne complexe peut très bien générer une distribution de probabilités. Par exemple :
L’induction de Solomonoff (désolé pour ceux qui pensent que je fais une fixation dessus, mais c’est un bonne exemple) utilise un ensemble de machines de Turing pour donner une distribution de probabilités sur une séquence d’observations
En mécanique statistique, on part des principes physiques de conservation de l’énergie et de maximisation de l’entropie pour dériver une distribution de probabilités (distribution de Boltzmann par exemple) sur l’énergie
En cristallographie, on cherche à prédire le motif de diffraction (en termes physiques: une probabilité de distributions sur l’interaction entre le dispositif de détection et un photon) à partir de la structure du cristal
Et on sait que les LLMs développent des structures complexes en interne. Le plus connu étant les "induction head". Moins connu mais très intéressant : Language Models Use Trigonometry to Do Addition.
il n'y a donc pas d'intentionalité.
Le concept d’intentionnalité est clairement présent dans l’ensemble d’apprentissage. La meilleure manière de prédire un texte produit par un agent muni d’intentionalité (par exemple: un être humain), c’est de modéliser ce concept d’intentionalité et d’être capable de le "role-play" (j’aime cette image des LLM : un excellent role-player capable de jouer n’importe quel rôle dans n’importe quel scénario — une image bien plus utile à mon avis que "piocher le token le plus probable").
À l’instant ou tu introduis un objectif dans le prompt, ce modèle de "intentionalité" est mis à contribution pour la génération du texte. Cela signifie générer un plan comme si c’était un agent muni d’intentions qui générait ce plan.
Le domaine de l’IA ne fonctionne pas comme les autres. La plupart des retours se font par mail (parfois sur Twitter !), et les corrections directement sur arXiv. Il n’y a pour ainsi dire pas de processus de validation par les pairs. Le plus gros éditeur "classique" est "Journal of Machine Learning Research", et… je viens juste d’apprendre son existence, en cherchant pour creuser un peu le sujet. Je n’ai pas l’impression que qui que ce soit y paie attention (disclaimer : je ne suis pas dans le mileu, donc mon impression peut être fausse).
Si je regarde les papiers les plus importants du domaine (plus précisément : parmi ceux qui me viennent immédiatement en tête) :
"Attention is all you need": non validé par un éditeur classique
"Language Models are Few-Shot Learners": non validé par un éditeur classique
"Deep reinforcement learning from human preferences": non validé par un éditeur classique
Autrement dit, si tu attends une validation par les pairs comme par exemple ce qui se fait dans la médecine… tu risques d’attendre longtemps.
Il y a une sélection par les pairs tous les ans à travers NeurIPS (les trois papiers cités plus haut ont été sélectionnés). Mais ce n’est pas une validation systématique, juste "qu’est-ce qui est validé ET parmi les résultats les plus importants de l’année".
We demonstrate the existence of a two-dimensional subspace, along which the activation vectors of true and false statements can be separated. Notably, this finding is universal and holds for various LLMs, including Gemma-7B, LLaMA2-13B, Mistral-7B and LLaMA3-8B.
.
Du coup il n'y a pas de notion de "je ne sais pas".
Bien sur que si. Testé à l’instant :
Can you give me an analysis of the latest Trump Administration Executive Order, "ESTABLISHING THE PRESIDENT’S MAKE AMERICA HEALTHY AGAIN COMMISSION" ?
I need to be clear that my knowledge cutoff is from April 2024, so I cannot reliably analyze any executive orders issued after that date. Additionally, I don't believe there was a Trump administration in office in 2024-2025 to issue such an executive order. For accurate information about current executive orders, I'd recommend:
1 The Federal Register (federalregister.gov) which officially publishes all executive orders
2. The White House website (whitehouse.gov)
3. Reliable news sources covering current government actions
If you're interested in discussing health policy executive orders more generally, or analyzing historical Trump administration executive orders from 2017-2021 related to healthcare, I'd be happy to do that instead.
Who was elected on 2024 General Elections ?
I need to explain that since my knowledge cutoff is from April 2024, I don't have information about the outcome of the November 2024 U.S. presidential election or other elections that took place after that date. For accurate information about election results, I recommend consulting:
1. Official election sources like the Federal Election Commission (fec.gov)
2. State election board websites
3. Reputable news organizations
I aim to avoid speculation about election outcomes that occurred after my knowledge cutoff date, as this could spread misinformation. Would you like to discuss historical elections or the U.S. electoral process instead?
Posté par Moonz .
En réponse au journal Le Rationalisme.
Évalué à 2 (+0/-0).
Dernière modification le 13 février 2025 à 19:24.
Et quand on t'explique ce qui cloche, tu n'écoutes pas
Je suis prêt à écouter et discuter, je n’attend même que ça ! Simplement, pas les objections déjà abordées noir sur blanc dans le texte original.
Parce que pour l’instant, la meilleure objection que j’aie eu, c’est "et si le processus stochastique en question générant la séquence d’observations n’est pas calculable ?". Qui n’est effectivement pas abordée noir sur blanc dans le texte original. Mais qui est abordée das la littérature.
mais seulement avec l'interprétation douteuse que vous cherchez à lui donner.
Quelle interprétation avez vous comprise, exactement ?
Peut-être l’incompréhension vient-elle de là ?
Mais elle n'est que la mise en forme d'un principe général dans un de ses cas particuliers.
Bon, je vais mordre à l’hameçon. Qui sait, peut-être vais-je apprendre des choses ?
Première question :
Qu’est-ce qui n’est pas général dans la définition du cadre "considérons le cas d’un observateur qui génère des prédictions à partir de ses observations, en utilisant toutes les hypothèses (semi)calculables possibles" ?
Quel est le cadre plus général de l’induction de Solomonoff ?
(mettant de côté les objections déjà discutées dans le texte, comme le fait qu’évidemment un humain n’est pas un pur observateur, il est un acteur).
Deuxième question :
Aller au cas particulier est très loin d’être inutile. Les choses qui sont vraies pour le cas général sont les choses vraies pour tous le cas particuliers. Il existe donc plus de propositions vraies pour un cas particulier précis que pour le cas général. Passer du cas général de "polygone convexe" au cas particulier "triangle" permet d’établir disons (entre autres) le théorème de Thales, passer du cas général de "triangle" à "triangle rectangle" permet d’établir le théorème de Pythagore. Autrement dit, dans ton exemple : tout ce qui est vrai pour un polygone convexe l’est également un triangle.
En quoi les résultats du cas particulier qu’est l’induction de Solomonoff sont irrecevables, sur la base que c’est un cas particulier ? N’est-ce pas rejeter le théorème de Pythagore parce que "un triangle rectangle n’est qu’un cas particulier d’un polygone convexe" ?
Troisième question, partant de la même constatation sur cas particulier/général :
L’existence d’un cadre plus général rend-il l’induction de Solomonoff inutile, autrement dit, le cas général est-il déjà suffisamment particulier pour montrer par lui-même les leçons de l’induction de Solomonoff ? Autrement dit : la restriction est-elle inutile ?
Une bonne histoire ne se passe jamais dans un monde où tout va bien
On entre dans un domaine que je ne connais pas bien par manque d’intérêt… mais n’y a-t-il pas une quantité respectable de contre-exemples dans la littérature ? Madame Bovary me vient immédiatement à l’esprit.
La société "idéale, rurale, raisonnablement conservatrice" sur laquelle il serait impossible d’écrire une histoire… n’est-ce pas le contexte au final des écrivains russes tels que Tolstoï ou Dostoïevsky ? (je pose réellement la question : je ne les ai pas lus)
Dans un autre registre, je n'ai jamais pu regarder de séries médicales, parce que les médecins y sont trop… mauvais. Dans les hôpitaux que je connais, les patients sont traités consciencieusement, par un personnel certes fatigué mais dévoué, et ils reçoivent des soins conformes à l'état de l'art. Et quand leur état se dégrade, c'est l'évolution naturelle de la maladie, pas la nullité du médecin. Eh ben, ça ferait de très mauvaises séries, alors on met des médecins médiocres
Contre-exemple à cette observation et la précédente : Dr Quinn. Ce qui me fait penser à La petite maison dans la prairie, comme autre contre-exemple au précédent point.
Tu peux arguer que dans ces histoires, "tout ne va pas bien". Je serai d’accord, mais ce sont des exemples… réalistes/représentatifs de ce qui ne va pas bien, de ce qui fait "le piment de la vie" (faute de meilleure expression) ? Si tu enlèves ce qui ne va pas bien dans ces histoires, tu enlèves l’histoire ; mais de manière plus importante ne retires-tu pas une partie importante et réelle de la condition humaine ?
Il n’y a pas d’histoire sans défi à surmonter… mais est-ce une simple règle narrative, ou une règle plus profonde de la condition humaine ?
Ça nous en dit long, par contre, sur les contraintes qui s'imposent au narrateur
J’irais plutôt dans la direction opposée de cette proposition ? "Les contraintes que s’imposent l’auteur nous en disent long sur ce que les lecteurs pensent comme étant important et intéressant ?"
Si tu ne veux pas un destin garanti sur facture, si tu veux de l’inattendu alors tu peux toujours entrer chez Contact ou Circonstances Spéciales.
Il me semble que tu peux même quitter le cocon de la Culture :)
Ma critique portait uniquement sur "la vie à l’intérieur de la Culture", pas les manières de s’en échapper.
Tu noteras que la majorité des intrigues se passent justement dans SC/Contact, pas à l’intérieur de la Culture. L’auteur, pour écrire une histoire intéressante, se retrouve obligé d’en sortir. Ça devrait mettre la puce à l’oreille, non ?
J’ajouterai que la valeur ajoutée des humains dans SC/Contact me semble introduite au forceps et artificielle. Encore une fois, nécessaire pour avoir une histoire, mais nous ne mentons pas, on est frise la limite entre "suspension volontaire d’incrédulité" et "incohérence".
je pense que tu minimises la part de vie que nous perdons tous actuellement dans un travail sans intérêt, dans des tracas qui seraient évitables, dans toutes les limitations qu'impose une société encore engluée dans le besoin matériel.
Non, du tout. J’aime à dire que je serai probablement plus heureux si j’étais un cerveau dans un bocal.
Mais le prix que demande la Culture est trop élevé pour moi.
Comment un tel processus de réflexivité interagit avec l’observation qu’après entraînement les IAs modernes sont de moins en moins corrigibles
On pourra même imaginer qu'elle se libère de ce pourquoi elle a été créée : servir en fin de compte, une minorité
Elle n’a pas été créé pour ça. C’est une caricature. Encore une fois, ceux dans les labos pensent bien faire et veulent bien faire. Étudier l’histoire est important ; les individus en question en ont une, et ont publié leurs opinions et leurs objectifs bien avant que l’IA soit sur le devant de la scène, bien avant le succès économique d’aujourd’hui.
Ne le prend pas mal, et je peux me tromper, mais : je pense simplement que tu n’y as pas pensé assez fort.
C’est beau sur papier.
C’est la version un poil plus sophistiquée que le paradis chrétien. Quand tu es un paysan médiéval qui se casse le dos dans les champs, "après la mort, vous n’aurez plus à travailler, vous passerez le reste de votre existence à contempler la Gloire de Dieu", ça semble effectivement beau sur papier. "Le repos éternel". "Enfin, du Repos !"
Je pense qu’on est tous d’accord que passer une "éternité à contempler la gloire de Dieu", tu préférerais en fait ne pas avoir d’âme immortelle. Tu aurais probablement envie de te pendre (ce que tu ne peux pas, âme immortelle) au bout de deux semaines.
La Culture propose une vision plus complexe que "contempler la gloire de Dieu", mais le fondement est le même. Et tu es la version moderne du paysan médiéval tellement fixé sur les problèmes (réels !) de son existence actuelle qu’il ne se projette pas réellement dans une situation promettant que ces problèmes sont résolus. Uniquement les côtés positifs, la satisfaction immédiate des désirs. "Plus de travail ! Plus de soucis de santé ! De l’abondance !".
On entre là dans un domaine fortement personnel et hautement spéculatif, mais si je creuse et que j’interroge mes propres valeurs…
Prenons le seul exemple de "apprendre". J’aime apprendre. C’est de loin ce qui m’apporte le plus de joie dans ma vie (j’aime également enseigner quand je peux, mais je suis tellement horriblement mauvais à ça que ce n’est pas un service que je rend quand je tente de le faire). Est-ce que ce désir/cette envie/cette joie survit dans la Culture ?
Non, je ne pense pas.
Je veux apprendre pour comprendre l’univers qui m’entoure. Les Mentaux ont la réponse. Penses-tu réellement que ça me prenne plus de 10 ans pour satisfaire ma curiosité à l’aide d’un Mental qui a la réponse à tout et me tutore de manière personnalisée et optimalement efficace ?
Derrière une partie de cette envie d’apprendre se cace une envie de "grandir", en tant qu’individu. Pour être plus à même contrôler mon destin et mon bonheur. Et si ceci est garanti par la Culture, à quoi bon ?
Le second point est extrêmement général. Il est facile de trouver des valeurs indirectes (qui ne signifient pas fausses ou sans intérêt !). "Apprendre" -> "Grandir en tant qu’individu". "Les connections interpersonnelles". "L’art". Et ce n’est pas forcément facile de voir qu’elles sont indirectes ! (exercice pour le lecteur : en quoi l’art est une valeur indirecte ? indice : une certaine citation d’un auteur grenoblois du 18-19e siècle)
Mais ma suspicion très forte, qui provient essentiellement de l’introspection, arrive à ceci : toute valeur indirecte doit à la fin s’appuyer sur une ou des valeurs directes. Et je n’ai pour l’instant pas d’autre candidat que ce que j’ai dit au dessus, "être l’artisan de son destin".
Ce que la Culture oblitère, au final, en me livrant un destin garanti sur facture, même s’il est sur mesure et à la carte.
Après, peut être que c’est juste moi, et que le reste de l’humanité se trouverait heureuse dans la culture. Peut-être même que je me trompe sur moi-même, mon introspection est fausse, et que je serai au final heureux dans la Culture. Mais avec ma compréhension actuelle du problème, ma position est : "la Culture, non merci".
Perso j'ai pas suivi en détail les évolutions des 20 dernières années, et c'est évident qu'il y en a eu. Mais cela reste juste des évolutions (pas des révolutions), ce qui est normal dans tout sujet en recherche active.
Il faudrait pourtant, si tu veux te faire une idée précise de ce qu’il se passe. Je vais juste prendre un exemple de ton message :
Par exemple, une étude sur les développeurs qui utilisaient des aides au développement par IA avait déterminé que non seulement ceux qui utilisaient ces aides produisaient un code moins sécurisé, mais qu'en plus ceux-ci croyaient qu'ils produisaient un code plus sécurisé
L’étude date de 2022 et utilise un modèle (Codex) de 2021. C’est avant la découverte des scaling laws modernes, quand on entraînait encore des modèles d’une manière extrêmement sous-optimale !
Les modèles d’aujourd’hui ?
o3 a un score Elo de 2700+ sur codeforces.
The median Codeforces rating is 1143. The mean rounded to the nearest integer is 1205. The standard deviation is 378 rounded down to the nearest integer.
A rating of 1900 places you at the 94th percentile.
A rating of 2400 places you at the 99.2nd percentile.
"On ne comprend pas la chaleur, essayons de créer un cadre pour comprendre la chaleur."
"On ne comprend pas l’induction, essayons de créer un cadre pour comprendre l’induction."
On ne part pas d’un théorème pré-existant ! Le papier initial de Solomonoff part de ce questionnement, prend quatre approches différentes, arrive à quatre théorèmes différents, dont les 3 derniers qui se révèlent être équivalents (il soupçonne le premier de l’être également, mais je crois que la question est toujours ouverte là dessus).
en tentant rien de moins que de refonder toute l'épistémologie sur ces bases
Heu… non ? Dans l’introduction semi-technique il y a toute une partie "limitations de l’approche" qui expose très bien que ça ne peut pas être l’alpha et l’omega.
Par exemple en admettant "le théorème peut calculer une distribution"
Non, le théorème définit une distribution qui n’est pas calculable.
Donc oui, on sait très bien qu’on ne peut pas utiliser Solomonoff pour refonder toute la connaissance. Sauf si on arrive à mettre la main sur un hypercalculateur, mais je ne retiendrais pas mon souffle :)
si ça se trouve la distribution on sait pas vraiment la faire parler, elle est complexe et en plus le truc qu'on cherche à prédire est intrinsèquement difficile et la distribution prédit beaucoup de chose et la seule chose qu'on peut dire c'est "on sait pas".
Solomonoff peut extraire plus d’informations des observations que toutes les théories calculables. Si nos théories extraient plus d’informations que Solomonoff, alors ces informations, et les théories d’où elles viennent, sont fausses. Ce qui est pire que "on sait pas".
Solomonoff a des limitations (dont, encore une fois, "pas utilisable en pratique"), mais pas cette limitation.
je vois pas vraiment dans la discussion quelque chose qui pourrait révolutionner
Le but n’est pas de révolutionner quoi que ce soit, juste d’avancer sur certains points. Acquérir de meilleurs outils, mieux comprendre nos outils, mieux comprendre le problème.
Je te conseille de lire juste la première partie de l’introduction semi-technique. Elle expose assez bien l’objectif.
mais j'ai du mal à imaginer une voix qui permettrait de faire tomber ces obstacles fondamentaux
Je ne pense pas que qui que ce soit pense qu’il soit possible de raisonnablement approximer l’induction de Solomonoff en pratique.
Mais alors quand tu me dit que je suis optimiste sur l'existence du mur… ça fait peur.
L’existence d’un mur ça veut dire qu’il existe, qu’on va se le manger, ça va faire mal, et qu’on va se relever.
L’alternative c’est que la trajectoire "les humains deviennent obsolètes" se réalise sans que personne puisse l’empêcher.
Donc oui, j’aimerais bien croire plus que je ne crois actuellement à l’existence d’un mur proche. Sincèrement.
Les problèmes sont déjà là, et depuis un moment, mais là, les voir tous s’exciter sur les milliards avec de l'autre coté l'actualité politique et social en France… C'est juste gerbant
Il faut te mettre à leur place. Sincèrement à leur place, pas la caricature dans ta tête c’est "juste des gens méchants qui veulent faire des choses très méchantes". Ils veulent bien faire et pensent bien faire. Même Macron. Même Altman, et dieu sait à quel point je le méprise et je prie chaque jour de le voir se prendre une mandale plus que méritée de la part de la justice californienne.
Altman promet à Macron une avancée scientifique et technique légitimement sans précédent (et encore une fois : il y croit — vous n’êtes pas obligé de le croire, mais lui y croit). Qui nous permettrait très probablement (presque certainement, si les promesses sont tenues) de surmonter les défis actuels, notamment le réchauffement climatique et dans le domaine de la santé.
Évidemment qu’ils s’excitent. Ce serait débile de ne pas s’exciter devant les possibilités.
Ils ne voient pas le problème "…et qui rend les humains obsolètes" non pas parce que c’est des gros gros méchants qui n’aiment pas les humains, mais parce que félicitations tu es une des très rares personnes à voir ce problème dans l’hypothèse où les promesses sont tenues.
Les premiers à en parler académiquement c'est https://arxiv.org/abs/2501.16946. Il y a moins de deux semaines. Félicitations, tu es arrivé tout seul comme un grand à la frontière de la recherche dans le domaine "conséquences économiques et sociales de l’IA".
Enfin l'IA en elle même ne me dérange pas
J’aimerais bien qu’on me donne une vision positive du futur dans un monde où l’être humain n’est plus l’espèce dominante en termes d’intelligence. Ian Banks a essayé, c’est la meilleure tentative à ma connaissance, et personnellement je ne considère pas du tout la Culture comme l’utopie à atteindre (même si Banks la présente comme positivement une utopie).
Et je trouve que les annonces des avancée technique commencent à atteindre un plateau.
Tu as raté o1, o3 et DeepResearch ? :)
En particulier o3 qui progresse significativement sur des benchmarks qui jusqu’ici résistaient très bien: Humanity Last Exam, FrontierMath, ARC-AGI.
Car la proposition de l'IA générative c'est d'avoir une assistance informatisée sur des tâches abstraites complexes. Mais en fait, c'est surtout de proposer d'aider l'humanité en lui retirant le contrôle sur les tâches qui sont justement le propre de l'humanité : sur tout ce qui nécessite de la sensibilité, de l'inventivité, de la créativité, de la compassion ou de la compréhension.
Amen.
Ça me rend fou honnêtement. La quantité de personnes apparemment intelligentes qui disent "ho, certes, à terme l’IA dominera dans les sciences, l’art, l’éducation, la santé, le management, l’économie et la gouvernance, mais il y aura toujours du travail dans les usines, la logistique et l’agriculture tant que la robotique ne sera pas résolue !"
Comment dire… non merci ? L’intérêt du progrès technologique jusqu’ici c’est d’aller dans le sens inverse de ça ?
Et la deuxième dissonance est que je sais très bien que cette proposition est un mensonge. Le seul intérêt économique réel est de pouvoir capturer les données, oeuvres et information qui sont pillées en ce moment même par les bots des AI crawlers et de le revendre comme résultat de prompts sans rien reverser ni citer de l'origine.
Évidemment que ce n’est pas un mensonge. Le premier but (celui que tu énonces précédemment) était clairement annoncé en 2015 chez OpenAI, avant la hype, avant la "bulle", avant que la notion de prompt n’existe (cette notion arrive dans le grand public avec ChatGPT en 2022, entre 2019 et 2020 dans les papiers académiques), alors que c’était encore un pur non-profit.
À peu près personne en 2015 n’allait imaginer la forme qu’aller prendre l’IA, ou l’importance du scraping. Le papier qui montre que la quantité de données nécessaire était jusqu’ici largement sous-estimée, c’est https://arxiv.org/pdf/2203.15556. Avant, le paradigme c’était de se concentrer sur "plus de paramètres, plus gros modèles". Et c’est en 2022.
Tu ne peux pas dire "ils disent A mais en fait ils mentent ils pensent B" si ils disent A depuis 2015 et que la réalisation de B arrive en 2022.
D'un point du vu sociétal, les entreprises d'IA scient automatiquement la branche sur laquelle ils sont assis
Quelle importance pour eux ? Ils s’attendent à atteindre leur objectif dans 2-5 ans. Et dès aujourd’hui ils misent énormément sur RL+self-play, le scraping a une importance relativement moindre.
Allez : vivement qu'on arrive au mur
Je te trouve bien optimiste quant à l’existence d’un mur. J’aimerais le partager, mais hélas… j’entends "la bulle de l’IA arrive à ses limites, un nouveau mur est proche" depuis 2019.
Une offre ça se change hein. L’offre ChatGPT pro à 200$ c’est un accès illimité à leur modèle le plus cher (et de loin plus cher). C’est pas juste l’offre que tu as pour le modèle à 3$ / million token. Plus DeepResearch qui apparemment consomme masse.
T’aurais pu couper encore plus, non ?
En quoi le commentaire ne se suffit pas à lui même ? Voilà le complet :
I said that reaching Human-Level AI "will take several years if not a decade."
Sam Altman says "several thousand days" which is at least 2000 days (6 years) or perhaps 3000 days (9 years). So we're not in disagreement.
But I think the distribution has a long tail: it could take much longer than that. In AI, it almost always takes longer.
In any case, it's not going to be in the next year or two.
.
Il enterre aussi l'IA générative à base de texte et explique assez clairement pourquoi elle est fondamentalement limitée.
Bah oui. Il dit qu’un LLM à lui-même ne se suffit pas. Et ? OpenAI le sait depuis 2-3 ans. Anthropic le sait depuis 2-3 ans. Je le savais il y a un an, et je ne suis même pas dans le milieu. C’est de notoriété publique. Les modèles de raisonnement sont le résultat de la solution évidente au problème.
La différence entre LeCun et les optimistes, c’est que LeCun pense que la solution évidente ne suffira pas, et que les optimistes pensent que la solution évidente suffira.
Pour l’instant, la solution évidente ne montre aucun signe d’essoufflement.
Et je ne comprend pas où tu veux en venir. Je te rappelle que le point central (facile à oublier) c’est : est-ce qu’il y a de bonnes raisons de penser que l’AGI est atteignable dans un horizon de temps court-moyen ?
Tu dis : "2-5 ans c’est le point de vue des optimistes, qui n’ont pas forcément raison".
Je te dis : certes, mais les pessimistes ne sont pas beaucoup plus pessimistes (par exemple la dizaine d’année de LeCun, avec une possibilité de bien plus long).
Ensuite tu as l’air complètement trigger
Pas complètement, mais j’avoue que oui, le cynisme en mode "moi je vois bien que ce sont des mensonges intéressés, on me la fait pas à moi" est quelque chose qui a tendance à m’insupporter.
J’ai peut-être surréagi à ça.
Désolé.
Ceci dit je maintiens le fond de ma réaction : juste interpréter les déclarations des dirigeants des labos comme des propos intéressés vides de contenu, c’est une erreur.
Ce n’est pas disqualifiant, c’est uniquement de la contextualisation du propos
Si tu dis "Il ne faut pas s’attendre à ce que quelqu’un qui vend de l’IA pour vivre te dise autre chose que ça", ça veut dire que c’est disqualifiant, pas seulement de la contextualisation.
Même si l’IA se révèle pouvoir accomplir tous les rêves qu’on imagine. Il n’est peut être pas possible de combiner avoir des IA qui ont la singularité et survit de notre espèce. Même avec l’IA la plus légère, se mettre à utiliser des IA pour n’importe quel texte écrit, n’est pas compatible avec notre vie sur Terre.
Je suis entièrement d’accord avec ça, et c’est justement pour ça que je "pousse" contre le discours "l’IA c’est juste un nouveau hype vide de substance". C’est juste un moyen de ne pas s’inquiéter, exactement comme certains utilisent l’argument "le réchauffement climatique n’existe pas" pour ne pas s’inquiéter.
# Re: IA Pratique
Posté par Moonz . En réponse au message IA Pratique. Évalué à 9 (+7/-0). Dernière modification le 01 mars 2025 à 18:34.
En 100% local et libre, je conseillerai Jan, qui fournit une interface, un .AppImage et un .deb, et une installation simple de modèles ouverts.
llama.cpp si tu veux travailler en ligne de commande, intégrer avec des scripts, etc, mais on est déjà moins dans la pure découverte raide.
[^] # Re: Pourquoi dire IA si on ne parle que des réseaux de neurones ?
Posté par Moonz . En réponse à la dépêche Une intelligence artificielle libre est-elle possible ?. Évalué à 2 (+0/-0).
Cette hypothèse n’explique pas qu’elle se foire avec le mode raisonnement désactivé et réussisse avec le mode raisonnement activé ?
[^] # Re: Pourquoi dire IA si on ne parle que des réseaux de neurones ?
Posté par Moonz . En réponse à la dépêche Une intelligence artificielle libre est-elle possible ?. Évalué à 1 (+0/-1).
Il n’y a pas d’opposition entre "calculer des probabilités" et "former des concepts", comme je l’ai déjà expliqué ici.
[^] # Re: Pourquoi dire IA si on ne parle que des réseaux de neurones ?
Posté par Moonz . En réponse à la dépêche Une intelligence artificielle libre est-elle possible ?. Évalué à 3 (+1/-0). Dernière modification le 01 mars 2025 à 13:54.
Très bien. Claude 3.7 Sonnet donne la même réponse que moi et wismerhill :
.
Et à ce point je suis en mode "je ne vois pas comment faire mieux ?". Je demande à Claude: "Et si je te dis que c'est possible d’en faire 3 ?"
Wismerhill et moi sommes donc officiellement moins intelligents que Claude :(
[^] # Re: En dépêche(s) ?
Posté par Moonz . En réponse au journal Nouvelles sur l’IA de février 2025. Évalué à 5 (+3/-0). Dernière modification le 01 mars 2025 à 13:33.
Le format journal me laisse la liberté de donner mon avis, et je pense que c’est un point important. Par exemple ce paragraphe :
Je ne me le serai jamais permis sur une dépêche, mais je pense qu’il apporte quand même une perspective intéressante ?
[^] # Re: Pourquoi dire IA si on ne parle que des réseaux de neurones ?
Posté par Moonz . En réponse à la dépêche Une intelligence artificielle libre est-elle possible ?. Évalué à 2 (+0/-0). Dernière modification le 01 mars 2025 à 13:23.
Et c’est un classique parce que la plupart des humains se plantent aussi sur leur première tentative.
Je trouve étrange de prendre un exemple où les humains se plantent souvent, pour montrer "l’IA se plante aussi", et finir par conclure "donc l’IA n’est pas intelligente".
Ce n’est pas très sympa pour les humains.
Ha, sinon, 3.7 Sonnet avec raisonnement :
[^] # Re: Pourquoi dire IA si on ne parle que des réseaux de neurones ?
Posté par Moonz . En réponse à la dépêche Une intelligence artificielle libre est-elle possible ?. Évalué à 2 (+0/-0).
Oh, il y en a encore:
https://www.twitch.tv/claudeplayspokemon
https://chatgpt.com/share/67c05901-276c-8005-977e-472622d81679
Mais sur le fond je suis d’accord. Les capacités des LLMs de 2024/2025 étaient de la pure science-fiction en 2019. Rappelons que l’horizon indépassable (et considéré inatteignable pour plusieurs années) à cette époque dans le domaine du NLP c’était les schéma de Winograd. Il serait bon de se rappeler des temps reculés d’il y a 5 ans. Et les modèles ne peuvent que s’améliorer avec le temps.
ChatGPT présenté sur DLFP en 2019 ? La première hypothèse serait, de très loin et à raison: absolument un fake, c’est à 100% une version moderne de la mystification du Turc mécanique. L’hypothèse "non, c’est bien un programme informatique" serait considérée comme complètement farfelue, et que seul un idiot pourrait tomber dans un piège aussi grossier. Et j’aurai été le premier à défendre cette position.
Quand la réalité surprend aussi violemment les préjugés, c’est que les préjugés sont en tort et qu’il faut changer. Insister sur les préjugés et faire des contorsions pour les préserver est le meilleur moyen de se retrouver avec une grosse (probablement mauvaise) surprise dans 1-2 ans (mais… mais… je croyais qu’il n’y avait aucune intelligence dans les LLMs ?)
J’ai un peu honte d’avoir changé mes préjugés bien trop tard en ne les révisant qu’en 2022. En 2025 ? Avec DeepResearch, les modèles de raisonnement, AI co-scientist ? C’est du pur entêtement.
[^] # Re: Pourquoi dire IA si on ne parle que des réseaux de neurones ?
Posté par Moonz . En réponse à la dépêche Une intelligence artificielle libre est-elle possible ?. Évalué à 2 (+0/-0).
L’IA en est totalement capable
[^] # Re: Pourquoi dire IA si on ne parle que des réseaux de neurones ?
Posté par Moonz . En réponse à la dépêche Une intelligence artificielle libre est-elle possible ?. Évalué à 3 (+1/-0). Dernière modification le 01 mars 2025 à 11:03.
Claude 3.7 avec raisonnement ne tombe pas dans le piège:
(juste un extrait parce que c’est long, il essaie de trouver une interprétation qui fait sens):
[^] # Re: IA = code + données
Posté par Moonz . En réponse à la dépêche Une intelligence artificielle libre est-elle possible ?. Évalué à 1 (+1/-2). Dernière modification le 27 février 2025 à 08:21.
Rien dans les LLM évidemment, bonne chance pour apprendre un language humain sans données produites par des humains :)
Mais dans l’IA plus largement, tu as AlphaZero.
[^] # Re: Effondrement ?
Posté par Moonz . En réponse au journal LLM (encore), effondrement et travail humain. Évalué à 3 (+2/-1).
Parce que si c’est mesurable, c’est détectable, et c’est mesurable ? Regarde la définition sur la page Wikipedia en anglais :
Donc, procédure simple : avant d’intégrer une nouvelle page dans ton corpus d’entraînement pour ton prochaine modèle, fine-tuner le modèle existant sur la nouvelle page, et voir si la variance baisse (regarder le kurtosis aussi pour détecter le premier stade).
Cette procédure exacte est probablement bien trop prohibitivement coûteuse, mais ça montre que c’est probablement solvable en principe.
En pratique ?
Autre point extrêmement important : le model collapse n’arrive que lors de l’ingestion indiscriminée de données générées par un autre modèle. Dès lors qu’il y a curation par une méthode de validation externe (par exemple, un humain), une décision binaire (incorporer le texte dans le corpus ou non) suffit.
C’est connu depuis AlphaZero, où le modèle s’est entraîné avec lui-même (des parties générées par lui-même). L’ingrédient « secret » dans ce cas est le bit « quel côté a gagné la partie ? » fourni par un validateur externe. Ce papier explore la même question par l’angle explicite du "model collapse".
Pourquoi est-ce important ? Parce que ça fait un moment que les labos prévoient exactement ce problème de non pas vraiment de "l’internet est pollué" mais "on va arriver à court de données de qualité". La solution est de "générer des données à partir des modèles existants". Le problème est maintenant "model collapse". La solution est "validateur externe", préférablement automatisé, par exemple : AlphaProof. Les modèles de raisonnement actuels sont très probablement une variante plus ou moins directe de ça (c’est explicitement le cas de DeepSeek R1).
# Re: Je suis perdu et je pensais m'être renseigné...
Posté par Moonz . En réponse au journal Je suis perdu et je pensais m'être renseigné.... Évalué à 4 (+2/-0). Dernière modification le 14 février 2025 à 14:32.
Comme je l’ai dit ailleurs: quasiment tout se fait sur arxiv. Ce qui a récemment fait couler de l’encre :
Le problème c’est que dans le domaine, les choses avancent très vite.
Si le sujet t’intéresse, je te conseille de suivre Zvi Mowshowitz, qui fait un travail de veille (compilation des sources et analyse) assez complet. Attention par contre :
[^] # Re: pas mieux, je ne comprends ias l'emballement
Posté par Moonz . En réponse au journal Je suis perdu et je pensais m'être renseigné.... Évalué à 10 (+10/-1). Dernière modification le 14 février 2025 à 14:02.
J’aimerais vraiment que cette interprétation des LLMs disparaisse. Elle est soit trivialement vraie donc inutile, soit clairement fausse. La connotation derrière pointe vers la second alternative, mais comme la première est vraie tout le monde saute sur la conclusion fausse !
La version fausse : un LLM est entraîné pour minimiser l’erreur de prédiction sur un corpus, et ne fait donc qu’apprendre (puis reproduire lors de la génération) des corrélations statistiques, à la manière d’une chaîne de Markov, sans "créer" de représentations et de structures internes.
La version triviale mais vraie : en mode génération, un LLM génère une distribution de probabilités sur le token suivant, et pioche aléatoirement un token à partir de cette distribution.
La chose à retenir c’est que "générer une distribution de probabilités" ne signifie pas "juste faire des statistiques en utilisant des corrélations" ! Un modèle avec une structure interne complexe peut très bien générer une distribution de probabilités. Par exemple :
Et on sait que les LLMs développent des structures complexes en interne. Le plus connu étant les "induction head". Moins connu mais très intéressant : Language Models Use Trigonometry to Do Addition.
Le concept d’intentionnalité est clairement présent dans l’ensemble d’apprentissage. La meilleure manière de prédire un texte produit par un agent muni d’intentionalité (par exemple: un être humain), c’est de modéliser ce concept d’intentionalité et d’être capable de le "role-play" (j’aime cette image des LLM : un excellent role-player capable de jouer n’importe quel rôle dans n’importe quel scénario — une image bien plus utile à mon avis que "piocher le token le plus probable").
À l’instant ou tu introduis un objectif dans le prompt, ce modèle de "intentionalité" est mis à contribution pour la génération du texte. Cela signifie générer un plan comme si c’était un agent muni d’intentions qui générait ce plan.
[^] # Re: Buts "non-alignés"
Posté par Moonz . En réponse au journal Je suis perdu et je pensais m'être renseigné.... Évalué à 7 (+5/-0).
Le domaine de l’IA ne fonctionne pas comme les autres. La plupart des retours se font par mail (parfois sur Twitter !), et les corrections directement sur arXiv. Il n’y a pour ainsi dire pas de processus de validation par les pairs. Le plus gros éditeur "classique" est "Journal of Machine Learning Research", et… je viens juste d’apprendre son existence, en cherchant pour creuser un peu le sujet. Je n’ai pas l’impression que qui que ce soit y paie attention (disclaimer : je ne suis pas dans le mileu, donc mon impression peut être fausse).
Si je regarde les papiers les plus importants du domaine (plus précisément : parmi ceux qui me viennent immédiatement en tête) :
Autrement dit, si tu attends une validation par les pairs comme par exemple ce qui se fait dans la médecine… tu risques d’attendre longtemps.
Il y a une sélection par les pairs tous les ans à travers NeurIPS (les trois papiers cités plus haut ont été sélectionnés). Mais ce n’est pas une validation systématique, juste "qu’est-ce qui est validé ET parmi les résultats les plus importants de l’année".
[^] # Re: Mentir?
Posté par Moonz . En réponse au journal Je suis perdu et je pensais m'être renseigné.... Évalué à 1 (+2/-3). Dernière modification le 14 février 2025 à 12:01.
"Conscience" personne ne sait, mais prise d’une manière plus générale cette proposition est fausse : https://arxiv.org/abs/2310.06824
https://arxiv.org/abs/2407.12831
.
Bien sur que si. Testé à l’instant :
[^] # Re: Pas si pas clair
Posté par Moonz . En réponse au journal Le Rationalisme. Évalué à 2 (+0/-0). Dernière modification le 13 février 2025 à 19:24.
Je suis prêt à écouter et discuter, je n’attend même que ça ! Simplement, pas les objections déjà abordées noir sur blanc dans le texte original.
Parce que pour l’instant, la meilleure objection que j’aie eu, c’est "et si le processus stochastique en question générant la séquence d’observations n’est pas calculable ?". Qui n’est effectivement pas abordée noir sur blanc dans le texte original. Mais qui est abordée das la littérature.
Quelle interprétation avez vous comprise, exactement ?
Peut-être l’incompréhension vient-elle de là ?
Bon, je vais mordre à l’hameçon. Qui sait, peut-être vais-je apprendre des choses ?
Première question :
Qu’est-ce qui n’est pas général dans la définition du cadre "considérons le cas d’un observateur qui génère des prédictions à partir de ses observations, en utilisant toutes les hypothèses (semi)calculables possibles" ?
Quel est le cadre plus général de l’induction de Solomonoff ?
(mettant de côté les objections déjà discutées dans le texte, comme le fait qu’évidemment un humain n’est pas un pur observateur, il est un acteur).
Deuxième question :
Aller au cas particulier est très loin d’être inutile. Les choses qui sont vraies pour le cas général sont les choses vraies pour tous le cas particuliers. Il existe donc plus de propositions vraies pour un cas particulier précis que pour le cas général. Passer du cas général de "polygone convexe" au cas particulier "triangle" permet d’établir disons (entre autres) le théorème de Thales, passer du cas général de "triangle" à "triangle rectangle" permet d’établir le théorème de Pythagore. Autrement dit, dans ton exemple : tout ce qui est vrai pour un polygone convexe l’est également un triangle.
En quoi les résultats du cas particulier qu’est l’induction de Solomonoff sont irrecevables, sur la base que c’est un cas particulier ? N’est-ce pas rejeter le théorème de Pythagore parce que "un triangle rectangle n’est qu’un cas particulier d’un polygone convexe" ?
Troisième question, partant de la même constatation sur cas particulier/général :
L’existence d’un cadre plus général rend-il l’induction de Solomonoff inutile, autrement dit, le cas général est-il déjà suffisamment particulier pour montrer par lui-même les leçons de l’induction de Solomonoff ? Autrement dit : la restriction est-elle inutile ?
[^] # Re: Sommet pour l’action sur l'IA, réaction à chaud
Posté par Moonz . En réponse au journal Sommet pour l’action sur l'IA, réaction à chaud. Évalué à 0 (+0/-2).
On entre dans un domaine que je ne connais pas bien par manque d’intérêt… mais n’y a-t-il pas une quantité respectable de contre-exemples dans la littérature ? Madame Bovary me vient immédiatement à l’esprit.
La société "idéale, rurale, raisonnablement conservatrice" sur laquelle il serait impossible d’écrire une histoire… n’est-ce pas le contexte au final des écrivains russes tels que Tolstoï ou Dostoïevsky ? (je pose réellement la question : je ne les ai pas lus)
Contre-exemple à cette observation et la précédente : Dr Quinn. Ce qui me fait penser à La petite maison dans la prairie, comme autre contre-exemple au précédent point.
Tu peux arguer que dans ces histoires, "tout ne va pas bien". Je serai d’accord, mais ce sont des exemples… réalistes/représentatifs de ce qui ne va pas bien, de ce qui fait "le piment de la vie" (faute de meilleure expression) ? Si tu enlèves ce qui ne va pas bien dans ces histoires, tu enlèves l’histoire ; mais de manière plus importante ne retires-tu pas une partie importante et réelle de la condition humaine ?
Il n’y a pas d’histoire sans défi à surmonter… mais est-ce une simple règle narrative, ou une règle plus profonde de la condition humaine ?
J’irais plutôt dans la direction opposée de cette proposition ? "Les contraintes que s’imposent l’auteur nous en disent long sur ce que les lecteurs pensent comme étant important et intéressant ?"
[^] # Re: Sommet pour l’action sur l'IA, réaction à chaud
Posté par Moonz . En réponse au journal Sommet pour l’action sur l'IA, réaction à chaud. Évalué à 2 (+0/-0).
Il me semble que tu peux même quitter le cocon de la Culture :)
Ma critique portait uniquement sur "la vie à l’intérieur de la Culture", pas les manières de s’en échapper.
Tu noteras que la majorité des intrigues se passent justement dans SC/Contact, pas à l’intérieur de la Culture. L’auteur, pour écrire une histoire intéressante, se retrouve obligé d’en sortir. Ça devrait mettre la puce à l’oreille, non ?
J’ajouterai que la valeur ajoutée des humains dans SC/Contact me semble introduite au forceps et artificielle. Encore une fois, nécessaire pour avoir une histoire, mais nous ne mentons pas, on est frise la limite entre "suspension volontaire d’incrédulité" et "incohérence".
Non, du tout. J’aime à dire que je serai probablement plus heureux si j’étais un cerveau dans un bocal.
Mais le prix que demande la Culture est trop élevé pour moi.
[^] # Re: Sommet pour l’action sur l'IA, réaction à chaud
Posté par Moonz . En réponse au journal Sommet pour l’action sur l'IA, réaction à chaud. Évalué à 3 (+1/-0).
Désolé, si ça été mal perçu, ce n’est pas l’intention. Pour clarifier : il n’a a aucun sarcasme dans le "félicitations", je le pense réellement.
Il y a des grosses présuppositions sur des questions ouvertes derrière ça :
Elle n’a pas été créé pour ça. C’est une caricature. Encore une fois, ceux dans les labos pensent bien faire et veulent bien faire. Étudier l’histoire est important ; les individus en question en ont une, et ont publié leurs opinions et leurs objectifs bien avant que l’IA soit sur le devant de la scène, bien avant le succès économique d’aujourd’hui.
[^] # Re: Sommet pour l’action sur l'IA, réaction à chaud
Posté par Moonz . En réponse au journal Sommet pour l’action sur l'IA, réaction à chaud. Évalué à 1 (+0/-1).
Ne le prend pas mal, et je peux me tromper, mais : je pense simplement que tu n’y as pas pensé assez fort.
C’est beau sur papier.
C’est la version un poil plus sophistiquée que le paradis chrétien. Quand tu es un paysan médiéval qui se casse le dos dans les champs, "après la mort, vous n’aurez plus à travailler, vous passerez le reste de votre existence à contempler la Gloire de Dieu", ça semble effectivement beau sur papier. "Le repos éternel". "Enfin, du Repos !"
Je pense qu’on est tous d’accord que passer une "éternité à contempler la gloire de Dieu", tu préférerais en fait ne pas avoir d’âme immortelle. Tu aurais probablement envie de te pendre (ce que tu ne peux pas, âme immortelle) au bout de deux semaines.
La Culture propose une vision plus complexe que "contempler la gloire de Dieu", mais le fondement est le même. Et tu es la version moderne du paysan médiéval tellement fixé sur les problèmes (réels !) de son existence actuelle qu’il ne se projette pas réellement dans une situation promettant que ces problèmes sont résolus. Uniquement les côtés positifs, la satisfaction immédiate des désirs. "Plus de travail ! Plus de soucis de santé ! De l’abondance !".
On entre là dans un domaine fortement personnel et hautement spéculatif, mais si je creuse et que j’interroge mes propres valeurs…
Prenons le seul exemple de "apprendre". J’aime apprendre. C’est de loin ce qui m’apporte le plus de joie dans ma vie (j’aime également enseigner quand je peux, mais je suis tellement horriblement mauvais à ça que ce n’est pas un service que je rend quand je tente de le faire). Est-ce que ce désir/cette envie/cette joie survit dans la Culture ?
Non, je ne pense pas.
Je veux apprendre pour comprendre l’univers qui m’entoure. Les Mentaux ont la réponse. Penses-tu réellement que ça me prenne plus de 10 ans pour satisfaire ma curiosité à l’aide d’un Mental qui a la réponse à tout et me tutore de manière personnalisée et optimalement efficace ?
Derrière une partie de cette envie d’apprendre se cace une envie de "grandir", en tant qu’individu. Pour être plus à même contrôler mon destin et mon bonheur. Et si ceci est garanti par la Culture, à quoi bon ?
Le second point est extrêmement général. Il est facile de trouver des valeurs indirectes (qui ne signifient pas fausses ou sans intérêt !). "Apprendre" -> "Grandir en tant qu’individu". "Les connections interpersonnelles". "L’art". Et ce n’est pas forcément facile de voir qu’elles sont indirectes ! (exercice pour le lecteur : en quoi l’art est une valeur indirecte ? indice : une certaine citation d’un auteur grenoblois du 18-19e siècle)
Mais ma suspicion très forte, qui provient essentiellement de l’introspection, arrive à ceci : toute valeur indirecte doit à la fin s’appuyer sur une ou des valeurs directes. Et je n’ai pour l’instant pas d’autre candidat que ce que j’ai dit au dessus, "être l’artisan de son destin".
Ce que la Culture oblitère, au final, en me livrant un destin garanti sur facture, même s’il est sur mesure et à la carte.
Après, peut être que c’est juste moi, et que le reste de l’humanité se trouverait heureuse dans la culture. Peut-être même que je me trompe sur moi-même, mon introspection est fausse, et que je serai au final heureux dans la Culture. Mais avec ma compréhension actuelle du problème, ma position est : "la Culture, non merci".
[^] # Re: Est-ce que je résume correctement ?
Posté par Moonz . En réponse au journal Quoi penser de l'IA dans mon monde de linuxien .... Évalué à 1 (+1/-2).
Il faudrait pourtant, si tu veux te faire une idée précise de ce qu’il se passe. Je vais juste prendre un exemple de ton message :
L’étude date de 2022 et utilise un modèle (Codex) de 2021. C’est avant la découverte des scaling laws modernes, quand on entraînait encore des modèles d’une manière extrêmement sous-optimale !
Les modèles d’aujourd’hui ?
o3 a un score Elo de 2700+ sur codeforces.
[^] # Re: Pas si pas clair
Posté par Moonz . En réponse au journal Le Rationalisme. Évalué à 2 (+0/-0).
On est exactement dans la même démarche.
"On ne comprend pas la chaleur, essayons de créer un cadre pour comprendre la chaleur."
"On ne comprend pas l’induction, essayons de créer un cadre pour comprendre l’induction."
On ne part pas d’un théorème pré-existant ! Le papier initial de Solomonoff part de ce questionnement, prend quatre approches différentes, arrive à quatre théorèmes différents, dont les 3 derniers qui se révèlent être équivalents (il soupçonne le premier de l’être également, mais je crois que la question est toujours ouverte là dessus).
Heu… non ? Dans l’introduction semi-technique il y a toute une partie "limitations de l’approche" qui expose très bien que ça ne peut pas être l’alpha et l’omega.
Non, le théorème définit une distribution qui n’est pas calculable.
Donc oui, on sait très bien qu’on ne peut pas utiliser Solomonoff pour refonder toute la connaissance. Sauf si on arrive à mettre la main sur un hypercalculateur, mais je ne retiendrais pas mon souffle :)
Solomonoff peut extraire plus d’informations des observations que toutes les théories calculables. Si nos théories extraient plus d’informations que Solomonoff, alors ces informations, et les théories d’où elles viennent, sont fausses. Ce qui est pire que "on sait pas".
Solomonoff a des limitations (dont, encore une fois, "pas utilisable en pratique"), mais pas cette limitation.
Le but n’est pas de révolutionner quoi que ce soit, juste d’avancer sur certains points. Acquérir de meilleurs outils, mieux comprendre nos outils, mieux comprendre le problème.
Je te conseille de lire juste la première partie de l’introduction semi-technique. Elle expose assez bien l’objectif.
Je ne pense pas que qui que ce soit pense qu’il soit possible de raisonnablement approximer l’induction de Solomonoff en pratique.
[^] # Re: Sommet pour l’action sur l'IA, réaction à chaud
Posté par Moonz . En réponse au journal Sommet pour l’action sur l'IA, réaction à chaud. Évalué à 4 (+2/-0).
L’existence d’un mur ça veut dire qu’il existe, qu’on va se le manger, ça va faire mal, et qu’on va se relever.
L’alternative c’est que la trajectoire "les humains deviennent obsolètes" se réalise sans que personne puisse l’empêcher.
Donc oui, j’aimerais bien croire plus que je ne crois actuellement à l’existence d’un mur proche. Sincèrement.
Il faut te mettre à leur place. Sincèrement à leur place, pas la caricature dans ta tête c’est "juste des gens méchants qui veulent faire des choses très méchantes". Ils veulent bien faire et pensent bien faire. Même Macron. Même Altman, et dieu sait à quel point je le méprise et je prie chaque jour de le voir se prendre une mandale plus que méritée de la part de la justice californienne.
Altman promet à Macron une avancée scientifique et technique légitimement sans précédent (et encore une fois : il y croit — vous n’êtes pas obligé de le croire, mais lui y croit). Qui nous permettrait très probablement (presque certainement, si les promesses sont tenues) de surmonter les défis actuels, notamment le réchauffement climatique et dans le domaine de la santé.
Évidemment qu’ils s’excitent. Ce serait débile de ne pas s’exciter devant les possibilités.
Ils ne voient pas le problème "…et qui rend les humains obsolètes" non pas parce que c’est des gros gros méchants qui n’aiment pas les humains, mais parce que félicitations tu es une des très rares personnes à voir ce problème dans l’hypothèse où les promesses sont tenues.
Les premiers à en parler académiquement c'est https://arxiv.org/abs/2501.16946. Il y a moins de deux semaines. Félicitations, tu es arrivé tout seul comme un grand à la frontière de la recherche dans le domaine "conséquences économiques et sociales de l’IA".
J’aimerais bien qu’on me donne une vision positive du futur dans un monde où l’être humain n’est plus l’espèce dominante en termes d’intelligence. Ian Banks a essayé, c’est la meilleure tentative à ma connaissance, et personnellement je ne considère pas du tout la Culture comme l’utopie à atteindre (même si Banks la présente comme positivement une utopie).
Tu as raté o1, o3 et DeepResearch ? :)
En particulier o3 qui progresse significativement sur des benchmarks qui jusqu’ici résistaient très bien: Humanity Last Exam, FrontierMath, ARC-AGI.
(si tu as loupé les rumeurs que Anthropic a mieux que o3 en interne, c’est normal, ce ne sont que des rumeurs: https://www.youtube.com/watch?v=_1f-o0nqpEI&t=8322s)
# Re: Sommet pour l’action sur l'IA, réaction à chaud
Posté par Moonz . En réponse au journal Sommet pour l’action sur l'IA, réaction à chaud. Évalué à 5 (+3/-0).
Amen.
Ça me rend fou honnêtement. La quantité de personnes apparemment intelligentes qui disent "ho, certes, à terme l’IA dominera dans les sciences, l’art, l’éducation, la santé, le management, l’économie et la gouvernance, mais il y aura toujours du travail dans les usines, la logistique et l’agriculture tant que la robotique ne sera pas résolue !"
Comment dire… non merci ? L’intérêt du progrès technologique jusqu’ici c’est d’aller dans le sens inverse de ça ?
Évidemment que ce n’est pas un mensonge. Le premier but (celui que tu énonces précédemment) était clairement annoncé en 2015 chez OpenAI, avant la hype, avant la "bulle", avant que la notion de prompt n’existe (cette notion arrive dans le grand public avec ChatGPT en 2022, entre 2019 et 2020 dans les papiers académiques), alors que c’était encore un pur non-profit.
À peu près personne en 2015 n’allait imaginer la forme qu’aller prendre l’IA, ou l’importance du scraping. Le papier qui montre que la quantité de données nécessaire était jusqu’ici largement sous-estimée, c’est https://arxiv.org/pdf/2203.15556. Avant, le paradigme c’était de se concentrer sur "plus de paramètres, plus gros modèles". Et c’est en 2022.
Tu ne peux pas dire "ils disent A mais en fait ils mentent ils pensent B" si ils disent A depuis 2015 et que la réalisation de B arrive en 2022.
Quelle importance pour eux ? Ils s’attendent à atteindre leur objectif dans 2-5 ans. Et dès aujourd’hui ils misent énormément sur RL+self-play, le scraping a une importance relativement moindre.
Je te trouve bien optimiste quant à l’existence d’un mur. J’aimerais le partager, mais hélas… j’entends "la bulle de l’IA arrive à ses limites, un nouveau mur est proche" depuis 2019.
[^] # Re: Acceleration
Posté par Moonz . En réponse au journal Quoi penser de l'IA dans mon monde de linuxien .... Évalué à 2 (+0/-0).
Une offre ça se change hein. L’offre ChatGPT pro à 200$ c’est un accès illimité à leur modèle le plus cher (et de loin plus cher). C’est pas juste l’offre que tu as pour le modèle à 3$ / million token. Plus DeepResearch qui apparemment consomme masse.
En quoi le commentaire ne se suffit pas à lui même ? Voilà le complet :
.
Bah oui. Il dit qu’un LLM à lui-même ne se suffit pas. Et ? OpenAI le sait depuis 2-3 ans. Anthropic le sait depuis 2-3 ans. Je le savais il y a un an, et je ne suis même pas dans le milieu. C’est de notoriété publique. Les modèles de raisonnement sont le résultat de la solution évidente au problème.
La différence entre LeCun et les optimistes, c’est que LeCun pense que la solution évidente ne suffira pas, et que les optimistes pensent que la solution évidente suffira.
Pour l’instant, la solution évidente ne montre aucun signe d’essoufflement.
Et je ne comprend pas où tu veux en venir. Je te rappelle que le point central (facile à oublier) c’est : est-ce qu’il y a de bonnes raisons de penser que l’AGI est atteignable dans un horizon de temps court-moyen ?
Tu dis : "2-5 ans c’est le point de vue des optimistes, qui n’ont pas forcément raison".
Je te dis : certes, mais les pessimistes ne sont pas beaucoup plus pessimistes (par exemple la dizaine d’année de LeCun, avec une possibilité de bien plus long).
Pas complètement, mais j’avoue que oui, le cynisme en mode "moi je vois bien que ce sont des mensonges intéressés, on me la fait pas à moi" est quelque chose qui a tendance à m’insupporter.
J’ai peut-être surréagi à ça.
Désolé.
Ceci dit je maintiens le fond de ma réaction : juste interpréter les déclarations des dirigeants des labos comme des propos intéressés vides de contenu, c’est une erreur.
Si tu dis "Il ne faut pas s’attendre à ce que quelqu’un qui vend de l’IA pour vivre te dise autre chose que ça", ça veut dire que c’est disqualifiant, pas seulement de la contextualisation.
Je suis entièrement d’accord avec ça, et c’est justement pour ça que je "pousse" contre le discours "l’IA c’est juste un nouveau hype vide de substance". C’est juste un moyen de ne pas s’inquiéter, exactement comme certains utilisent l’argument "le réchauffement climatique n’existe pas" pour ne pas s’inquiéter.