Perso j'ai pas suivi en détail les évolutions des 20 dernières années, et c'est évident qu'il y en a eu. Mais cela reste juste des évolutions (pas des révolutions), ce qui est normal dans tout sujet en recherche active.
Il faudrait pourtant, si tu veux te faire une idée précise de ce qu’il se passe. Je vais juste prendre un exemple de ton message :
Par exemple, une étude sur les développeurs qui utilisaient des aides au développement par IA avait déterminé que non seulement ceux qui utilisaient ces aides produisaient un code moins sécurisé, mais qu'en plus ceux-ci croyaient qu'ils produisaient un code plus sécurisé
L’étude date de 2022 et utilise un modèle (Codex) de 2021. C’est avant la découverte des scaling laws modernes, quand on entraînait encore des modèles d’une manière extrêmement sous-optimale !
Les modèles d’aujourd’hui ?
o3 a un score Elo de 2700+ sur codeforces.
The median Codeforces rating is 1143. The mean rounded to the nearest integer is 1205. The standard deviation is 378 rounded down to the nearest integer.
A rating of 1900 places you at the 94th percentile.
A rating of 2400 places you at the 99.2nd percentile.
"On ne comprend pas la chaleur, essayons de créer un cadre pour comprendre la chaleur."
"On ne comprend pas l’induction, essayons de créer un cadre pour comprendre l’induction."
On ne part pas d’un théorème pré-existant ! Le papier initial de Solomonoff part de ce questionnement, prend quatre approches différentes, arrive à quatre théorèmes différents, dont les 3 derniers qui se révèlent être équivalents (il soupçonne le premier de l’être également, mais je crois que la question est toujours ouverte là dessus).
en tentant rien de moins que de refonder toute l'épistémologie sur ces bases
Heu… non ? Dans l’introduction semi-technique il y a toute une partie "limitations de l’approche" qui expose très bien que ça ne peut pas être l’alpha et l’omega.
Par exemple en admettant "le théorème peut calculer une distribution"
Non, le théorème définit une distribution qui n’est pas calculable.
Donc oui, on sait très bien qu’on ne peut pas utiliser Solomonoff pour refonder toute la connaissance. Sauf si on arrive à mettre la main sur un hypercalculateur, mais je ne retiendrais pas mon souffle :)
si ça se trouve la distribution on sait pas vraiment la faire parler, elle est complexe et en plus le truc qu'on cherche à prédire est intrinsèquement difficile et la distribution prédit beaucoup de chose et la seule chose qu'on peut dire c'est "on sait pas".
Solomonoff peut extraire plus d’informations des observations que toutes les théories calculables. Si nos théories extraient plus d’informations que Solomonoff, alors ces informations, et les théories d’où elles viennent, sont fausses. Ce qui est pire que "on sait pas".
Solomonoff a des limitations (dont, encore une fois, "pas utilisable en pratique"), mais pas cette limitation.
je vois pas vraiment dans la discussion quelque chose qui pourrait révolutionner
Le but n’est pas de révolutionner quoi que ce soit, juste d’avancer sur certains points. Acquérir de meilleurs outils, mieux comprendre nos outils, mieux comprendre le problème.
Je te conseille de lire juste la première partie de l’introduction semi-technique. Elle expose assez bien l’objectif.
mais j'ai du mal à imaginer une voix qui permettrait de faire tomber ces obstacles fondamentaux
Je ne pense pas que qui que ce soit pense qu’il soit possible de raisonnablement approximer l’induction de Solomonoff en pratique.
Mais alors quand tu me dit que je suis optimiste sur l'existence du mur… ça fait peur.
L’existence d’un mur ça veut dire qu’il existe, qu’on va se le manger, ça va faire mal, et qu’on va se relever.
L’alternative c’est que la trajectoire "les humains deviennent obsolètes" se réalise sans que personne puisse l’empêcher.
Donc oui, j’aimerais bien croire plus que je ne crois actuellement à l’existence d’un mur proche. Sincèrement.
Les problèmes sont déjà là, et depuis un moment, mais là, les voir tous s’exciter sur les milliards avec de l'autre coté l'actualité politique et social en France… C'est juste gerbant
Il faut te mettre à leur place. Sincèrement à leur place, pas la caricature dans ta tête c’est "juste des gens méchants qui veulent faire des choses très méchantes". Ils veulent bien faire et pensent bien faire. Même Macron. Même Altman, et dieu sait à quel point je le méprise et je prie chaque jour de le voir se prendre une mandale plus que méritée de la part de la justice californienne.
Altman promet à Macron une avancée scientifique et technique légitimement sans précédent (et encore une fois : il y croit — vous n’êtes pas obligé de le croire, mais lui y croit). Qui nous permettrait très probablement (presque certainement, si les promesses sont tenues) de surmonter les défis actuels, notamment le réchauffement climatique et dans le domaine de la santé.
Évidemment qu’ils s’excitent. Ce serait débile de ne pas s’exciter devant les possibilités.
Ils ne voient pas le problème "…et qui rend les humains obsolètes" non pas parce que c’est des gros gros méchants qui n’aiment pas les humains, mais parce que félicitations tu es une des très rares personnes à voir ce problème dans l’hypothèse où les promesses sont tenues.
Les premiers à en parler académiquement c'est https://arxiv.org/abs/2501.16946. Il y a moins de deux semaines. Félicitations, tu es arrivé tout seul comme un grand à la frontière de la recherche dans le domaine "conséquences économiques et sociales de l’IA".
Enfin l'IA en elle même ne me dérange pas
J’aimerais bien qu’on me donne une vision positive du futur dans un monde où l’être humain n’est plus l’espèce dominante en termes d’intelligence. Ian Banks a essayé, c’est la meilleure tentative à ma connaissance, et personnellement je ne considère pas du tout la Culture comme l’utopie à atteindre (même si Banks la présente comme positivement une utopie).
Et je trouve que les annonces des avancée technique commencent à atteindre un plateau.
Tu as raté o1, o3 et DeepResearch ? :)
En particulier o3 qui progresse significativement sur des benchmarks qui jusqu’ici résistaient très bien: Humanity Last Exam, FrontierMath, ARC-AGI.
Car la proposition de l'IA générative c'est d'avoir une assistance informatisée sur des tâches abstraites complexes. Mais en fait, c'est surtout de proposer d'aider l'humanité en lui retirant le contrôle sur les tâches qui sont justement le propre de l'humanité : sur tout ce qui nécessite de la sensibilité, de l'inventivité, de la créativité, de la compassion ou de la compréhension.
Amen.
Ça me rend fou honnêtement. La quantité de personnes apparemment intelligentes qui disent "ho, certes, à terme l’IA dominera dans les sciences, l’art, l’éducation, la santé, le management, l’économie et la gouvernance, mais il y aura toujours du travail dans les usines, la logistique et l’agriculture tant que la robotique ne sera pas résolue !"
Comment dire… non merci ? L’intérêt du progrès technologique jusqu’ici c’est d’aller dans le sens inverse de ça ?
Et la deuxième dissonance est que je sais très bien que cette proposition est un mensonge. Le seul intérêt économique réel est de pouvoir capturer les données, oeuvres et information qui sont pillées en ce moment même par les bots des AI crawlers et de le revendre comme résultat de prompts sans rien reverser ni citer de l'origine.
Évidemment que ce n’est pas un mensonge. Le premier but (celui que tu énonces précédemment) était clairement annoncé en 2015 chez OpenAI, avant la hype, avant la "bulle", avant que la notion de prompt n’existe (cette notion arrive dans le grand public avec ChatGPT en 2022, entre 2019 et 2020 dans les papiers académiques), alors que c’était encore un pur non-profit.
À peu près personne en 2015 n’allait imaginer la forme qu’aller prendre l’IA, ou l’importance du scraping. Le papier qui montre que la quantité de données nécessaire était jusqu’ici largement sous-estimée, c’est https://arxiv.org/pdf/2203.15556. Avant, le paradigme c’était de se concentrer sur "plus de paramètres, plus gros modèles". Et c’est en 2022.
Tu ne peux pas dire "ils disent A mais en fait ils mentent ils pensent B" si ils disent A depuis 2015 et que la réalisation de B arrive en 2022.
D'un point du vu sociétal, les entreprises d'IA scient automatiquement la branche sur laquelle ils sont assis
Quelle importance pour eux ? Ils s’attendent à atteindre leur objectif dans 2-5 ans. Et dès aujourd’hui ils misent énormément sur RL+self-play, le scraping a une importance relativement moindre.
Allez : vivement qu'on arrive au mur
Je te trouve bien optimiste quant à l’existence d’un mur. J’aimerais le partager, mais hélas… j’entends "la bulle de l’IA arrive à ses limites, un nouveau mur est proche" depuis 2019.
Une offre ça se change hein. L’offre ChatGPT pro à 200$ c’est un accès illimité à leur modèle le plus cher (et de loin plus cher). C’est pas juste l’offre que tu as pour le modèle à 3$ / million token. Plus DeepResearch qui apparemment consomme masse.
T’aurais pu couper encore plus, non ?
En quoi le commentaire ne se suffit pas à lui même ? Voilà le complet :
I said that reaching Human-Level AI "will take several years if not a decade."
Sam Altman says "several thousand days" which is at least 2000 days (6 years) or perhaps 3000 days (9 years). So we're not in disagreement.
But I think the distribution has a long tail: it could take much longer than that. In AI, it almost always takes longer.
In any case, it's not going to be in the next year or two.
.
Il enterre aussi l'IA générative à base de texte et explique assez clairement pourquoi elle est fondamentalement limitée.
Bah oui. Il dit qu’un LLM à lui-même ne se suffit pas. Et ? OpenAI le sait depuis 2-3 ans. Anthropic le sait depuis 2-3 ans. Je le savais il y a un an, et je ne suis même pas dans le milieu. C’est de notoriété publique. Les modèles de raisonnement sont le résultat de la solution évidente au problème.
La différence entre LeCun et les optimistes, c’est que LeCun pense que la solution évidente ne suffira pas, et que les optimistes pensent que la solution évidente suffira.
Pour l’instant, la solution évidente ne montre aucun signe d’essoufflement.
Et je ne comprend pas où tu veux en venir. Je te rappelle que le point central (facile à oublier) c’est : est-ce qu’il y a de bonnes raisons de penser que l’AGI est atteignable dans un horizon de temps court-moyen ?
Tu dis : "2-5 ans c’est le point de vue des optimistes, qui n’ont pas forcément raison".
Je te dis : certes, mais les pessimistes ne sont pas beaucoup plus pessimistes (par exemple la dizaine d’année de LeCun, avec une possibilité de bien plus long).
Ensuite tu as l’air complètement trigger
Pas complètement, mais j’avoue que oui, le cynisme en mode "moi je vois bien que ce sont des mensonges intéressés, on me la fait pas à moi" est quelque chose qui a tendance à m’insupporter.
J’ai peut-être surréagi à ça.
Désolé.
Ceci dit je maintiens le fond de ma réaction : juste interpréter les déclarations des dirigeants des labos comme des propos intéressés vides de contenu, c’est une erreur.
Ce n’est pas disqualifiant, c’est uniquement de la contextualisation du propos
Si tu dis "Il ne faut pas s’attendre à ce que quelqu’un qui vend de l’IA pour vivre te dise autre chose que ça", ça veut dire que c’est disqualifiant, pas seulement de la contextualisation.
Même si l’IA se révèle pouvoir accomplir tous les rêves qu’on imagine. Il n’est peut être pas possible de combiner avoir des IA qui ont la singularité et survit de notre espèce. Même avec l’IA la plus légère, se mettre à utiliser des IA pour n’importe quel texte écrit, n’est pas compatible avec notre vie sur Terre.
Je suis entièrement d’accord avec ça, et c’est justement pour ça que je "pousse" contre le discours "l’IA c’est juste un nouveau hype vide de substance". C’est juste un moyen de ne pas s’inquiéter, exactement comme certains utilisent l’argument "le réchauffement climatique n’existe pas" pour ne pas s’inquiéter.
"si l'univers (et ses lois) est calculable ou approximable, alors on peut l'approximer", ce qui semble un peu une banalité
Ce n’est pas ça, c’est "nous connaissons la formulation mathématique permettant de l’inducteur idéal, et nous pouvons étudier ses caractéristiques".
D’où, ailleurs dans le journal, ma métaphore avec la Thermodynamique.
La seconde loi était initialement (enfin, une de ses multiples formulations) : "il est impossible de déplacer de la chaleur d’un corps froid vers un corps chaud sans fournir de travail" (je crois que c’est la formulation de Clausius, de mémoire ?).
"Ça me semble une banalité. Et alors ?", dit Thomas Douillard en 1830.
Et alors ça te permet de dériver le moteur de Carnot, un moteur idéal qui te permet d’analyser les performances d’un moteur parfaitement efficient, et ses caractéristiques.
"Et alors ? Si c’est un moteur idéal qu’on ne pourra jamais construire ?"
Et alors… j’en sais rien. On retombe dans "la plaie du prof de maths". Je ne saurai te dire quand la dernière fois j’ai résolu pour de vrai une équation différentielle, n’empêche que je suis content de savoir ce que je sais sur le sujet.
Tu dis "on s’en fiche un peu du rasoir d’Occam", mais c’était considéré comme un point important de la philosophie des sciences bien avant que Solomonoff ne publie ses articles ! Étais-ce à tort ? Je te laisse discuter ça avec des philosophes, je ne me sens pas assez confiant pour ça pour le coup.
Pour être plus précis : cette notion de "concept important", je n’arrive pas à la défendre ou la formaliser. Je suis incapable de te défendre "l’importance de l’induction de Solomonoff" au même titre que je suis incapable de te défendre "l’importance d’étudier la théorie des équations différentielles" ou "l’importance du moteur de Carnot". Le problème vient de moi, pas de l’induction de Solomonoff/la théorie des équations différentielles/le moteur de Carnot.
Par exemple un truc qui serait intéressant d'un point de vue épistémique serait de savoir comment ce genre de théorie apporterait un éclairage sur les problématiques de la théorie des cordes, qui est critiquée pour avoir trop de paramètres libres qui lui permettent de s'adapter à n'importe quelle observation sans forcément permettre de rajouter grand chose à son pouvoir prédictif par l'observation.
Intuitivement, selon l’induction de Solomonoff ?
"Trop de paramètres" n’est pas pénalisé directement en soi, c’est pénalisé indirectement par la complexité de la sous-routine "trouver les paramètres à partir des observations", qui doit bien être implémentée quelque part dans la machine de Turing StringTheory.
(ce qu’on pouvait déjà voir sans l’induction de Solomonoff pour être honnête — la théorie de Wolfram a le même souci de pouvoir s’adapter à n’importe quelle observation, et n’a aucun paramètre libre)
Aurais-tu raté le point où je prends les plus sceptiques parmi les connus ? Peux-tu me citer plus sceptique que François Chollet et Yann LeCun ? Certainement pas : Yoshia Bengio, Geoffrey Hinton, Paul Christiano ou Illya Sutskever. Et je pense donc qu’on vient de faire le tour des plus connus ? Qui ai-je loupé ?
Je peux trouver plus sceptique, mais il va falloir sortir du domaine de l’IA (Gary Marcus, psychologue et sciences cognitives).
C’est toi qui n’a pas compris ce que je voulais dire, je pense.
Ce qu’il se passe si le vent tourne… tu n’en sais rien. Et moi non plus. Les comptes de OpenAI ne sont pas publics. Si le vent tourne, ça veut dire qu’ils coupent la R&D et l’entraînement de nouveaux modèles, baissant drastiquement leurs coûts. Sont-ils positifs après ces coupes ? Toujours négatifs ? Qui sait ?
Mais le fond de la question est que le vent souffle dans ce sens pour une bonne raison, et qu’il va falloir que la raison disparaisse pour que le vent arrête de souffler. François Chollet l’explique mieux que moi, alors laissons lui la parole :
Let's spell this out. Time for some game theory. If you assume that:
In the future, AI will be central to all economic activity (this is pretty obvious if you can read charts)
Lots of companies, big and small, are currently racing to develop key tech and infra to make it happen
Then in fist approximation, there are 3 possible futures ahead if you're a tech giant:
Invest in AI, and it pays off—you now own a slice of the future.
Invest in AI, but others out-execute or simply outspend you. You are now a legacy company.
Don't invest in AI. You are now a legacy company.
The only logical move is to invest in AI. In fact, you should invest pretty much everything you can spare, in order to maximize your chances of outcome (1). This is true regardless of whether your current investments appear to be paying off (right now they aren't).
AI isn't exactly a business, at least not right now. It's an ascendant platform—it's the substrate for all business in the future. The money invested in AI by big tech right now isn't expected to yield an immediate return, its purpose is to secure a share of the future.
A large chunk of everyone's available cash will keep pouring into AI for the foreseeable future, because its importance will keep increasing as capabilities improve (and they're improving fast) and adoption grows—similar to the Internet in the early 2000s
You might ask, ok, but will it pay off for them?
That's the wrong question. The right question is, what's the alternative—letting a completely new crop of companies own the future, as happened with the Internet wave? Of course big tech is going to put up a fight.
.
À "on imagine qu'on en est proche". Pour le moment c'est du domaine de la fois.
Et c’est là qu’il faut distinguer la "bonne prudence française" du pur cynisme.
"Le futur est incertain", c’est de la prudence.
"Du domaine de la foi" c’est du cynisme.
Déjà j’aimerais que tu me présentes les chercheurs "qui ne sont pas si confiants que ça". Dans les connus pas confiants, tu as Yann LeCun (qui… a un intérêt dans les technologies actuelle, donc je ne vois pas pourquoi tu considères ça comme disqualifiant) qui dit :
I said that reaching Human-Level AI "will take several years if not a decade."
Oui, il est moins confiant que Dario/Altman qui disent 2-5 ans. La différence n’est pas non plus énorme.
Tu as également François Chollet, qui a… récemment lancé son labo privé (décidément, peut-être que les chercheurs ont un peu d’intégrité et sont capable de dire ce qu’ils pensent plutôt que ce qui est dans leur intérêt ?) :
The trap is to think that, just because dim-witted people hype it up, AI isn't real. It's extremely real, and it will be a much bigger thing in 5 years than it is today, and then an even bigger thing in 10 years.
Tant que tes investisseurs ne demandent pas de retour sur investissement et que pour une raison ou une autre ils se mettent pas à perdre confiance.
Chez OpenAI en tout cas, les investisseurs peuvent demander ce qu’ils veulent, ils n’ont aucune pouvoir de contrôle :
The nonprofit, OpenAI, Inc., is the sole controlling shareholder of OpenAI Global, LLC, which, despite being a for-profit company, retains a formal fiduciary responsibility to OpenAI, Inc.'s nonprofit charter. A majority of OpenAI, Inc.'s board is barred from having financial stakes in OpenAI Global, LLC.[35] In addition, minority members with a stake in OpenAI Global, LLC are barred from certain votes due to conflict of interest.[36] Some researchers have argued that OpenAI Global, LLC's switch to for-profit status is inconsistent with OpenAI's claims to be "democratizing" AI.[45]
Et la dynamique derrière c’est : tout le monde pense que le premier à atteindre le saint Graal est l’acteur économique dominant pour les 30 prochaines années, à un niveau supérieur à Microsoft/IBM/Google à leur pic.
Ça ne s’écroulera pas tant qu’il y a des axes de progression possibles, parce que tout le monde est persuadé qu’il doit rester dans la course. Si demain les scaling laws stoppent, que tout progrès s’arrête, et qu’on est toujours pas au saint Graal, là les investisseurs commenceront à paniquer. On en est loin.
Salesforce est sensé avoir une IA ne demandant pas de supervision et ils sont finalement entrain de recruter parce qu'en fait ça marche pas si bien.
Oui enfin faut dézoomer un peu. On est passé en moins de 5 ans à "c’est de la SF complète" à "c'est pas encore tout à fait là".
J’ai pas une bonne mémoire, mais je ne cesse de m’étonner de l’absence de mémoire collective sur ce sujet. Tu me dis en 2019 "on a d’ici 5 ans une IA qui passe le test de Turing, qui est capable de faire une bonne partie du boulot d’un développeur, qui est capable de résoudre des problèmes de maths niveau licence/master, qui est un meilleur professeur que les profs d’universités prestigieuses", je te demande si tu as oublié de prendre tes cachets, et de quel asile tu t’es enfuit.
Le but de l’inducteur de Solomonoff n’est pas de comprendre l’univers en-lui même, mais d’avoir une formulation mathématique d’un "inducteur idéal" pour pouvoir étudier le problème de l’induction.
Pour le moment aucune entreprise d’IA n’est rentable
C’est pas l’objectif ; l’objectif c’est "AGI ou bust". Si tu es rentable ça veut dire que tu investis pas assez.
Il va falloir que ça finisse par générer BEAUCOUP d’argent à un moment où à un autre
Tu as une AGI tu automatises tous les boulots, de la compta à l’ingé, en passant par les tâches physiques une fois que ton AGI-chercheur fait de la robotique :
AGI
???
Profit
Évidemment, il y a un petit souci à (2) si les gens se rendent compte de l’objectif final, mais j’ai l’impression que ça leur passe par dessus la tête.
Si par exemple tes données ne permettent pas d'avoir des critères déterministes pour définir cette fonction, sauf erreur de ma part tu ne peux pas borner ta fonction.
Je n’ai pas compris ta remarque. Quelle fonction ? Une hypothèse individuelle dans la mixture ou la distribution de probabilités finale ? Ou la "vraie" distribution de probabilité sur les observations ?
(toutes sont trivialement bornées par 0 et 1, mais je ne vois pas en quoi ça aide :))
C'est toujours une hypothèse ultra forte.
C’est une hypothèse extrêmement faible. Je crois que tu ne te rends pas compte à quel point cette hypothèse est faible :
Et s'il faut descendre, je sais pas, au niveau atomique pour recupérer une forme de déterminisme … Il te faut des quantités de données qu'on ne peut pas tevr stocker de sitôt.
Tu n’as pas besoin d’une fonction déterministe : "l’environnement" est aussi modélisé probabilistiquement (la distribution de probabilités des observations).
Je te rappelle qu’on essaie pas de construire physiquement (ou digitalement) un inducteur de Solomonoff. On sait que ce n’est pas calculable ! Le stockage et la puissance de calcul ne sont pas un facteur limitatif, et sont ignorés dans le formalisme.
"Descendre au niveau atomique" ? Tu vise bien trop bas. Tu peux descendre au niveau subatomique. Tu peux descendre au niveau du modèle standard. Tu peux prendre l’univers entier de toutes les théories des cordes.
Et tu n’as pas besoin de le faire toi-même. Pour peu qu’il existe une fonction calculable qui est capable d’approximer la "vraie" distribution de probabilité des observations au niveau de détails désiré, l’induction de Solomonoff atteindra ou dominera cette approximation. Quand je dis "l’induction de Solomonoff ne peut que faire mieux que les meilleures théories calculables, même dans un univers non-calculable", ça inclut toutes les théories physiques possibles (pour peu qu’elles soient calculables).
Posté par Moonz .
En réponse au journal Le Rationalisme.
Évalué à 2.
Dernière modification le 09 février 2025 à 19:07.
pour une démarche de fondation supposée poser des principes elementaires
Je n’aime vraiment pas le terme de "fondations" (oui, j’ai utilisé piliers, et alors ? :D), à cause la connotation de "inamovible". L’approche est plus une approche de "our best guesses", avec l’astérisque qu’on est toujours preneur de mieux.
assuming the universe is run by a computer program
Tu entres là plus profondément que dans l’introduction "semi-technique" pour mettre les deux pieds dans la technique, et je ne suis pas certain d’avoir tout compris (ou plutôt, je suis certain de ne pas avoir tout compris, je ne suis juste pas certain d’à quel degré je n’ai pas tout compris — le problème de l’amateur qui n’a pas un professeur pour lui dire quand il est à côté de la plaque), mais de ce que j’ai compris :
Le but de l’induction de Solomonoff est de montrer que dans la limite la distribution de probabilité sur les observations s’approche de manière arbitrairement proche de la "vraie" distribution générée par l’environnement. Cela nécessite que la "vraie" distribution soit dans la même classe de calculabilité que les hypothèses, donc calculable.
(le précédent point n’est pas complètement correct, la "vraie" distribution n’a pas besoin d’être calculable, seulement lower-semicomputable)
Si ta "vraie" distribution ne l’est pas, tu perds le résultat que l’induction de Solomonoff s’en approche asymptotiquement. Cependant : l’induction de Solomonoff domine toujours (asymptotiquement) toute autre distribution calculable (ou semi-calculable) ; s’il existe une approximation calculable à la "vraie" distribution, alors l’induction de Solomonoff la domine (ou s’en rapproche, si c’est la meilleure approximation possible).
Autrement dit, informellement parlant, l’induction de Solomonoff ne peut que faire mieux que les meilleures théories calculables, même dans un univers non-calculable.
L’énervement viens plus de l’incompréhension que de l’enjeu.
Regarde l’autre fil de discussion qui s’est échauffé un peu (pas par ma faute cette fois !). Juste sur la notion de "solution analytique". La dispute ne vient pas de l’enjeu, tout le monde s’en fout. C’est une incompréhension entre deux personnes, posée sur un ton un peu hautain, puis escalade, puis retranchement dans les positions suite à l’escalade, etc.
La communication entre humains c’est difficile. C’est facile de créer des incompréhensions. C’est facile d’interpréter une incompréhension en "mon interlocuteur est obtus". C’est naturel de répondre à "mon interlocuteur est obtus" en haussant le ton.
J'ai du mal à trouver un immense potentiel de fécondité à tout ça en approchant les choses de manière purement théorique, avec ce type de théorèmes.
C’est une chose toujours difficile à communiquer.
Pour caricaturer un peu : "J’ai du mal à trouver un immense potentiel de fécondité dans la discipline qui ne fait au fond qu’étudier des tautologies" (les mathématiques). Et pourtant… Et les mathématiciens eux-même, si tu leur demandes "c’est vraiment utile votre truc"… la plaie bien connue des professeurs de mathématiques.
Je te conseille de rouvrir le texte sur l’induction de Solomonoff, et de passer directement (Ctrl-F) à "Got a list of the good advice you think is derivable?". J’aime beaucoup le point 5, qui est évident une fois lu et non-évident si tu ne l’as pas lu.
Pas supprimer les émotions, mais essayer de préserver des normes de débat constructives. C’est un problème difficile même quand toutes les parties prenantes font de leur mieux, un combat constant contre le résultat par défaut qui est "tout le monde se hurle dessus contre-productivement". Faire un effort de crier moins fort que l’interlocuteur est un de ces outils (et oui, je ne suis pas toujours à la hauteur de mes propres ambitions).
Encore une fois, quand on me dit "j’ai pas lu mais c’est ridicule", je m’énerve. Et je ne critique pas en moi-même cet énervement ! C’est naturel et sain ! Mon auto-critique porte sur l’action de "répondre en essayant de crier plus fort", qui est pour le coup naturel mais malsain. Les deux choses sont différentes.
A popular belief about “rationality” is that rationality opposes all emotion—that all our sadness and all our joy are automatically anti-logical by virtue of being feelings. Yet strangely enough, I can’t find any theorem of probability theory which proves that I should appear ice-cold and expressionless.
Many people who struggle with excessive guilt subconsciously have goals that look like this:
* […]
* I don’t want to have upsetting emotions.
* I want to stop having feelings.
These are what I call the life goals of dead people, because what they all have in common is that the best possible person to achieve them is a corpse.
[…]
If you want to be dead, that’s your own business. But if you would like to continue to be alive, it’s a bad idea to set goals for yourself that boil down to “try to get as close as possible to being a corpse while continuing to respire and consume nutrients.”
If I were an actor in an improv show, and my prompt was “annoying person who’s never read anything about rationality, criticizing rationalists”, it would go something like:
[…] Anyway, rationality isn’t everything – instead of pretending to be Spock, people should remain open to things like emotions, art, and relationships. […]
They [Modern rationalists] have said approximately onezilliontimes that they don’t like Spock and think he’s a bad role model. They include painters, poets, dancers, photographers, and novelists.
Posté par Moonz .
En réponse au journal Le Rationalisme.
Évalué à 3.
Dernière modification le 07 février 2025 à 22:29.
Alors s'il faut argumenter…
Heu… oui ? C’est le but dans une discussion ? Sinon pourquoi prendre la peine ?
Il faut surtout être sérieux deux minutes.
Mais encore ? J’ai fait le pitre quelque part ?
Je te demande de me définir une distribution de probabilité sur des événements du type « Le Canada envahit les États-Unis » (le personnage de Blaine affirme que la magie du théorème de Solomonoff permettra de la déterminer) et vous me répondez en substance : considérant que l'univers est un automate à états finis alors on peut déterminer une telle distribution de probabilité, et en plus ça tombe bien on se retrouve dans le cas d'application du théorème. Vous pensez sérieusement que l'univers est un automate à état fini et que, par exemple, le travail des physiciens consistent à déterminer les lois qui régissent ses transitions ? Si c'est le cas, alors oui, il faut consulter. ;-)
Bon, dernier essai. Et c’est bien parce que je suis d’extrêmement bonne humeur. Tout ce que je vais dire est écrit dans le texte. Je vais tout de même, en bon prince, faire l’effort de l’expliquer moi-même (de manière inférieure au texte originel).
L’induction de Solomonoff ne vise pas à définir un agent (note: j’écris agent par réflexe, mais dans ce cadre c’est juste un observateur passif, pas un agent) omniscient et objectif capable d’observer, représenter et prédire l’évolution de l’univers entier. Le but est de modéliser "quelles inférences peut faire un agent à partir de ses observations ?"
La distribution de probabilités en question est une distribution de probabilités sur les séquences des observations de l’observateur considéré. Donc quand tu dis "Je te demande de me définir une distribution de probabilité sur des événements du type « Le Canada envahit les États-Unis »", la réponse est que… personne dans ce contexte n’essaie de faire ça.
Comme tu aimes les probabilités : les séquences de bits (0 et 1) calculables par un tel algorithme sont récursivement énumérables. On peut identifier une telle suite à un réel dans le segment [0; 1]. Si on considére la distribution de probabilité uniforme sur cette intervalle, quel est est la probabilité de tomber au hasard sur un nombre calculé par l'algorithme ? Pour de simple raison de cardinalité, cette probabilité est nulle. Certes l'ensemble est dense dans l'intervalle pour sa topologie usuelle, mais il pèse peanuts.
Petit détail : on se limite aux séquences finies (pas d’observateur immortel), donc l’ensemble des séquences d’observation est dénombrable. De manière plus centrale, pourquoi diable prendrais tu la distribution uniforme ? Le but de l’induction de Solomonoff est de sortir une distribution de probabilités sur les séquences d’observations, à aucun moment tu n’as besoin de partir de la distribution uniforme.
Je n’ai aucun doute que tu vas trouver de nouvelles "objections" qui sont abordées noir sur blanc dans le texte, donc : je m’engage en avance à ne pas répondre à un autre "gotcha" dont la réponse est trivialement dans le texte. Je ne répondrai que si je vois un réel effort d’essayer de comprendre.
ce que je perçois chez Yudkowsky
Ce que tu perçois sans le lire ? Les Kantiens ont-ils donc des pouvoirs d’extra-perception ?
Tout ton exposé sur les liens entre Kant et la logique au 20e siècle est (sans aucun sarcasme !) intéressant, mais… je ne vois pas où tu veux en venir ? La seule chose que j’aurai à répondre à ça, c’est: si tu penses nous apprendre des choses, je te conseille de faire des recherches sur lesswrong, et tu verras que tous ces sujets ont été abordés un moment ou à un autre, mais merci pour la bonne intention, je suppose. Si tu penses m’apprendre des choses, encore merci pour l’intention, mais j’ai déjà un plan d’apprentissage, certaines des choses que tu cites sont déjà couvertes, d’autres déjà dans le plan, d’autres ne sont pas ma priorité.
Ce qui, dans un autre sens, est d’autant plus rageant : plus je te lis, plus j’ai l’impression que si on discutait amicalement autour d’un verre au lieu de se lancer des noms d’oiseaux, plus on se rendrait compte qu’on est d’accord sur beaucoup de points (sauf peut être sur mes hétérodoxies personnelles, mais c’est le principe là dessus que personne ne soit d’accord avec moi).
Reste à savoir si le Collège de France fait de la bonne science et de la bonne épistémologie.
Pure projection. Je ne crois pas avoir avoir dit où que ce soit dans le journal ou dans les commentaires que le reste du monde était bon à jeter aux orties et à l’opprobre populaire. Les "piliers" que j’ai cités sont tous hors du mouvement et le précèdent ! Comment peut-on raisonnablement en déduire "mouvement sectaire qui méprise le reste du monde ?" J’ai même dit dans un autre commentaire « nos principes nous autorisent à manger à tous les râteliers (avec prudence) ».
Je peux comprendre les réactions épidermiques après avoir écrit comme un pied dans le journal initial mais… je pense avoir assez clarifié depuis, non ?
Posté par Moonz .
En réponse au journal Le Rationalisme.
Évalué à 1.
Dernière modification le 06 février 2025 à 22:55.
C'est assez moche pour des idées supposées maximiser le bonheur, conséquentialistes qui plus est, de n'avoir comme conséquence principalement des exemples facheux.
Ne dramatisons rien : FTX/SBF est loin d’être la seule conséquence de EA, et la plupart des organismes affiliés EA sont positifs (GiveWell, OpenPhilantropy, Giving What We Can,…)
Un des problème évidemment c'est que la volonté de tout quantifier induit la volonté de trouver une métrique, financière parce que ça permet d'agréger tout et n'importe quoi (dans un gloubiboulga informe). Finalement ça ne fonctionne pas, parce que ce n'est pas une bonne métrique pour plein de raison dans pleins de cas. Ça illustre très bien l’impossibilité pratique, même avec des théorèmes mathématiques corrects, de mettre des poids sur les variables statistiques dans un cadre à prétention aussi générale. Et mettre des poids sur les variables statistiques (qui sont à identifier aussi, gros problème) est un des fondements de la théorie.
J’ai relu trois fois, je ne pense pas comprendre ce que tu essaies de dire.
Ceci dit : si tu essaies de me faire défendre l’utilitarisme (ce que je pense deviner être la substance de ton message ?), tu t’adresses à la mauvaise personne. Je n’y crois pas non plus. Non pas parce que les théorèmes malgré leur existence sont inutilisables comme tu sembles le dire, mais parce qu’ils n’existent tout bonnement pas ; il n’y a pas de manière claire pour agréger des fonction d’utilités, il n’y a aucune raison de penser que les préférences humaines soient modélisables en termes de fonction d’utilité, ou qu’il soit possible d’agréger des préférences rationnelles en une fonction d’utilité rationnelle ; au contraire, le Théorème d'impossibilité d'Arrow tend à pointer assez rapidement le bout de son nez.
(avec en plus l'énorme écueil, pour ce qui est du financier, que ça n'a absolument rien à dire sur les sciences de la nature. Jupiter est-elle ronde ? 199€ !
De Finetti fonde sa formulation de la théorie des probabilités sur des paris, il y a peut-être un rapprochement à faire :)
(tu serais également surpris de l’appétence de la finance pour recruter des physiciens. Par exemple, le modèle de Black-Scholes est essentiellement un problème physique de diffusion, et des modèles plus complexes rencontrent les mêmes difficultés qu’en physique, d’où la stratégie de recrutement. De ce qu’on m’a dit, en tout cas)
Tu sembles aussi évoquer les conséquences sociales, avec certaines entreprises du mouvement crypto notamment. On peut tout à fait considérer que ces entreprises ont plus d'échecs sur bien des objectifs qu'on peut considérer désirables que fait de bien globalement.
J’ai bien écrit "côté obscur" : FTX (géré par SBF) est l’Enron de la crypto. "plus d’échecs que de bien" est manière bien optimiste de présenter les choses :)
Ce que je veux dire par tout ça, c’est qu’il y a une affiliation directe entre LessWrong et EA, et directe entre EA et SBF. Et une illustration qu’il commence à y avoir des ramifications dans le monde réel, hors de blogs sur internet.
De ce point de vue, a-t-on réellement besoin de regarder les "idées importantes" pour ne pas être convaincus que ces idées mènent à des actes désirables, et que bien d'autres approches auraient pu voir venir la chose ?
"Besoin" ? Probablement pas. Ça reste un axe d’analyse intéressant, pertinent, sur des sujets qui gagnent en importance.
Je comprend parfaitement le point de vue. Ceci dit… c’est plus symétrique qu’il n’y paraît.
Parlons en termes de VoI (Value of Information). C’est essentiellement ce que tu sous-entend, en somme "la vie est trop courte pour écouter tous les charlatans". C’est un excellent angle d’analyse je trouve. Le monde universitaire considère tout ce qui est extérieur comme a priori bas en VoI, et n’a aucune intention de dépenser énormément d’énergie pour ça. C’est une stratégie compréhensible.
Mais dans l’autre sens, pour un individu à peu près convaincu par le framework rationaliste, tu proposes qu’il dédie une partie significative de sa vie à suivre les rites d’initiation occultes pour entrer dans le cercle sacré des Philosophes Universitaires et pouvoir débattre avec eux pour soit les convaincre ou trouver quelques erreurs. Le prix est élevé.
Il y a un effet de sélection ici : si tu penses tellement plausible qu’une partie significative du framework rationaliste est faux que la VoI gagnée vaut un tel sacrifice… tu n’est en fait pas rationaliste, et tu ne fais pas ces efforts ?
Plus clairement, si je prend 10 ans de ma vie, que je tente ce plan, et que j’y arrive (impossible pour moi, il faut savoir écrire :)), qu’est-ce que je gagne au final ? Le droit de gagner instantanément un débat sur DLFP ? Votre honneur, je préfère garder mes dix ans de ma vie.
Prenons l’exemple de Yudkowsky. Il aurait pu après avoir écrit ses Séquences décider de suivre ce chemin. Pourquoi est-ce qu’il ne l’a pas fait ? Parce qu’il a considéré beaucoup plus important et utile de travailler sur d’autres sujets, principalement sur ce que je pensais être sa marotte bizarre du moment, l’IA. Rétrospectivement, difficile de lui donner tort sur le sens des priorités (même si les résultats ne sont pas là).
Ton point de vue est "les universitaires ne doivent rien aux rationalistes". Je suis d’accord.
Je dirai également que "les rationalistes ne doivent rien aux universitaires" est tout aussi correct. Tu vas dire "ne vous plaignez pas de ne pas être pris au sérieux par les universitaires". Je répondrai: "c’est fâcheux, mais je dois bien l’accepter".
Pour moi la question plus intéressante est : est-ce qu’un de ces deux groupes doit quelque chose au public ?
Et pour moi oui, ici, il y a une certaine asymétrie dans les devoirs. C’est le rôle des universitaires de faire ce travail d’analyse des idées importantes, non pas pour le bien et le profit des rationalistes, mais pour le public et la société. Le devoir des rationalistes envers la société est largement moindre.
J’ai glissé un mot simple qui influe fortement la conclusion dans mon dernier paragraphe : "importantes". C’est quelque chose que je n’ai pas abordé dans le journal. Ce n’est pas juste un type bizarre (Yudkowsky) sur un blog sur internet. C’est un mouvement de plus en plus important qui a une influence certaine sur des sujets importants (IA, Effective Altruism). Du côté obscur: voir SBF (l’affiliation n’est pas directe, mais l’honnêteté oblige à reconnaître une affiliation indirect). Rien que Astral Codex Ten (aka Yvain aka Scott Alexander), c'est 78000 abonnés payants (pour un blog gratuit), des rencontres communautaires dans plus de 50 pays et 170 villes (https://www.astralcodexten.com/p/spring-meetups-everywhere-2024). Sur, rappelons-le, ce qui est essentiellement un sujet essentiellement philosophique, totalement hors du centre d’intérêt de la vaste majorité des individus.
Ça fait un peu broche publicitaire, mais ce n’est pas l’objectif, l’objectif est de remarquer qu’on est au-delà du charlatan isolé, et de demander si on ne commencerait pas à entrer dans le domaine de "devoir moral des universitaires d’informer le public et la société" ? Si ce sont des charlatans, ce n’est pas le genre de charlatans à ignorer, mais le genre de charlatans à réfuter, pour le bien du public, non ?
Posté par Moonz .
En réponse au journal Le Rationalisme.
Évalué à 2.
Dernière modification le 06 février 2025 à 19:56.
Ce qui peut être critiqué, probablement et en particulier si c'est en partie de l'amateurisme, c'est si il n'y a pas vraiment de publication académique qui confronte à des épistémologues universitaires qui pourraient en faire une lecture pertinente.
Tout à fait, je trouve ça regrettable également. Ceci dit on peut difficilement mettre un pistolet sur la tempe des philosophes du monde académique et leur dire : "maintenant vous lisez les Séquences et vous faites une critique complète et réfléchie".
La communauté est ouverte à tous. Il n’y a pas de questionnaire "êtes vous un philosophe universitaire ?" qu vous bannisse à vie si vous répondez oui. La communauté reconnaît très largement l’importance des Séquences, ce qui signifie qu’un philosophe académique qui veut s’y intéresser et critiquer sait exactement quel matériel engager, sans tomber dans un risque que la communauté réagisse en mode "OK vous avez bien critiqué les points centraux des Séquences, mais ce n’est pas vraiment ce qu’on pensait réellement en fait, nananère".
Après, comme cité ailleurs dans un autre commentaire, il y a tout de même Bayesian Epistemology sur Stanford Encyclopedia of Philosophy. C’est un début. Trop peu, très tard à mon goût, mais un début.
Corrige moi si je me trompe mais là on en est toujours là avec la promesse qu'on va avoir assez de données à refiler à un technique d'apprentissage automatique, avec une classe de modèle "universels", avec aussi la promesse que les modèles seront super simples et qu'ils vont être compréhensibles par des humains ?
Tu te trompes, le projet est principalement "tirer des leçons, des outils, et des heuristiques" pour des humains (il y aurait potentiellement une digression à faire sur l’IA ici, mais ne complexifions pas les choses ?)
Je pense que tu as sur-interprété la tentative de discussion sur l’induction de Solomonoff ? Le but n’est pas de dire : "nous allons en 5 ans développer une version pratique de l’induction de Solomonoff, un Raisonneur Universel quasiment parfait", le but est d’en tirer des leçons pratiques comme "le rasoir d’Occam est-il justifiable, et si oui, parmi les multiples variantes qui ont été proposées, une est-elle meilleure ? Laquelle ?"
et, en plus (sans doute un peu pour troller) avec cette tendance que peuvent avoir certains rationalistes à dire "si ça ne respecte pas nos critères épistémique, ça ne vaut rien c'est pas de la science".
Du tout non, nos principes nous autorisent à manger à tous les rateliers :)
Posté par Moonz .
En réponse au journal Le Rationalisme.
Évalué à 3.
Dernière modification le 06 février 2025 à 15:24.
Non, tu m’as compris de travers, je parle pourtant bien du journal, pas des commentateurs. Quand tu vas voir le pedigree des gens qui sont référencés dans le journal, ça fait peur. On est plus sur de l’autoproclamé chercheur, le “toutoulogue” qui saute du Covid à l'IA (tout ce qui peut amener de l’audience…), peu d’institutions sérieuses (universités, labos), essentiellement du post de blog, des “instituts”, privés, et ainsi de suite. Tous les redflags s’allument, ça pue à 1000km à la ronde
Je vois beaucoup de mépris, bien peu de substance. Essayons de répondre tout de même, même si ce message me donne bien peu de points d’accroche pour discuter calmement et objectivement.
Oui, je cite principalement un travail de vulgarisation (lesswrong). Yudkowsky et les Séquences plutôt que "tapez vous Jaynes et Solomonoff et Tversky et Kahneman" (et tous les autres, il n’y a pas que ces quatre noms). Je ne vois pas en quoi c’est problématique.
Je trouve le mépris pour l’amateurisme assez déplacé. Il n’y a pas besoin d’avoir un permis pour apprendre, réfléchir et partager ses résultats. C’est même un des grands cadeaux d’internet. La communauté open-source est fondée là dessus — il ne viendrait à personne l’idée de dire "pour contribuer, il va falloir que vous me présentiez votre diplôme d’ingénieur". La communauté scientifique a eu son lot de contributions "d’amateurs". Et ça continue, d’ailleurs (BB(5), Marjorie Rice, pour ne citer que les plus connus).
(empirisme, primauté du quantitatif sur le qualitatif, idéalisme philosophique)
Tu es bien le premier à émettre la critique "trop d’empirisme". En un sens ça fait franchement plaisir, mais je crois que tu vas un peut trop loin dans la flatterie — je pense que la critique inverse, pas assez d’empirisme malgré les aspirations à plus d’empirisme est plus correct.
Et je vois mal comment tu peux conjuguer "trop d’emphase à la fois sur l’idéalisme d’un côté, et sur l’empirisme et le quantitatif de l’autre". Ça me semble quelque peu antinomique. Mais j’ai possiblement mal compris ton propose.
Et de plus : qu’as-tu lu exactement pour de permettre de juger aussi rapidement du contenu ? Parce que si c’est juste mon journal, je crois qu’il est assez clair à présent qu’il est mal écrit, mal expliqué, et que se baser uniquement dessus pour se faire une idée globale des choses est pour le moins malavisé.
Pour conclure : pour moi, l’esprit critique, ça demande en premier lieu d’essayer de comprendre ce qu’on veut critiquer, pas rejeter réflexivement. Tu es tout à fait dans ton droit de dire : "ça ne m’inspire pas confiance, je ne vais pas perdre mon temps là dessus", et je serai le premier à comprendre (voire approuver ; le temps est précieux). Par contre, "ça ne m’inspire pas confiance, donc c’est des charlatans" me semble aller un peu vite en besogne. Une variante du Bulvérisme.
(et je dispute pas vraiment l’aspect "ça ne m’inspire pas confiance", pour être clair, que je peux comprendre, mis à part l’attitude "montrez votre permis ?")
Posté par Moonz .
En réponse au journal Le Rationalisme.
Évalué à 1.
Dernière modification le 06 février 2025 à 14:00.
Oui, évidemment, si tu poses le calcul, l’aspect "biais" disparait rapidement.
Où je voulais en venir : si tu es l’Evolution, et qu’il se trouve que "agir plus rationnellement" (dans le sens de homo œconomicus) est avantageux, mais que tes humains ne sont pas encore au niveau d’avoir inventé l’économie et les maths (et encore moins la révolution marginaliste), tu veux instiller un peu de raisonnement "marginaliste" dans les raisonnements intuitifs. Il est possible que le prix à payer soit que dans certaines situations l’intuition se mette à ignorer les coûts passés (qui ne rentrent pas dans le raisonnement marginaliste).
(mais évidemment, tout ceci est hautement spéculatif)
Posté par Moonz .
En réponse au journal Le Rationalisme.
Évalué à 3.
Dernière modification le 06 février 2025 à 13:44.
Wikipedia anglais redirige "Analytic solution" vers "Closed-form expression", sans mentionner le mot "analytic" dans le début de la page en tant que synonyme. Je remarque également que les usages de "analytic" sont annotés "vague" et "citation needed". C’est pour ça que je dis "usage informel".
Mais oui sur le fond je suis entièrement d’accord : l’usage informel est répandu et parfaitement clair, je ne vois mal un contexte où il serait raisonnable de s’en effaroucher, encore moins ici.
Mais je ne suis même pas sûr que ça représente bien l'usage, puisqu'il est suggéré qu'une solution faisant intervenir une fonction spéciale est "analytic" mais pas "closed-form", ce qui me semble fondamentalement problématique: les fonctions spéciales sont "juste" des intégrales compliquées qui reviennent souvent et dont l'usage a fixé le nom, mais rien de les distingue d'une intégrale sans solution "élémentaire" que tu définirais toi-même. Du coup, le tableau ne me semble pas très cohérent, il a en fait trop de colonnes (ou bien la ligne "integral" n'est pas bien remplie).
Je pense (en réfléchissant 5 minutes, source: mon cerveau, donc je peux très bien m’être planté) que la distinction "closed-form expression"/"analytic expression"/"analytic function" est que "analytic expression" essaie de formaliser un entre-deux (entre analytic function et closed-form expression). La case qui me semble importante est "convergent infinite series" : on se rapproche de l’idée des fonctions analytiques, tout en restant dans le domaine des expressions énumérables, à l’opposé de l’ensemble des fonctions analytiques qui est non-énumérable.
Merci pour les encouragements, j’avoue que j’avais besoin d’un peu de baume au cœur :)
Je pense ne m’être énervé que sur un interlocuteur, et je ne vois pas comment répondre de manière mesurée et constructive à "j’ai pas lu mais c’est ridicule". Si le message est : j’aurai juste dû ne pas répondre… oui, tu as probablement raison. Mais ce n’est pas toujours facile.
[^] # Re: Est-ce que je résume correctement ?
Posté par Moonz . En réponse au journal Quoi penser de l'IA dans mon monde de linuxien .... Évalué à 1.
Il faudrait pourtant, si tu veux te faire une idée précise de ce qu’il se passe. Je vais juste prendre un exemple de ton message :
L’étude date de 2022 et utilise un modèle (Codex) de 2021. C’est avant la découverte des scaling laws modernes, quand on entraînait encore des modèles d’une manière extrêmement sous-optimale !
Les modèles d’aujourd’hui ?
o3 a un score Elo de 2700+ sur codeforces.
[^] # Re: Pas si pas clair
Posté par Moonz . En réponse au journal Le Rationalisme. Évalué à 2.
On est exactement dans la même démarche.
"On ne comprend pas la chaleur, essayons de créer un cadre pour comprendre la chaleur."
"On ne comprend pas l’induction, essayons de créer un cadre pour comprendre l’induction."
On ne part pas d’un théorème pré-existant ! Le papier initial de Solomonoff part de ce questionnement, prend quatre approches différentes, arrive à quatre théorèmes différents, dont les 3 derniers qui se révèlent être équivalents (il soupçonne le premier de l’être également, mais je crois que la question est toujours ouverte là dessus).
Heu… non ? Dans l’introduction semi-technique il y a toute une partie "limitations de l’approche" qui expose très bien que ça ne peut pas être l’alpha et l’omega.
Non, le théorème définit une distribution qui n’est pas calculable.
Donc oui, on sait très bien qu’on ne peut pas utiliser Solomonoff pour refonder toute la connaissance. Sauf si on arrive à mettre la main sur un hypercalculateur, mais je ne retiendrais pas mon souffle :)
Solomonoff peut extraire plus d’informations des observations que toutes les théories calculables. Si nos théories extraient plus d’informations que Solomonoff, alors ces informations, et les théories d’où elles viennent, sont fausses. Ce qui est pire que "on sait pas".
Solomonoff a des limitations (dont, encore une fois, "pas utilisable en pratique"), mais pas cette limitation.
Le but n’est pas de révolutionner quoi que ce soit, juste d’avancer sur certains points. Acquérir de meilleurs outils, mieux comprendre nos outils, mieux comprendre le problème.
Je te conseille de lire juste la première partie de l’introduction semi-technique. Elle expose assez bien l’objectif.
Je ne pense pas que qui que ce soit pense qu’il soit possible de raisonnablement approximer l’induction de Solomonoff en pratique.
[^] # Re: Sommet pour l’action sur l'IA, réaction à chaud
Posté par Moonz . En réponse au journal Sommet pour l’action sur l'IA, réaction à chaud. Évalué à 4.
L’existence d’un mur ça veut dire qu’il existe, qu’on va se le manger, ça va faire mal, et qu’on va se relever.
L’alternative c’est que la trajectoire "les humains deviennent obsolètes" se réalise sans que personne puisse l’empêcher.
Donc oui, j’aimerais bien croire plus que je ne crois actuellement à l’existence d’un mur proche. Sincèrement.
Il faut te mettre à leur place. Sincèrement à leur place, pas la caricature dans ta tête c’est "juste des gens méchants qui veulent faire des choses très méchantes". Ils veulent bien faire et pensent bien faire. Même Macron. Même Altman, et dieu sait à quel point je le méprise et je prie chaque jour de le voir se prendre une mandale plus que méritée de la part de la justice californienne.
Altman promet à Macron une avancée scientifique et technique légitimement sans précédent (et encore une fois : il y croit — vous n’êtes pas obligé de le croire, mais lui y croit). Qui nous permettrait très probablement (presque certainement, si les promesses sont tenues) de surmonter les défis actuels, notamment le réchauffement climatique et dans le domaine de la santé.
Évidemment qu’ils s’excitent. Ce serait débile de ne pas s’exciter devant les possibilités.
Ils ne voient pas le problème "…et qui rend les humains obsolètes" non pas parce que c’est des gros gros méchants qui n’aiment pas les humains, mais parce que félicitations tu es une des très rares personnes à voir ce problème dans l’hypothèse où les promesses sont tenues.
Les premiers à en parler académiquement c'est https://arxiv.org/abs/2501.16946. Il y a moins de deux semaines. Félicitations, tu es arrivé tout seul comme un grand à la frontière de la recherche dans le domaine "conséquences économiques et sociales de l’IA".
J’aimerais bien qu’on me donne une vision positive du futur dans un monde où l’être humain n’est plus l’espèce dominante en termes d’intelligence. Ian Banks a essayé, c’est la meilleure tentative à ma connaissance, et personnellement je ne considère pas du tout la Culture comme l’utopie à atteindre (même si Banks la présente comme positivement une utopie).
Tu as raté o1, o3 et DeepResearch ? :)
En particulier o3 qui progresse significativement sur des benchmarks qui jusqu’ici résistaient très bien: Humanity Last Exam, FrontierMath, ARC-AGI.
(si tu as loupé les rumeurs que Anthropic a mieux que o3 en interne, c’est normal, ce ne sont que des rumeurs: https://www.youtube.com/watch?v=_1f-o0nqpEI&t=8322s)
# Re: Sommet pour l’action sur l'IA, réaction à chaud
Posté par Moonz . En réponse au journal Sommet pour l’action sur l'IA, réaction à chaud. Évalué à 5.
Amen.
Ça me rend fou honnêtement. La quantité de personnes apparemment intelligentes qui disent "ho, certes, à terme l’IA dominera dans les sciences, l’art, l’éducation, la santé, le management, l’économie et la gouvernance, mais il y aura toujours du travail dans les usines, la logistique et l’agriculture tant que la robotique ne sera pas résolue !"
Comment dire… non merci ? L’intérêt du progrès technologique jusqu’ici c’est d’aller dans le sens inverse de ça ?
Évidemment que ce n’est pas un mensonge. Le premier but (celui que tu énonces précédemment) était clairement annoncé en 2015 chez OpenAI, avant la hype, avant la "bulle", avant que la notion de prompt n’existe (cette notion arrive dans le grand public avec ChatGPT en 2022, entre 2019 et 2020 dans les papiers académiques), alors que c’était encore un pur non-profit.
À peu près personne en 2015 n’allait imaginer la forme qu’aller prendre l’IA, ou l’importance du scraping. Le papier qui montre que la quantité de données nécessaire était jusqu’ici largement sous-estimée, c’est https://arxiv.org/pdf/2203.15556. Avant, le paradigme c’était de se concentrer sur "plus de paramètres, plus gros modèles". Et c’est en 2022.
Tu ne peux pas dire "ils disent A mais en fait ils mentent ils pensent B" si ils disent A depuis 2015 et que la réalisation de B arrive en 2022.
Quelle importance pour eux ? Ils s’attendent à atteindre leur objectif dans 2-5 ans. Et dès aujourd’hui ils misent énormément sur RL+self-play, le scraping a une importance relativement moindre.
Je te trouve bien optimiste quant à l’existence d’un mur. J’aimerais le partager, mais hélas… j’entends "la bulle de l’IA arrive à ses limites, un nouveau mur est proche" depuis 2019.
[^] # Re: Acceleration
Posté par Moonz . En réponse au journal Quoi penser de l'IA dans mon monde de linuxien .... Évalué à 2.
Une offre ça se change hein. L’offre ChatGPT pro à 200$ c’est un accès illimité à leur modèle le plus cher (et de loin plus cher). C’est pas juste l’offre que tu as pour le modèle à 3$ / million token. Plus DeepResearch qui apparemment consomme masse.
En quoi le commentaire ne se suffit pas à lui même ? Voilà le complet :
.
Bah oui. Il dit qu’un LLM à lui-même ne se suffit pas. Et ? OpenAI le sait depuis 2-3 ans. Anthropic le sait depuis 2-3 ans. Je le savais il y a un an, et je ne suis même pas dans le milieu. C’est de notoriété publique. Les modèles de raisonnement sont le résultat de la solution évidente au problème.
La différence entre LeCun et les optimistes, c’est que LeCun pense que la solution évidente ne suffira pas, et que les optimistes pensent que la solution évidente suffira.
Pour l’instant, la solution évidente ne montre aucun signe d’essoufflement.
Et je ne comprend pas où tu veux en venir. Je te rappelle que le point central (facile à oublier) c’est : est-ce qu’il y a de bonnes raisons de penser que l’AGI est atteignable dans un horizon de temps court-moyen ?
Tu dis : "2-5 ans c’est le point de vue des optimistes, qui n’ont pas forcément raison".
Je te dis : certes, mais les pessimistes ne sont pas beaucoup plus pessimistes (par exemple la dizaine d’année de LeCun, avec une possibilité de bien plus long).
Pas complètement, mais j’avoue que oui, le cynisme en mode "moi je vois bien que ce sont des mensonges intéressés, on me la fait pas à moi" est quelque chose qui a tendance à m’insupporter.
J’ai peut-être surréagi à ça.
Désolé.
Ceci dit je maintiens le fond de ma réaction : juste interpréter les déclarations des dirigeants des labos comme des propos intéressés vides de contenu, c’est une erreur.
Si tu dis "Il ne faut pas s’attendre à ce que quelqu’un qui vend de l’IA pour vivre te dise autre chose que ça", ça veut dire que c’est disqualifiant, pas seulement de la contextualisation.
Je suis entièrement d’accord avec ça, et c’est justement pour ça que je "pousse" contre le discours "l’IA c’est juste un nouveau hype vide de substance". C’est juste un moyen de ne pas s’inquiéter, exactement comme certains utilisent l’argument "le réchauffement climatique n’existe pas" pour ne pas s’inquiéter.
[^] # Re: Pas si pas clair
Posté par Moonz . En réponse au journal Le Rationalisme. Évalué à 2.
Ce n’est pas ça, c’est "nous connaissons la formulation mathématique permettant de l’inducteur idéal, et nous pouvons étudier ses caractéristiques".
D’où, ailleurs dans le journal, ma métaphore avec la Thermodynamique.
La seconde loi était initialement (enfin, une de ses multiples formulations) : "il est impossible de déplacer de la chaleur d’un corps froid vers un corps chaud sans fournir de travail" (je crois que c’est la formulation de Clausius, de mémoire ?).
"Ça me semble une banalité. Et alors ?", dit Thomas Douillard en 1830.
Et alors ça te permet de dériver le moteur de Carnot, un moteur idéal qui te permet d’analyser les performances d’un moteur parfaitement efficient, et ses caractéristiques.
"Et alors ? Si c’est un moteur idéal qu’on ne pourra jamais construire ?"
Et alors… j’en sais rien. On retombe dans "la plaie du prof de maths". Je ne saurai te dire quand la dernière fois j’ai résolu pour de vrai une équation différentielle, n’empêche que je suis content de savoir ce que je sais sur le sujet.
Tu dis "on s’en fiche un peu du rasoir d’Occam", mais c’était considéré comme un point important de la philosophie des sciences bien avant que Solomonoff ne publie ses articles ! Étais-ce à tort ? Je te laisse discuter ça avec des philosophes, je ne me sens pas assez confiant pour ça pour le coup.
Pour être plus précis : cette notion de "concept important", je n’arrive pas à la défendre ou la formaliser. Je suis incapable de te défendre "l’importance de l’induction de Solomonoff" au même titre que je suis incapable de te défendre "l’importance d’étudier la théorie des équations différentielles" ou "l’importance du moteur de Carnot". Le problème vient de moi, pas de l’induction de Solomonoff/la théorie des équations différentielles/le moteur de Carnot.
Intuitivement, selon l’induction de Solomonoff ?
"Trop de paramètres" n’est pas pénalisé directement en soi, c’est pénalisé indirectement par la complexité de la sous-routine "trouver les paramètres à partir des observations", qui doit bien être implémentée quelque part dans la machine de Turing
StringTheory.(ce qu’on pouvait déjà voir sans l’induction de Solomonoff pour être honnête — la théorie de Wolfram a le même souci de pouvoir s’adapter à n’importe quelle observation, et n’a aucun paramètre libre)
[^] # Re: Acceleration
Posté par Moonz . En réponse au journal Quoi penser de l'IA dans mon monde de linuxien .... Évalué à 1. Dernière modification le 10 février 2025 à 16:38.
Aurais-tu raté le point où je prends les plus sceptiques parmi les connus ? Peux-tu me citer plus sceptique que François Chollet et Yann LeCun ? Certainement pas : Yoshia Bengio, Geoffrey Hinton, Paul Christiano ou Illya Sutskever. Et je pense donc qu’on vient de faire le tour des plus connus ? Qui ai-je loupé ?
Je peux trouver plus sceptique, mais il va falloir sortir du domaine de l’IA (Gary Marcus, psychologue et sciences cognitives).
[^] # Re: Acceleration
Posté par Moonz . En réponse au journal Quoi penser de l'IA dans mon monde de linuxien .... Évalué à 1.
C’est toi qui n’a pas compris ce que je voulais dire, je pense.
Ce qu’il se passe si le vent tourne… tu n’en sais rien. Et moi non plus. Les comptes de OpenAI ne sont pas publics. Si le vent tourne, ça veut dire qu’ils coupent la R&D et l’entraînement de nouveaux modèles, baissant drastiquement leurs coûts. Sont-ils positifs après ces coupes ? Toujours négatifs ? Qui sait ?
Mais le fond de la question est que le vent souffle dans ce sens pour une bonne raison, et qu’il va falloir que la raison disparaisse pour que le vent arrête de souffler. François Chollet l’explique mieux que moi, alors laissons lui la parole :
.
Et c’est là qu’il faut distinguer la "bonne prudence française" du pur cynisme.
"Le futur est incertain", c’est de la prudence.
"Du domaine de la foi" c’est du cynisme.
Déjà j’aimerais que tu me présentes les chercheurs "qui ne sont pas si confiants que ça". Dans les connus pas confiants, tu as Yann LeCun (qui… a un intérêt dans les technologies actuelle, donc je ne vois pas pourquoi tu considères ça comme disqualifiant) qui dit :
Oui, il est moins confiant que Dario/Altman qui disent 2-5 ans. La différence n’est pas non plus énorme.
Tu as également François Chollet, qui a… récemment lancé son labo privé (décidément, peut-être que les chercheurs ont un peu d’intégrité et sont capable de dire ce qu’ils pensent plutôt que ce qui est dans leur intérêt ?) :
Sinon, tu as le récent rapport du AI Safety Summit :
Autrement dit, "il y a des raisons de penser que, mais ce n’est pas certain". La foi c'est penser que même quand il n’y a pas de raison de penser que.
[^] # Re: Acceleration
Posté par Moonz . En réponse au journal Quoi penser de l'IA dans mon monde de linuxien .... Évalué à 2. Dernière modification le 10 février 2025 à 12:25.
Chez OpenAI en tout cas, les investisseurs peuvent demander ce qu’ils veulent, ils n’ont aucune pouvoir de contrôle :
Et la dynamique derrière c’est : tout le monde pense que le premier à atteindre le saint Graal est l’acteur économique dominant pour les 30 prochaines années, à un niveau supérieur à Microsoft/IBM/Google à leur pic.
Ça ne s’écroulera pas tant qu’il y a des axes de progression possibles, parce que tout le monde est persuadé qu’il doit rester dans la course. Si demain les scaling laws stoppent, que tout progrès s’arrête, et qu’on est toujours pas au saint Graal, là les investisseurs commenceront à paniquer. On en est loin.
Oui enfin faut dézoomer un peu. On est passé en moins de 5 ans à "c’est de la SF complète" à "c'est pas encore tout à fait là".
J’ai pas une bonne mémoire, mais je ne cesse de m’étonner de l’absence de mémoire collective sur ce sujet. Tu me dis en 2019 "on a d’ici 5 ans une IA qui passe le test de Turing, qui est capable de faire une bonne partie du boulot d’un développeur, qui est capable de résoudre des problèmes de maths niveau licence/master, qui est un meilleur professeur que les profs d’universités prestigieuses", je te demande si tu as oublié de prendre tes cachets, et de quel asile tu t’es enfuit.
[^] # Re: Pas si pas clair
Posté par Moonz . En réponse au journal Le Rationalisme. Évalué à 2.
Le but de l’inducteur de Solomonoff n’est pas de comprendre l’univers en-lui même, mais d’avoir une formulation mathématique d’un "inducteur idéal" pour pouvoir étudier le problème de l’induction.
[^] # Re: Acceleration
Posté par Moonz . En réponse au journal Quoi penser de l'IA dans mon monde de linuxien .... Évalué à 2.
C’est pas l’objectif ; l’objectif c’est "AGI ou bust". Si tu es rentable ça veut dire que tu investis pas assez.
Tu as une AGI tu automatises tous les boulots, de la compta à l’ingé, en passant par les tâches physiques une fois que ton AGI-chercheur fait de la robotique :
Évidemment, il y a un petit souci à (2) si les gens se rendent compte de l’objectif final, mais j’ai l’impression que ça leur passe par dessus la tête.
[^] # Re: Pas si pas clair
Posté par Moonz . En réponse au journal Le Rationalisme. Évalué à 2.
Je n’ai pas compris ta remarque. Quelle fonction ? Une hypothèse individuelle dans la mixture ou la distribution de probabilités finale ? Ou la "vraie" distribution de probabilité sur les observations ?
(toutes sont trivialement bornées par 0 et 1, mais je ne vois pas en quoi ça aide :))
C’est une hypothèse extrêmement faible. Je crois que tu ne te rends pas compte à quel point cette hypothèse est faible :
Tu n’as pas besoin d’une fonction déterministe : "l’environnement" est aussi modélisé probabilistiquement (la distribution de probabilités des observations).
Je te rappelle qu’on essaie pas de construire physiquement (ou digitalement) un inducteur de Solomonoff. On sait que ce n’est pas calculable ! Le stockage et la puissance de calcul ne sont pas un facteur limitatif, et sont ignorés dans le formalisme.
"Descendre au niveau atomique" ? Tu vise bien trop bas. Tu peux descendre au niveau subatomique. Tu peux descendre au niveau du modèle standard. Tu peux prendre l’univers entier de toutes les théories des cordes.
Et tu n’as pas besoin de le faire toi-même. Pour peu qu’il existe une fonction calculable qui est capable d’approximer la "vraie" distribution de probabilité des observations au niveau de détails désiré, l’induction de Solomonoff atteindra ou dominera cette approximation. Quand je dis "l’induction de Solomonoff ne peut que faire mieux que les meilleures théories calculables, même dans un univers non-calculable", ça inclut toutes les théories physiques possibles (pour peu qu’elles soient calculables).
[^] # Re: Pas si pas clair
Posté par Moonz . En réponse au journal Le Rationalisme. Évalué à 2. Dernière modification le 09 février 2025 à 19:07.
Je n’aime vraiment pas le terme de "fondations" (oui, j’ai utilisé piliers, et alors ? :D), à cause la connotation de "inamovible". L’approche est plus une approche de "our best guesses", avec l’astérisque qu’on est toujours preneur de mieux.
Tu entres là plus profondément que dans l’introduction "semi-technique" pour mettre les deux pieds dans la technique, et je ne suis pas certain d’avoir tout compris (ou plutôt, je suis certain de ne pas avoir tout compris, je ne suis juste pas certain d’à quel degré je n’ai pas tout compris — le problème de l’amateur qui n’a pas un professeur pour lui dire quand il est à côté de la plaque), mais de ce que j’ai compris :
Le but de l’induction de Solomonoff est de montrer que dans la limite la distribution de probabilité sur les observations s’approche de manière arbitrairement proche de la "vraie" distribution générée par l’environnement. Cela nécessite que la "vraie" distribution soit dans la même classe de calculabilité que les hypothèses, donc calculable.
(le précédent point n’est pas complètement correct, la "vraie" distribution n’a pas besoin d’être calculable, seulement lower-semicomputable)
Si ta "vraie" distribution ne l’est pas, tu perds le résultat que l’induction de Solomonoff s’en approche asymptotiquement. Cependant : l’induction de Solomonoff domine toujours (asymptotiquement) toute autre distribution calculable (ou semi-calculable) ; s’il existe une approximation calculable à la "vraie" distribution, alors l’induction de Solomonoff la domine (ou s’en rapproche, si c’est la meilleure approximation possible).
Autrement dit, informellement parlant, l’induction de Solomonoff ne peut que faire mieux que les meilleures théories calculables, même dans un univers non-calculable.
[^] # Re: Pas si pas clair
Posté par Moonz . En réponse au journal Le Rationalisme. Évalué à 2.
L’énervement viens plus de l’incompréhension que de l’enjeu.
Regarde l’autre fil de discussion qui s’est échauffé un peu (pas par ma faute cette fois !). Juste sur la notion de "solution analytique". La dispute ne vient pas de l’enjeu, tout le monde s’en fout. C’est une incompréhension entre deux personnes, posée sur un ton un peu hautain, puis escalade, puis retranchement dans les positions suite à l’escalade, etc.
La communication entre humains c’est difficile. C’est facile de créer des incompréhensions. C’est facile d’interpréter une incompréhension en "mon interlocuteur est obtus". C’est naturel de répondre à "mon interlocuteur est obtus" en haussant le ton.
C’est une chose toujours difficile à communiquer.
Pour caricaturer un peu : "J’ai du mal à trouver un immense potentiel de fécondité dans la discipline qui ne fait au fond qu’étudier des tautologies" (les mathématiques). Et pourtant… Et les mathématiciens eux-même, si tu leur demandes "c’est vraiment utile votre truc"… la plaie bien connue des professeurs de mathématiques.
Je te conseille de rouvrir le texte sur l’induction de Solomonoff, et de passer directement (Ctrl-F) à "Got a list of the good advice you think is derivable?". J’aime beaucoup le point 5, qui est évident une fois lu et non-évident si tu ne l’as pas lu.
[^] # Re: Pas si pas clair
Posté par Moonz . En réponse au journal Le Rationalisme. Évalué à 2.
Pas supprimer les émotions, mais essayer de préserver des normes de débat constructives. C’est un problème difficile même quand toutes les parties prenantes font de leur mieux, un combat constant contre le résultat par défaut qui est "tout le monde se hurle dessus contre-productivement". Faire un effort de crier moins fort que l’interlocuteur est un de ces outils (et oui, je ne suis pas toujours à la hauteur de mes propres ambitions).
Encore une fois, quand on me dit "j’ai pas lu mais c’est ridicule", je m’énerve. Et je ne critique pas en moi-même cet énervement ! C’est naturel et sain ! Mon auto-critique porte sur l’action de "répondre en essayant de crier plus fort", qui est pour le coup naturel mais malsain. Les deux choses sont différentes.
Et sur le fond… tu tapes à côté. Yudkowsky :
J’ai également déjà mentionné aussi Thing of Things :
On peut aussi aller voir chez Scott Alexander :
[^] # Re: Verbiage…
Posté par Moonz . En réponse au journal Le Rationalisme. Évalué à 3. Dernière modification le 07 février 2025 à 22:29.
Heu… oui ? C’est le but dans une discussion ? Sinon pourquoi prendre la peine ?
Mais encore ? J’ai fait le pitre quelque part ?
Bon, dernier essai. Et c’est bien parce que je suis d’extrêmement bonne humeur. Tout ce que je vais dire est écrit dans le texte. Je vais tout de même, en bon prince, faire l’effort de l’expliquer moi-même (de manière inférieure au texte originel).
L’induction de Solomonoff ne vise pas à définir un agent (note: j’écris agent par réflexe, mais dans ce cadre c’est juste un observateur passif, pas un agent) omniscient et objectif capable d’observer, représenter et prédire l’évolution de l’univers entier. Le but est de modéliser "quelles inférences peut faire un agent à partir de ses observations ?"
La distribution de probabilités en question est une distribution de probabilités sur les séquences des observations de l’observateur considéré. Donc quand tu dis "Je te demande de me définir une distribution de probabilité sur des événements du type « Le Canada envahit les États-Unis »", la réponse est que… personne dans ce contexte n’essaie de faire ça.
Petit détail : on se limite aux séquences finies (pas d’observateur immortel), donc l’ensemble des séquences d’observation est dénombrable. De manière plus centrale, pourquoi diable prendrais tu la distribution uniforme ? Le but de l’induction de Solomonoff est de sortir une distribution de probabilités sur les séquences d’observations, à aucun moment tu n’as besoin de partir de la distribution uniforme.
Je n’ai aucun doute que tu vas trouver de nouvelles "objections" qui sont abordées noir sur blanc dans le texte, donc : je m’engage en avance à ne pas répondre à un autre "gotcha" dont la réponse est trivialement dans le texte. Je ne répondrai que si je vois un réel effort d’essayer de comprendre.
Ce que tu perçois sans le lire ? Les Kantiens ont-ils donc des pouvoirs d’extra-perception ?
Tout ton exposé sur les liens entre Kant et la logique au 20e siècle est (sans aucun sarcasme !) intéressant, mais… je ne vois pas où tu veux en venir ? La seule chose que j’aurai à répondre à ça, c’est: si tu penses nous apprendre des choses, je te conseille de faire des recherches sur lesswrong, et tu verras que tous ces sujets ont été abordés un moment ou à un autre, mais merci pour la bonne intention, je suppose. Si tu penses m’apprendre des choses, encore merci pour l’intention, mais j’ai déjà un plan d’apprentissage, certaines des choses que tu cites sont déjà couvertes, d’autres déjà dans le plan, d’autres ne sont pas ma priorité.
Ce qui, dans un autre sens, est d’autant plus rageant : plus je te lis, plus j’ai l’impression que si on discutait amicalement autour d’un verre au lieu de se lancer des noms d’oiseaux, plus on se rendrait compte qu’on est d’accord sur beaucoup de points (sauf peut être sur mes hétérodoxies personnelles, mais c’est le principe là dessus que personne ne soit d’accord avec moi).
Pure projection. Je ne crois pas avoir avoir dit où que ce soit dans le journal ou dans les commentaires que le reste du monde était bon à jeter aux orties et à l’opprobre populaire. Les "piliers" que j’ai cités sont tous hors du mouvement et le précèdent ! Comment peut-on raisonnablement en déduire "mouvement sectaire qui méprise le reste du monde ?" J’ai même dit dans un autre commentaire « nos principes nous autorisent à manger à tous les râteliers (avec prudence) ».
Je peux comprendre les réactions épidermiques après avoir écrit comme un pied dans le journal initial mais… je pense avoir assez clarifié depuis, non ?
[^] # Re: Verbiage…
Posté par Moonz . En réponse au journal Le Rationalisme. Évalué à 1. Dernière modification le 06 février 2025 à 22:55.
Ne dramatisons rien : FTX/SBF est loin d’être la seule conséquence de EA, et la plupart des organismes affiliés EA sont positifs (GiveWell, OpenPhilantropy, Giving What We Can,…)
J’ai relu trois fois, je ne pense pas comprendre ce que tu essaies de dire.
Ceci dit : si tu essaies de me faire défendre l’utilitarisme (ce que je pense deviner être la substance de ton message ?), tu t’adresses à la mauvaise personne. Je n’y crois pas non plus. Non pas parce que les théorèmes malgré leur existence sont inutilisables comme tu sembles le dire, mais parce qu’ils n’existent tout bonnement pas ; il n’y a pas de manière claire pour agréger des fonction d’utilités, il n’y a aucune raison de penser que les préférences humaines soient modélisables en termes de fonction d’utilité, ou qu’il soit possible d’agréger des préférences rationnelles en une fonction d’utilité rationnelle ; au contraire, le Théorème d'impossibilité d'Arrow tend à pointer assez rapidement le bout de son nez.
De Finetti fonde sa formulation de la théorie des probabilités sur des paris, il y a peut-être un rapprochement à faire :)
(tu serais également surpris de l’appétence de la finance pour recruter des physiciens. Par exemple, le modèle de Black-Scholes est essentiellement un problème physique de diffusion, et des modèles plus complexes rencontrent les mêmes difficultés qu’en physique, d’où la stratégie de recrutement. De ce qu’on m’a dit, en tout cas)
[^] # Re: Verbiage…
Posté par Moonz . En réponse au journal Le Rationalisme. Évalué à 2.
J’ai bien écrit "côté obscur" : FTX (géré par SBF) est l’Enron de la crypto. "plus d’échecs que de bien" est manière bien optimiste de présenter les choses :)
Ce que je veux dire par tout ça, c’est qu’il y a une affiliation directe entre LessWrong et EA, et directe entre EA et SBF. Et une illustration qu’il commence à y avoir des ramifications dans le monde réel, hors de blogs sur internet.
"Besoin" ? Probablement pas. Ça reste un axe d’analyse intéressant, pertinent, sur des sujets qui gagnent en importance.
[^] # Re: Verbiage…
Posté par Moonz . En réponse au journal Le Rationalisme. Évalué à 1.
Je comprend parfaitement le point de vue. Ceci dit… c’est plus symétrique qu’il n’y paraît.
Parlons en termes de VoI (Value of Information). C’est essentiellement ce que tu sous-entend, en somme "la vie est trop courte pour écouter tous les charlatans". C’est un excellent angle d’analyse je trouve. Le monde universitaire considère tout ce qui est extérieur comme a priori bas en VoI, et n’a aucune intention de dépenser énormément d’énergie pour ça. C’est une stratégie compréhensible.
Mais dans l’autre sens, pour un individu à peu près convaincu par le framework rationaliste, tu proposes qu’il dédie une partie significative de sa vie à suivre les rites d’initiation occultes pour entrer dans le cercle sacré des Philosophes Universitaires et pouvoir débattre avec eux pour soit les convaincre ou trouver quelques erreurs. Le prix est élevé.
Il y a un effet de sélection ici : si tu penses tellement plausible qu’une partie significative du framework rationaliste est faux que la VoI gagnée vaut un tel sacrifice… tu n’est en fait pas rationaliste, et tu ne fais pas ces efforts ?
Plus clairement, si je prend 10 ans de ma vie, que je tente ce plan, et que j’y arrive (impossible pour moi, il faut savoir écrire :)), qu’est-ce que je gagne au final ? Le droit de gagner instantanément un débat sur DLFP ? Votre honneur, je préfère garder mes dix ans de ma vie.
Prenons l’exemple de Yudkowsky. Il aurait pu après avoir écrit ses Séquences décider de suivre ce chemin. Pourquoi est-ce qu’il ne l’a pas fait ? Parce qu’il a considéré beaucoup plus important et utile de travailler sur d’autres sujets, principalement sur ce que je pensais être sa marotte bizarre du moment, l’IA. Rétrospectivement, difficile de lui donner tort sur le sens des priorités (même si les résultats ne sont pas là).
Ton point de vue est "les universitaires ne doivent rien aux rationalistes". Je suis d’accord.
Je dirai également que "les rationalistes ne doivent rien aux universitaires" est tout aussi correct. Tu vas dire "ne vous plaignez pas de ne pas être pris au sérieux par les universitaires". Je répondrai: "c’est fâcheux, mais je dois bien l’accepter".
Pour moi la question plus intéressante est : est-ce qu’un de ces deux groupes doit quelque chose au public ?
Et pour moi oui, ici, il y a une certaine asymétrie dans les devoirs. C’est le rôle des universitaires de faire ce travail d’analyse des idées importantes, non pas pour le bien et le profit des rationalistes, mais pour le public et la société. Le devoir des rationalistes envers la société est largement moindre.
J’ai glissé un mot simple qui influe fortement la conclusion dans mon dernier paragraphe : "importantes". C’est quelque chose que je n’ai pas abordé dans le journal. Ce n’est pas juste un type bizarre (Yudkowsky) sur un blog sur internet. C’est un mouvement de plus en plus important qui a une influence certaine sur des sujets importants (IA, Effective Altruism). Du côté obscur: voir SBF (l’affiliation n’est pas directe, mais l’honnêteté oblige à reconnaître une affiliation indirect). Rien que Astral Codex Ten (aka Yvain aka Scott Alexander), c'est 78000 abonnés payants (pour un blog gratuit), des rencontres communautaires dans plus de 50 pays et 170 villes (https://www.astralcodexten.com/p/spring-meetups-everywhere-2024). Sur, rappelons-le, ce qui est essentiellement un sujet essentiellement philosophique, totalement hors du centre d’intérêt de la vaste majorité des individus.
Ça fait un peu broche publicitaire, mais ce n’est pas l’objectif, l’objectif est de remarquer qu’on est au-delà du charlatan isolé, et de demander si on ne commencerait pas à entrer dans le domaine de "devoir moral des universitaires d’informer le public et la société" ? Si ce sont des charlatans, ce n’est pas le genre de charlatans à ignorer, mais le genre de charlatans à réfuter, pour le bien du public, non ?
[^] # Re: Verbiage…
Posté par Moonz . En réponse au journal Le Rationalisme. Évalué à 2. Dernière modification le 06 février 2025 à 19:56.
Tout à fait, je trouve ça regrettable également. Ceci dit on peut difficilement mettre un pistolet sur la tempe des philosophes du monde académique et leur dire : "maintenant vous lisez les Séquences et vous faites une critique complète et réfléchie".
La communauté est ouverte à tous. Il n’y a pas de questionnaire "êtes vous un philosophe universitaire ?" qu vous bannisse à vie si vous répondez oui. La communauté reconnaît très largement l’importance des Séquences, ce qui signifie qu’un philosophe académique qui veut s’y intéresser et critiquer sait exactement quel matériel engager, sans tomber dans un risque que la communauté réagisse en mode "OK vous avez bien critiqué les points centraux des Séquences, mais ce n’est pas vraiment ce qu’on pensait réellement en fait, nananère".
Après, comme cité ailleurs dans un autre commentaire, il y a tout de même Bayesian Epistemology sur Stanford Encyclopedia of Philosophy. C’est un début. Trop peu, très tard à mon goût, mais un début.
Tu te trompes, le projet est principalement "tirer des leçons, des outils, et des heuristiques" pour des humains (il y aurait potentiellement une digression à faire sur l’IA ici, mais ne complexifions pas les choses ?)
Je pense que tu as sur-interprété la tentative de discussion sur l’induction de Solomonoff ? Le but n’est pas de dire : "nous allons en 5 ans développer une version pratique de l’induction de Solomonoff, un Raisonneur Universel quasiment parfait", le but est d’en tirer des leçons pratiques comme "le rasoir d’Occam est-il justifiable, et si oui, parmi les multiples variantes qui ont été proposées, une est-elle meilleure ? Laquelle ?"
Du tout non, nos principes nous autorisent à manger à tous les rateliers :)
(avec prudence tout de même)
[^] # Re: Verbiage…
Posté par Moonz . En réponse au journal Le Rationalisme. Évalué à 3. Dernière modification le 06 février 2025 à 15:24.
Je vois beaucoup de mépris, bien peu de substance. Essayons de répondre tout de même, même si ce message me donne bien peu de points d’accroche pour discuter calmement et objectivement.
Oui, je cite principalement un travail de vulgarisation (lesswrong). Yudkowsky et les Séquences plutôt que "tapez vous Jaynes et Solomonoff et Tversky et Kahneman" (et tous les autres, il n’y a pas que ces quatre noms). Je ne vois pas en quoi c’est problématique.
Je trouve le mépris pour l’amateurisme assez déplacé. Il n’y a pas besoin d’avoir un permis pour apprendre, réfléchir et partager ses résultats. C’est même un des grands cadeaux d’internet. La communauté open-source est fondée là dessus — il ne viendrait à personne l’idée de dire "pour contribuer, il va falloir que vous me présentiez votre diplôme d’ingénieur". La communauté scientifique a eu son lot de contributions "d’amateurs". Et ça continue, d’ailleurs (BB(5), Marjorie Rice, pour ne citer que les plus connus).
Tu es bien le premier à émettre la critique "trop d’empirisme". En un sens ça fait franchement plaisir, mais je crois que tu vas un peut trop loin dans la flatterie — je pense que la critique inverse, pas assez d’empirisme malgré les aspirations à plus d’empirisme est plus correct.
Et je vois mal comment tu peux conjuguer "trop d’emphase à la fois sur l’idéalisme d’un côté, et sur l’empirisme et le quantitatif de l’autre". Ça me semble quelque peu antinomique. Mais j’ai possiblement mal compris ton propose.
Et de plus : qu’as-tu lu exactement pour de permettre de juger aussi rapidement du contenu ? Parce que si c’est juste mon journal, je crois qu’il est assez clair à présent qu’il est mal écrit, mal expliqué, et que se baser uniquement dessus pour se faire une idée globale des choses est pour le moins malavisé.
Pour conclure : pour moi, l’esprit critique, ça demande en premier lieu d’essayer de comprendre ce qu’on veut critiquer, pas rejeter réflexivement. Tu es tout à fait dans ton droit de dire : "ça ne m’inspire pas confiance, je ne vais pas perdre mon temps là dessus", et je serai le premier à comprendre (voire approuver ; le temps est précieux). Par contre, "ça ne m’inspire pas confiance, donc c’est des charlatans" me semble aller un peu vite en besogne. Une variante du Bulvérisme.
(et je dispute pas vraiment l’aspect "ça ne m’inspire pas confiance", pour être clair, que je peux comprendre, mis à part l’attitude "montrez votre permis ?")
[^] # Re: Q’est-ce que l’Humanité ?
Posté par Moonz . En réponse au journal Le Rationalisme. Évalué à 3.
Tu as raison, je me suis mélangé les pinceaux.
[^] # Re: Q’est-ce que l’Humanité ?
Posté par Moonz . En réponse au journal Le Rationalisme. Évalué à 1. Dernière modification le 06 février 2025 à 14:00.
Oui, évidemment, si tu poses le calcul, l’aspect "biais" disparait rapidement.
Où je voulais en venir : si tu es l’Evolution, et qu’il se trouve que "agir plus rationnellement" (dans le sens de homo œconomicus) est avantageux, mais que tes humains ne sont pas encore au niveau d’avoir inventé l’économie et les maths (et encore moins la révolution marginaliste), tu veux instiller un peu de raisonnement "marginaliste" dans les raisonnements intuitifs. Il est possible que le prix à payer soit que dans certaines situations l’intuition se mette à ignorer les coûts passés (qui ne rentrent pas dans le raisonnement marginaliste).
(mais évidemment, tout ceci est hautement spéculatif)
[^] # Re: Verbiage…
Posté par Moonz . En réponse au journal Le Rationalisme. Évalué à 3. Dernière modification le 06 février 2025 à 13:44.
Wikipedia anglais redirige "Analytic solution" vers "Closed-form expression", sans mentionner le mot "analytic" dans le début de la page en tant que synonyme. Je remarque également que les usages de "analytic" sont annotés "vague" et "citation needed". C’est pour ça que je dis "usage informel".
Mais oui sur le fond je suis entièrement d’accord : l’usage informel est répandu et parfaitement clair, je ne vois mal un contexte où il serait raisonnable de s’en effaroucher, encore moins ici.
Je pense (en réfléchissant 5 minutes, source: mon cerveau, donc je peux très bien m’être planté) que la distinction "closed-form expression"/"analytic expression"/"analytic function" est que "analytic expression" essaie de formaliser un entre-deux (entre analytic function et closed-form expression). La case qui me semble importante est "convergent infinite series" : on se rapproche de l’idée des fonctions analytiques, tout en restant dans le domaine des expressions énumérables, à l’opposé de l’ensemble des fonctions analytiques qui est non-énumérable.
[^] # Re: Pas si pas clair
Posté par Moonz . En réponse au journal Le Rationalisme. Évalué à 3.
Merci pour les encouragements, j’avoue que j’avais besoin d’un peu de baume au cœur :)
Je pense ne m’être énervé que sur un interlocuteur, et je ne vois pas comment répondre de manière mesurée et constructive à "j’ai pas lu mais c’est ridicule". Si le message est : j’aurai juste dû ne pas répondre… oui, tu as probablement raison. Mais ce n’est pas toujours facile.