Moonz a écrit 3616 commentaires

"si l'univers (et ses lois) est calculable ou approximable, alors on peut l'approximer", ce qui semble un peu une banalité

Ce n’est pas ça, c’est "nous connaissons la formulation mathématique permettant de l’inducteur idéal, et nous pouvons étudier ses caractéristiques".

D’où, ailleurs dans le journal, ma métaphore avec la Thermodynamique.

La seconde loi était initialement (enfin, une de ses multiples formulations) : "il est impossible de déplacer de la chaleur d’un corps froid vers un corps chaud sans fournir de travail" (je crois que c’est la formulation de Clausius, de mémoire ?).

"Ça me semble une banalité. Et alors ?", dit Thomas Douillard en 1830.

Et alors ça te permet de dériver le moteur de Carnot, un moteur idéal qui te permet d’analyser les performances d’un moteur parfaitement efficient, et ses caractéristiques.

"Et alors ? Si c’est un moteur idéal qu’on ne pourra jamais construire ?"

Et alors… j’en sais rien. On retombe dans "la plaie du prof de maths". Je ne saurai te dire quand la dernière fois j’ai résolu pour de vrai une équation différentielle, n’empêche que je suis content de savoir ce que je sais sur le sujet.

Tu dis "on s’en fiche un peu du rasoir d’Occam", mais c’était considéré comme un point important de la philosophie des sciences bien avant que Solomonoff ne publie ses articles ! Étais-ce à tort ? Je te laisse discuter ça avec des philosophes, je ne me sens pas assez confiant pour ça pour le coup.

Pour être plus précis : cette notion de "concept important", je n’arrive pas à la défendre ou la formaliser. Je suis incapable de te défendre "l’importance de l’induction de Solomonoff" au même titre que je suis incapable de te défendre "l’importance d’étudier la théorie des équations différentielles" ou "l’importance du moteur de Carnot". Le problème vient de moi, pas de l’induction de Solomonoff/la théorie des équations différentielles/le moteur de Carnot.

Par exemple un truc qui serait intéressant d'un point de vue épistémique serait de savoir comment ce genre de théorie apporterait un éclairage sur les problématiques de la théorie des cordes, qui est critiquée pour avoir trop de paramètres libres qui lui permettent de s'adapter à n'importe quelle observation sans forcément permettre de rajouter grand chose à son pouvoir prédictif par l'observation.

Intuitivement, selon l’induction de Solomonoff ?

"Trop de paramètres" n’est pas pénalisé directement en soi, c’est pénalisé indirectement par la complexité de la sous-routine "trouver les paramètres à partir des observations", qui doit bien être implémentée quelque part dans la machine de Turing StringTheory.

(ce qu’on pouvait déjà voir sans l’induction de Solomonoff pour être honnête — la théorie de Wolfram a le même souci de pouvoir s’adapter à n’importe quelle observation, et n’a aucun paramètre libre)

Aurais-tu raté le point où je prends les plus sceptiques parmi les connus ? Peux-tu me citer plus sceptique que François Chollet et Yann LeCun ? Certainement pas : Yoshia Bengio, Geoffrey Hinton, Paul Christiano ou Illya Sutskever. Et je pense donc qu’on vient de faire le tour des plus connus ? Qui ai-je loupé ?

Je peux trouver plus sceptique, mais il va falloir sortir du domaine de l’IA (Gary Marcus, psychologue et sciences cognitives).

Tu as très bien compris ce que je voulais dire

C’est toi qui n’a pas compris ce que je voulais dire, je pense.

1. Ce qu’il se passe si le vent tourne… tu n’en sais rien. Et moi non plus. Les comptes de OpenAI ne sont pas publics. Si le vent tourne, ça veut dire qu’ils coupent la R&D et l’entraînement de nouveaux modèles, baissant drastiquement leurs coûts. Sont-ils positifs après ces coupes ? Toujours négatifs ? Qui sait ?

2. Mais le fond de la question est que le vent souffle dans ce sens pour une bonne raison, et qu’il va falloir que la raison disparaisse pour que le vent arrête de souffler. François Chollet l’explique mieux que moi, alors laissons lui la parole :

Let's spell this out. Time for some game theory. If you assume that:

1. In the future, AI will be central to all economic activity (this is pretty obvious if you can read charts)
2. Lots of companies, big and small, are currently racing to develop key tech and infra to make it happen

Then in fist approximation, there are 3 possible futures ahead if you're a tech giant:

1. Invest in AI, and it pays off—you now own a slice of the future.
2. Invest in AI, but others out-execute or simply outspend you. You are now a legacy company.
3. Don't invest in AI. You are now a legacy company.

The only logical move is to invest in AI. In fact, you should invest pretty much everything you can spare, in order to maximize your chances of outcome (1). This is true regardless of whether your current investments appear to be paying off (right now they aren't).

AI isn't exactly a business, at least not right now. It's an ascendant platform—it's the substrate for all business in the future. The money invested in AI by big tech right now isn't expected to yield an immediate return, its purpose is to secure a share of the future.

A large chunk of everyone's available cash will keep pouring into AI for the foreseeable future, because its importance will keep increasing as capabilities improve (and they're improving fast) and adoption grows—similar to the Internet in the early 2000s

You might ask, ok, but will it pay off for them?

That's the wrong question. The right question is, what's the alternative—letting a completely new crop of companies own the future, as happened with the Internet wave? Of course big tech is going to put up a fight.

.

À "on imagine qu'on en est proche". Pour le moment c'est du domaine de la fois.

Et c’est là qu’il faut distinguer la "bonne prudence française" du pur cynisme.

"Le futur est incertain", c’est de la prudence.

"Du domaine de la foi" c’est du cynisme.

Déjà j’aimerais que tu me présentes les chercheurs "qui ne sont pas si confiants que ça". Dans les connus pas confiants, tu as Yann LeCun (qui… a un intérêt dans les technologies actuelle, donc je ne vois pas pourquoi tu considères ça comme disqualifiant) qui dit :

I said that reaching Human-Level AI "will take several years if not a decade."

Oui, il est moins confiant que Dario/Altman qui disent 2-5 ans. La différence n’est pas non plus énorme.

Tu as également François Chollet, qui a… récemment lancé son labo privé (décidément, peut-être que les chercheurs ont un peu d’intégrité et sont capable de dire ce qu’ils pensent plutôt que ce qui est dans leur intérêt ?) :

The trap is to think that, just because dim-witted people hype it up, AI isn't real. It's extremely real, and it will be a much bigger thing in 5 years than it is today, and then an even bigger thing in 10 years.

Sinon, tu as le récent rapport du AI Safety Summit :

In the coming months and years, the capabilities of general-purpose AI systems could
advance slowly, rapidly, or extremely rapidly.

New evidence suggests that scaling training compute and data at current rates is technically feasible until at least ca. 2030.

Evidence suggests that further resource scaling will increase overall AI capabilities.

However, it is unclear whether further resource scaling will improve AI capabilities at the same rate as in the last decade.

While aggregate AI capabilities improve predictably with scale, it is difficult to predict when specific capabilities will appear.

Autrement dit, "il y a des raisons de penser que, mais ce n’est pas certain". La foi c'est penser que même quand il n’y a pas de raison de penser que.

Tant que tes investisseurs ne demandent pas de retour sur investissement et que pour une raison ou une autre ils se mettent pas à perdre confiance.

Chez OpenAI en tout cas, les investisseurs peuvent demander ce qu’ils veulent, ils n’ont aucune pouvoir de contrôle :

The nonprofit, OpenAI, Inc., is the sole controlling shareholder of OpenAI Global, LLC, which, despite being a for-profit company, retains a formal fiduciary responsibility to OpenAI, Inc.'s nonprofit charter. A majority of OpenAI, Inc.'s board is barred from having financial stakes in OpenAI Global, LLC.[35] In addition, minority members with a stake in OpenAI Global, LLC are barred from certain votes due to conflict of interest.[36] Some researchers have argued that OpenAI Global, LLC's switch to for-profit status is inconsistent with OpenAI's claims to be "democratizing" AI.[45]

Et la dynamique derrière c’est : tout le monde pense que le premier à atteindre le saint Graal est l’acteur économique dominant pour les 30 prochaines années, à un niveau supérieur à Microsoft/IBM/Google à leur pic.

Ça ne s’écroulera pas tant qu’il y a des axes de progression possibles, parce que tout le monde est persuadé qu’il doit rester dans la course. Si demain les scaling laws stoppent, que tout progrès s’arrête, et qu’on est toujours pas au saint Graal, là les investisseurs commenceront à paniquer. On en est loin.

Salesforce est sensé avoir une IA ne demandant pas de supervision et ils sont finalement entrain de recruter parce qu'en fait ça marche pas si bien.

Oui enfin faut dézoomer un peu. On est passé en moins de 5 ans à "c’est de la SF complète" à "c'est pas encore tout à fait là".

J’ai pas une bonne mémoire, mais je ne cesse de m’étonner de l’absence de mémoire collective sur ce sujet. Tu me dis en 2019 "on a d’ici 5 ans une IA qui passe le test de Turing, qui est capable de faire une bonne partie du boulot d’un développeur, qui est capable de résoudre des problèmes de maths niveau licence/master, qui est un meilleur professeur que les profs d’universités prestigieuses", je te demande si tu as oublié de prendre tes cachets, et de quel asile tu t’es enfuit.

Le but de l’inducteur de Solomonoff n’est pas de comprendre l’univers en-lui même, mais d’avoir une formulation mathématique d’un "inducteur idéal" pour pouvoir étudier le problème de l’induction.

Pour le moment aucune entreprise d’IA n’est rentable

C’est pas l’objectif ; l’objectif c’est "AGI ou bust". Si tu es rentable ça veut dire que tu investis pas assez.

Il va falloir que ça finisse par générer BEAUCOUP d’argent à un moment où à un autre

Tu as une AGI tu automatises tous les boulots, de la compta à l’ingé, en passant par les tâches physiques une fois que ton AGI-chercheur fait de la robotique :

1. AGI
2. ???
3. Profit

Évidemment, il y a un petit souci à (2) si les gens se rendent compte de l’objectif final, mais j’ai l’impression que ça leur passe par dessus la tête.

Si par exemple tes données ne permettent pas d'avoir des critères déterministes pour définir cette fonction, sauf erreur de ma part tu ne peux pas borner ta fonction.

Je n’ai pas compris ta remarque. Quelle fonction ? Une hypothèse individuelle dans la mixture ou la distribution de probabilités finale ? Ou la "vraie" distribution de probabilité sur les observations ?

(toutes sont trivialement bornées par 0 et 1, mais je ne vois pas en quoi ça aide :))

C'est toujours une hypothèse ultra forte.

C’est une hypothèse extrêmement faible. Je crois que tu ne te rends pas compte à quel point cette hypothèse est faible :

Et s'il faut descendre, je sais pas, au niveau atomique pour recupérer une forme de déterminisme … Il te faut des quantités de données qu'on ne peut pas tevr stocker de sitôt.

Tu n’as pas besoin d’une fonction déterministe : "l’environnement" est aussi modélisé probabilistiquement (la distribution de probabilités des observations).

Je te rappelle qu’on essaie pas de construire physiquement (ou digitalement) un inducteur de Solomonoff. On sait que ce n’est pas calculable ! Le stockage et la puissance de calcul ne sont pas un facteur limitatif, et sont ignorés dans le formalisme.

"Descendre au niveau atomique" ? Tu vise bien trop bas. Tu peux descendre au niveau subatomique. Tu peux descendre au niveau du modèle standard. Tu peux prendre l’univers entier de toutes les théories des cordes.

Et tu n’as pas besoin de le faire toi-même. Pour peu qu’il existe une fonction calculable qui est capable d’approximer la "vraie" distribution de probabilité des observations au niveau de détails désiré, l’induction de Solomonoff atteindra ou dominera cette approximation. Quand je dis "l’induction de Solomonoff ne peut que faire mieux que les meilleures théories calculables, même dans un univers non-calculable", ça inclut toutes les théories physiques possibles (pour peu qu’elles soient calculables).

pour une démarche de fondation supposée poser des principes elementaires

Je n’aime vraiment pas le terme de "fondations" (oui, j’ai utilisé piliers, et alors ? :D), à cause la connotation de "inamovible". L’approche est plus une approche de "our best guesses", avec l’astérisque qu’on est toujours preneur de mieux.

assuming the universe is run by a computer program

Tu entres là plus profondément que dans l’introduction "semi-technique" pour mettre les deux pieds dans la technique, et je ne suis pas certain d’avoir tout compris (ou plutôt, je suis certain de ne pas avoir tout compris, je ne suis juste pas certain d’à quel degré je n’ai pas tout compris — le problème de l’amateur qui n’a pas un professeur pour lui dire quand il est à côté de la plaque), mais de ce que j’ai compris :

• Le but de l’induction de Solomonoff est de montrer que dans la limite la distribution de probabilité sur les observations s’approche de manière arbitrairement proche de la "vraie" distribution générée par l’environnement. Cela nécessite que la "vraie" distribution soit dans la même classe de calculabilité que les hypothèses, donc calculable.

• (le précédent point n’est pas complètement correct, la "vraie" distribution n’a pas besoin d’être calculable, seulement lower-semicomputable)

• Si ta "vraie" distribution ne l’est pas, tu perds le résultat que l’induction de Solomonoff s’en approche asymptotiquement. Cependant : l’induction de Solomonoff domine toujours (asymptotiquement) toute autre distribution calculable (ou semi-calculable) ; s’il existe une approximation calculable à la "vraie" distribution, alors l’induction de Solomonoff la domine (ou s’en rapproche, si c’est la meilleure approximation possible).

• Autrement dit, informellement parlant, l’induction de Solomonoff ne peut que faire mieux que les meilleures théories calculables, même dans un univers non-calculable.

L’énervement viens plus de l’incompréhension que de l’enjeu.

Regarde l’autre fil de discussion qui s’est échauffé un peu (pas par ma faute cette fois !). Juste sur la notion de "solution analytique". La dispute ne vient pas de l’enjeu, tout le monde s’en fout. C’est une incompréhension entre deux personnes, posée sur un ton un peu hautain, puis escalade, puis retranchement dans les positions suite à l’escalade, etc.

La communication entre humains c’est difficile. C’est facile de créer des incompréhensions. C’est facile d’interpréter une incompréhension en "mon interlocuteur est obtus". C’est naturel de répondre à "mon interlocuteur est obtus" en haussant le ton.

J'ai du mal à trouver un immense potentiel de fécondité à tout ça en approchant les choses de manière purement théorique, avec ce type de théorèmes.

C’est une chose toujours difficile à communiquer.

Pour caricaturer un peu : "J’ai du mal à trouver un immense potentiel de fécondité dans la discipline qui ne fait au fond qu’étudier des tautologies" (les mathématiques). Et pourtant… Et les mathématiciens eux-même, si tu leur demandes "c’est vraiment utile votre truc"… la plaie bien connue des professeurs de mathématiques.

Je te conseille de rouvrir le texte sur l’induction de Solomonoff, et de passer directement (Ctrl-F) à "Got a list of the good advice you think is derivable?". J’aime beaucoup le point 5, qui est évident une fois lu et non-évident si tu ne l’as pas lu.

Pas supprimer les émotions, mais essayer de préserver des normes de débat constructives. C’est un problème difficile même quand toutes les parties prenantes font de leur mieux, un combat constant contre le résultat par défaut qui est "tout le monde se hurle dessus contre-productivement". Faire un effort de crier moins fort que l’interlocuteur est un de ces outils (et oui, je ne suis pas toujours à la hauteur de mes propres ambitions).

Encore une fois, quand on me dit "j’ai pas lu mais c’est ridicule", je m’énerve. Et je ne critique pas en moi-même cet énervement ! C’est naturel et sain ! Mon auto-critique porte sur l’action de "répondre en essayant de crier plus fort", qui est pour le coup naturel mais malsain. Les deux choses sont différentes.

Et sur le fond… tu tapes à côté. Yudkowsky :

A popular belief about “rationality” is that rationality opposes all emotion—that all our sadness and all our joy are automatically anti-logical by virtue of being feelings. Yet strangely enough, I can’t find any theorem of probability theory which proves that I should appear ice-cold and expressionless.

J’ai également déjà mentionné aussi Thing of Things :

Many people who struggle with excessive guilt subconsciously have goals that look like this:
* […]
* I don’t want to have upsetting emotions.
* I want to stop having feelings.

These are what I call the life goals of dead people, because what they all have in common is that the best possible person to achieve them is a corpse.
[…]
If you want to be dead, that’s your own business. But if you would like to continue to be alive, it’s a bad idea to set goals for yourself that boil down to “try to get as close as possible to being a corpse while continuing to respire and consume nutrients.”

On peut aussi aller voir chez Scott Alexander :

If I were an actor in an improv show, and my prompt was “annoying person who’s never read anything about rationality, criticizing rationalists”, it would go something like:

[…] Anyway, rationality isn’t everything – instead of pretending to be Spock, people should remain open to things like emotions, art, and relationships. […]

They [Modern rationalists] have said approximately one zillion times that they don’t like Spock and think he’s a bad role model. They include painters, poets, dancers, photographers, and novelists.

Alors s'il faut argumenter…

Heu… oui ? C’est le but dans une discussion ? Sinon pourquoi prendre la peine ?

Il faut surtout être sérieux deux minutes.

Mais encore ? J’ai fait le pitre quelque part ?

Je te demande de me définir une distribution de probabilité sur des événements du type « Le Canada envahit les États-Unis » (le personnage de Blaine affirme que la magie du théorème de Solomonoff permettra de la déterminer) et vous me répondez en substance : considérant que l'univers est un automate à états finis alors on peut déterminer une telle distribution de probabilité, et en plus ça tombe bien on se retrouve dans le cas d'application du théorème. Vous pensez sérieusement que l'univers est un automate à état fini et que, par exemple, le travail des physiciens consistent à déterminer les lois qui régissent ses transitions ? Si c'est le cas, alors oui, il faut consulter. ;-)

Bon, dernier essai. Et c’est bien parce que je suis d’extrêmement bonne humeur. Tout ce que je vais dire est écrit dans le texte. Je vais tout de même, en bon prince, faire l’effort de l’expliquer moi-même (de manière inférieure au texte originel).

L’induction de Solomonoff ne vise pas à définir un agent (note: j’écris agent par réflexe, mais dans ce cadre c’est juste un observateur passif, pas un agent) omniscient et objectif capable d’observer, représenter et prédire l’évolution de l’univers entier. Le but est de modéliser "quelles inférences peut faire un agent à partir de ses observations ?"

La distribution de probabilités en question est une distribution de probabilités sur les séquences des observations de l’observateur considéré. Donc quand tu dis "Je te demande de me définir une distribution de probabilité sur des événements du type « Le Canada envahit les États-Unis »", la réponse est que… personne dans ce contexte n’essaie de faire ça.

Comme tu aimes les probabilités : les séquences de bits (0 et 1) calculables par un tel algorithme sont récursivement énumérables. On peut identifier une telle suite à un réel dans le segment [0; 1]. Si on considére la distribution de probabilité uniforme sur cette intervalle, quel est est la probabilité de tomber au hasard sur un nombre calculé par l'algorithme ? Pour de simple raison de cardinalité, cette probabilité est nulle. Certes l'ensemble est dense dans l'intervalle pour sa topologie usuelle, mais il pèse peanuts.

Petit détail : on se limite aux séquences finies (pas d’observateur immortel), donc l’ensemble des séquences d’observation est dénombrable. De manière plus centrale, pourquoi diable prendrais tu la distribution uniforme ? Le but de l’induction de Solomonoff est de sortir une distribution de probabilités sur les séquences d’observations, à aucun moment tu n’as besoin de partir de la distribution uniforme.

Je n’ai aucun doute que tu vas trouver de nouvelles "objections" qui sont abordées noir sur blanc dans le texte, donc : je m’engage en avance à ne pas répondre à un autre "gotcha" dont la réponse est trivialement dans le texte. Je ne répondrai que si je vois un réel effort d’essayer de comprendre.

ce que je perçois chez Yudkowsky

Ce que tu perçois sans le lire ? Les Kantiens ont-ils donc des pouvoirs d’extra-perception ?

Tout ton exposé sur les liens entre Kant et la logique au 20e siècle est (sans aucun sarcasme !) intéressant, mais… je ne vois pas où tu veux en venir ? La seule chose que j’aurai à répondre à ça, c’est: si tu penses nous apprendre des choses, je te conseille de faire des recherches sur lesswrong, et tu verras que tous ces sujets ont été abordés un moment ou à un autre, mais merci pour la bonne intention, je suppose. Si tu penses m’apprendre des choses, encore merci pour l’intention, mais j’ai déjà un plan d’apprentissage, certaines des choses que tu cites sont déjà couvertes, d’autres déjà dans le plan, d’autres ne sont pas ma priorité.

Ce qui, dans un autre sens, est d’autant plus rageant : plus je te lis, plus j’ai l’impression que si on discutait amicalement autour d’un verre au lieu de se lancer des noms d’oiseaux, plus on se rendrait compte qu’on est d’accord sur beaucoup de points (sauf peut être sur mes hétérodoxies personnelles, mais c’est le principe là dessus que personne ne soit d’accord avec moi).

Reste à savoir si le Collège de France fait de la bonne science et de la bonne épistémologie.

Pure projection. Je ne crois pas avoir avoir dit où que ce soit dans le journal ou dans les commentaires que le reste du monde était bon à jeter aux orties et à l’opprobre populaire. Les "piliers" que j’ai cités sont tous hors du mouvement et le précèdent ! Comment peut-on raisonnablement en déduire "mouvement sectaire qui méprise le reste du monde ?" J’ai même dit dans un autre commentaire « nos principes nous autorisent à manger à tous les râteliers (avec prudence) ».

Je peux comprendre les réactions épidermiques après avoir écrit comme un pied dans le journal initial mais… je pense avoir assez clarifié depuis, non ?

C'est assez moche pour des idées supposées maximiser le bonheur, conséquentialistes qui plus est, de n'avoir comme conséquence principalement des exemples facheux.

Ne dramatisons rien : FTX/SBF est loin d’être la seule conséquence de EA, et la plupart des organismes affiliés EA sont positifs (GiveWell, OpenPhilantropy, Giving What We Can,…)

Un des problème évidemment c'est que la volonté de tout quantifier induit la volonté de trouver une métrique, financière parce que ça permet d'agréger tout et n'importe quoi (dans un gloubiboulga informe). Finalement ça ne fonctionne pas, parce que ce n'est pas une bonne métrique pour plein de raison dans pleins de cas. Ça illustre très bien l’impossibilité pratique, même avec des théorèmes mathématiques corrects, de mettre des poids sur les variables statistiques dans un cadre à prétention aussi générale. Et mettre des poids sur les variables statistiques (qui sont à identifier aussi, gros problème) est un des fondements de la théorie.

J’ai relu trois fois, je ne pense pas comprendre ce que tu essaies de dire.

Ceci dit : si tu essaies de me faire défendre l’utilitarisme (ce que je pense deviner être la substance de ton message ?), tu t’adresses à la mauvaise personne. Je n’y crois pas non plus. Non pas parce que les théorèmes malgré leur existence sont inutilisables comme tu sembles le dire, mais parce qu’ils n’existent tout bonnement pas ; il n’y a pas de manière claire pour agréger des fonction d’utilités, il n’y a aucune raison de penser que les préférences humaines soient modélisables en termes de fonction d’utilité, ou qu’il soit possible d’agréger des préférences rationnelles en une fonction d’utilité rationnelle ; au contraire, le Théorème d'impossibilité d'Arrow tend à pointer assez rapidement le bout de son nez.

(avec en plus l'énorme écueil, pour ce qui est du financier, que ça n'a absolument rien à dire sur les sciences de la nature. Jupiter est-elle ronde ? 199€ !

De Finetti fonde sa formulation de la théorie des probabilités sur des paris, il y a peut-être un rapprochement à faire :)

(tu serais également surpris de l’appétence de la finance pour recruter des physiciens. Par exemple, le modèle de Black-Scholes est essentiellement un problème physique de diffusion, et des modèles plus complexes rencontrent les mêmes difficultés qu’en physique, d’où la stratégie de recrutement. De ce qu’on m’a dit, en tout cas)

Tu sembles aussi évoquer les conséquences sociales, avec certaines entreprises du mouvement crypto notamment. On peut tout à fait considérer que ces entreprises ont plus d'échecs sur bien des objectifs qu'on peut considérer désirables que fait de bien globalement.

J’ai bien écrit "côté obscur" : FTX (géré par SBF) est l’Enron de la crypto. "plus d’échecs que de bien" est manière bien optimiste de présenter les choses :)

Ce que je veux dire par tout ça, c’est qu’il y a une affiliation directe entre LessWrong et EA, et directe entre EA et SBF. Et une illustration qu’il commence à y avoir des ramifications dans le monde réel, hors de blogs sur internet.

De ce point de vue, a-t-on réellement besoin de regarder les "idées importantes" pour ne pas être convaincus que ces idées mènent à des actes désirables, et que bien d'autres approches auraient pu voir venir la chose ?

"Besoin" ? Probablement pas. Ça reste un axe d’analyse intéressant, pertinent, sur des sujets qui gagnent en importance.

Je comprend parfaitement le point de vue. Ceci dit… c’est plus symétrique qu’il n’y paraît.

Parlons en termes de VoI (Value of Information). C’est essentiellement ce que tu sous-entend, en somme "la vie est trop courte pour écouter tous les charlatans". C’est un excellent angle d’analyse je trouve. Le monde universitaire considère tout ce qui est extérieur comme a priori bas en VoI, et n’a aucune intention de dépenser énormément d’énergie pour ça. C’est une stratégie compréhensible.

Mais dans l’autre sens, pour un individu à peu près convaincu par le framework rationaliste, tu proposes qu’il dédie une partie significative de sa vie à suivre les rites d’initiation occultes pour entrer dans le cercle sacré des Philosophes Universitaires et pouvoir débattre avec eux pour soit les convaincre ou trouver quelques erreurs. Le prix est élevé.

Il y a un effet de sélection ici : si tu penses tellement plausible qu’une partie significative du framework rationaliste est faux que la VoI gagnée vaut un tel sacrifice… tu n’est en fait pas rationaliste, et tu ne fais pas ces efforts ?

Plus clairement, si je prend 10 ans de ma vie, que je tente ce plan, et que j’y arrive (impossible pour moi, il faut savoir écrire :)), qu’est-ce que je gagne au final ? Le droit de gagner instantanément un débat sur DLFP ? Votre honneur, je préfère garder mes dix ans de ma vie.

Prenons l’exemple de Yudkowsky. Il aurait pu après avoir écrit ses Séquences décider de suivre ce chemin. Pourquoi est-ce qu’il ne l’a pas fait ? Parce qu’il a considéré beaucoup plus important et utile de travailler sur d’autres sujets, principalement sur ce que je pensais être sa marotte bizarre du moment, l’IA. Rétrospectivement, difficile de lui donner tort sur le sens des priorités (même si les résultats ne sont pas là).

Ton point de vue est "les universitaires ne doivent rien aux rationalistes". Je suis d’accord.

Je dirai également que "les rationalistes ne doivent rien aux universitaires" est tout aussi correct. Tu vas dire "ne vous plaignez pas de ne pas être pris au sérieux par les universitaires". Je répondrai: "c’est fâcheux, mais je dois bien l’accepter".

Pour moi la question plus intéressante est : est-ce qu’un de ces deux groupes doit quelque chose au public ?

Et pour moi oui, ici, il y a une certaine asymétrie dans les devoirs. C’est le rôle des universitaires de faire ce travail d’analyse des idées importantes, non pas pour le bien et le profit des rationalistes, mais pour le public et la société. Le devoir des rationalistes envers la société est largement moindre.

J’ai glissé un mot simple qui influe fortement la conclusion dans mon dernier paragraphe : "importantes". C’est quelque chose que je n’ai pas abordé dans le journal. Ce n’est pas juste un type bizarre (Yudkowsky) sur un blog sur internet. C’est un mouvement de plus en plus important qui a une influence certaine sur des sujets importants (IA, Effective Altruism). Du côté obscur: voir SBF (l’affiliation n’est pas directe, mais l’honnêteté oblige à reconnaître une affiliation indirect). Rien que Astral Codex Ten (aka Yvain aka Scott Alexander), c'est 78000 abonnés payants (pour un blog gratuit), des rencontres communautaires dans plus de 50 pays et 170 villes (https://www.astralcodexten.com/p/spring-meetups-everywhere-2024). Sur, rappelons-le, ce qui est essentiellement un sujet essentiellement philosophique, totalement hors du centre d’intérêt de la vaste majorité des individus.

Ça fait un peu broche publicitaire, mais ce n’est pas l’objectif, l’objectif est de remarquer qu’on est au-delà du charlatan isolé, et de demander si on ne commencerait pas à entrer dans le domaine de "devoir moral des universitaires d’informer le public et la société" ? Si ce sont des charlatans, ce n’est pas le genre de charlatans à ignorer, mais le genre de charlatans à réfuter, pour le bien du public, non ?

Ce qui peut être critiqué, probablement et en particulier si c'est en partie de l'amateurisme, c'est si il n'y a pas vraiment de publication académique qui confronte à des épistémologues universitaires qui pourraient en faire une lecture pertinente.

Tout à fait, je trouve ça regrettable également. Ceci dit on peut difficilement mettre un pistolet sur la tempe des philosophes du monde académique et leur dire : "maintenant vous lisez les Séquences et vous faites une critique complète et réfléchie".

La communauté est ouverte à tous. Il n’y a pas de questionnaire "êtes vous un philosophe universitaire ?" qu vous bannisse à vie si vous répondez oui. La communauté reconnaît très largement l’importance des Séquences, ce qui signifie qu’un philosophe académique qui veut s’y intéresser et critiquer sait exactement quel matériel engager, sans tomber dans un risque que la communauté réagisse en mode "OK vous avez bien critiqué les points centraux des Séquences, mais ce n’est pas vraiment ce qu’on pensait réellement en fait, nananère".

Après, comme cité ailleurs dans un autre commentaire, il y a tout de même Bayesian Epistemology sur Stanford Encyclopedia of Philosophy. C’est un début. Trop peu, très tard à mon goût, mais un début.

Corrige moi si je me trompe mais là on en est toujours là avec la promesse qu'on va avoir assez de données à refiler à un technique d'apprentissage automatique, avec une classe de modèle "universels", avec aussi la promesse que les modèles seront super simples et qu'ils vont être compréhensibles par des humains ?

Tu te trompes, le projet est principalement "tirer des leçons, des outils, et des heuristiques" pour des humains (il y aurait potentiellement une digression à faire sur l’IA ici, mais ne complexifions pas les choses ?)

Je pense que tu as sur-interprété la tentative de discussion sur l’induction de Solomonoff ? Le but n’est pas de dire : "nous allons en 5 ans développer une version pratique de l’induction de Solomonoff, un Raisonneur Universel quasiment parfait", le but est d’en tirer des leçons pratiques comme "le rasoir d’Occam est-il justifiable, et si oui, parmi les multiples variantes qui ont été proposées, une est-elle meilleure ? Laquelle ?"

et, en plus (sans doute un peu pour troller) avec cette tendance que peuvent avoir certains rationalistes à dire "si ça ne respecte pas nos critères épistémique, ça ne vaut rien c'est pas de la science".

Du tout non, nos principes nous autorisent à manger à tous les rateliers :)

(avec prudence tout de même)

Non, tu m’as compris de travers, je parle pourtant bien du journal, pas des commentateurs. Quand tu vas voir le pedigree des gens qui sont référencés dans le journal, ça fait peur. On est plus sur de l’autoproclamé chercheur, le “toutoulogue” qui saute du Covid à l'IA (tout ce qui peut amener de l’audience…), peu d’institutions sérieuses (universités, labos), essentiellement du post de blog, des “instituts”, privés, et ainsi de suite. Tous les redflags s’allument, ça pue à 1000km à la ronde

Je vois beaucoup de mépris, bien peu de substance. Essayons de répondre tout de même, même si ce message me donne bien peu de points d’accroche pour discuter calmement et objectivement.

1. Oui, je cite principalement un travail de vulgarisation (lesswrong). Yudkowsky et les Séquences plutôt que "tapez vous Jaynes et Solomonoff et Tversky et Kahneman" (et tous les autres, il n’y a pas que ces quatre noms). Je ne vois pas en quoi c’est problématique.

2. Je trouve le mépris pour l’amateurisme assez déplacé. Il n’y a pas besoin d’avoir un permis pour apprendre, réfléchir et partager ses résultats. C’est même un des grands cadeaux d’internet. La communauté open-source est fondée là dessus — il ne viendrait à personne l’idée de dire "pour contribuer, il va falloir que vous me présentiez votre diplôme d’ingénieur". La communauté scientifique a eu son lot de contributions "d’amateurs". Et ça continue, d’ailleurs (BB(5), Marjorie Rice, pour ne citer que les plus connus).

(empirisme, primauté du quantitatif sur le qualitatif, idéalisme philosophique)

Tu es bien le premier à émettre la critique "trop d’empirisme". En un sens ça fait franchement plaisir, mais je crois que tu vas un peut trop loin dans la flatterie — je pense que la critique inverse, pas assez d’empirisme malgré les aspirations à plus d’empirisme est plus correct.

Et je vois mal comment tu peux conjuguer "trop d’emphase à la fois sur l’idéalisme d’un côté, et sur l’empirisme et le quantitatif de l’autre". Ça me semble quelque peu antinomique. Mais j’ai possiblement mal compris ton propose.

Et de plus : qu’as-tu lu exactement pour de permettre de juger aussi rapidement du contenu ? Parce que si c’est juste mon journal, je crois qu’il est assez clair à présent qu’il est mal écrit, mal expliqué, et que se baser uniquement dessus pour se faire une idée globale des choses est pour le moins malavisé.

Pour conclure : pour moi, l’esprit critique, ça demande en premier lieu d’essayer de comprendre ce qu’on veut critiquer, pas rejeter réflexivement. Tu es tout à fait dans ton droit de dire : "ça ne m’inspire pas confiance, je ne vais pas perdre mon temps là dessus", et je serai le premier à comprendre (voire approuver ; le temps est précieux). Par contre, "ça ne m’inspire pas confiance, donc c’est des charlatans" me semble aller un peu vite en besogne. Une variante du Bulvérisme.

(et je dispute pas vraiment l’aspect "ça ne m’inspire pas confiance", pour être clair, que je peux comprendre, mis à part l’attitude "montrez votre permis ?")

Tu as raison, je me suis mélangé les pinceaux.

Oui, évidemment, si tu poses le calcul, l’aspect "biais" disparait rapidement.

Où je voulais en venir : si tu es l’Evolution, et qu’il se trouve que "agir plus rationnellement" (dans le sens de homo œconomicus) est avantageux, mais que tes humains ne sont pas encore au niveau d’avoir inventé l’économie et les maths (et encore moins la révolution marginaliste), tu veux instiller un peu de raisonnement "marginaliste" dans les raisonnements intuitifs. Il est possible que le prix à payer soit que dans certaines situations l’intuition se mette à ignorer les coûts passés (qui ne rentrent pas dans le raisonnement marginaliste).

(mais évidemment, tout ceci est hautement spéculatif)

Wikipedia anglais redirige "Analytic solution" vers "Closed-form expression", sans mentionner le mot "analytic" dans le début de la page en tant que synonyme. Je remarque également que les usages de "analytic" sont annotés "vague" et "citation needed". C’est pour ça que je dis "usage informel".

Mais oui sur le fond je suis entièrement d’accord : l’usage informel est répandu et parfaitement clair, je ne vois mal un contexte où il serait raisonnable de s’en effaroucher, encore moins ici.

Mais je ne suis même pas sûr que ça représente bien l'usage, puisqu'il est suggéré qu'une solution faisant intervenir une fonction spéciale est "analytic" mais pas "closed-form", ce qui me semble fondamentalement problématique: les fonctions spéciales sont "juste" des intégrales compliquées qui reviennent souvent et dont l'usage a fixé le nom, mais rien de les distingue d'une intégrale sans solution "élémentaire" que tu définirais toi-même. Du coup, le tableau ne me semble pas très cohérent, il a en fait trop de colonnes (ou bien la ligne "integral" n'est pas bien remplie).

Je pense (en réfléchissant 5 minutes, source: mon cerveau, donc je peux très bien m’être planté) que la distinction "closed-form expression"/"analytic expression"/"analytic function" est que "analytic expression" essaie de formaliser un entre-deux (entre analytic function et closed-form expression). La case qui me semble importante est "convergent infinite series" : on se rapproche de l’idée des fonctions analytiques, tout en restant dans le domaine des expressions énumérables, à l’opposé de l’ensemble des fonctions analytiques qui est non-énumérable.

Merci pour les encouragements, j’avoue que j’avais besoin d’un peu de baume au cœur :)

Je pense ne m’être énervé que sur un interlocuteur, et je ne vois pas comment répondre de manière mesurée et constructive à "j’ai pas lu mais c’est ridicule". Si le message est : j’aurai juste dû ne pas répondre… oui, tu as probablement raison. Mais ce n’est pas toujours facile.

À ce stade, il faut songer à consulter ! Les bras m'en tombent /o\

Quel argumentaire puissant. Je ne peux plus que m’avouer vaincu, je suppose.

Ce genre d'énoncé contient bien plus d'informations sur celui qui l'énonce que sur la réalité qu'il cherche à modéliser. Je suis étonné que Von Neumann se soit fourvoyé dans ce genre de chose.

Ha, on progresse vers "von Neumann s’est fourvoyé", sans justification.

Je vais être méchant, mais je pense que pour le coup c’est mérité : quand vous dites "von Neumann s’est fourvoyé" sans justification et "Ray Solomonoff s’est fourvoyé" sans justification (et je suppose que je peux ajouter Jaynes, Cox et de Finetti à la liste, même si ça n’a jamais été dit explicitement ?), d’un seul coup l’argument "Yudkowsky, je ne l’ai pas lu jusqu’au bout, mais il se fourvoie" me semble d’un seul coup… quelque peu… bref, disons qu’il se retrouve en bonne compagnie.

Ensuite le résultat n'est pas si surprenant : si je présuppose des probabilités à l'entrée (voir la liste des axiomes) alors j'ai des probabilités à la sortie. On n'est pas loin de la tautologie.

L’introduction des probabilités n’est pas faite à l’axiome 3, mais dans la définition d’une lotterie, plus haut. Et le but de l’axiome 3 n’est pas d’avoir "des probabilités à la sortie". Ce n’est pas non plus le but, ou le résultat du théorème.

Oui, le théorème assume que la théorie des probabilités est correcte, dans le sens où la démonstration du théorème se base dessus, mais c’est utilisé en tant qu’étape intermédiaire, pas "en tant que tautologie". C’est l’étape suivante ? "Toute théorie faisant usage de la théorie des probabilités est invalide" ? Encore une fois, je crains qu’avec une telle règle que les "théories invalides" se retrouvent en bonne compagnie.

il n'y a rien de neuf sous le soleil

Par pitié, rassurez-moi. Dites moi que je vous ai terriblement mal interprété.

Parce que mon interprétation de tout ça c'est : utiliser Kant (mort en 1804), pour dire que les résultats de von Neumann (1947), Cox (1946), Jaynes (je ne trouve pas la date, disons 1960), et Solomonoff (1964) sont "fourvoyés, les pauvres".

Sans chercher à les comprendre (parce que "j’aime pas le style"), juste a priori ?

Qu’est-ce qu’il y a de philosophique dans cette attitude, exactement ?

"Pas de solution analytique" est parfois utilisé informellement comme raccourci pour "n’est pas exprimable en termes de fonctions élémentaires". Je pense que c'est de ça dont parle arnaudus.

Zut, j’ai oublié de répondre à un point technique intéressant :

Le calcul des probabilités permet de développer une logique modale dans laquelle le possible est quantifié par un nombre réel. Mais il n'est pas nécessaire de mesurer le degré de possibilité pour raisonner modalement, et c'est même bien souvent impossible. Ce qui réduit grandement le champ d'extension d'une telle méthodologie pour atteindre la vérité.

Les économistes ont rencontré ce problème : si les préférences sont de la forme (je préfère A à B), quelle est la validité de les représenter par des nombres réels (fonction d’utilité) ?

La réponse est: si on se limite aux agents rationnels (entre autre: dont les préférences forment un ordre total), les deux sont équivalents.

Jaynes présente un résultat similaire (dans l’idée), annexe A3 de Probability Theory.

Tu peux expliquer rapidement aux enfants le fonctionnement de la publicité par exemple ("ils essayent de te faire croire que tu as besoin de cette chose, mais réfléchis à ce que tu pourrais avoir de mieux à la place") sans enseigner techniquement les biais que le marketting exploite.

Ce qui ne généralisera pas à d’autres situations. Donner un poisson vs apprendre à pêcher.

Et ce qui donne également la fausse impression que les biais cognitifs ne sont un problème que dans un contexte où tu as un adversaire, à ne se méfier que quand tu échanges avec un autrui auquel tu n’as pas confiance.

On peut faire un parallèle avec les raisonnements fallacieux par exemple. On peut les connaitre et en parler, mais à part nuire à tes relations sociales ou te dégoûter de la totalité des discours politiques, à quoi peut bien servir d'identifier par leur nom les fallacies dans l'argumentation d'autrui? Le fait d'avoir envie de crier "homme de paille!" ou "fausse alternative!" à chaque réunion ne me permet pas de me concentrer sur le fond ou d'améliorer mes relations avec mes collègues…

Le but est de les reconnaître quand tu les fait toi même.

C’est à mon sens une grosse erreur d’apprendre les raisonnements fallacieux et les biais cognitifs et d’en déduire : "oh, chic de nouveaux outils pour contrer les arguments de mes ennemis !"

La leçon importante est que tu es tout autant susceptible de ces raisonnement fallacieux et biais cognitifs que ceux en désaccord avec toi. Le but est d’améliorer ton raisonnement, pas de crier sur les autres.

Je me demande quand même s'il n'y a pas des raisons biologiques profondes à notre aversion à l'abandon des coûts irrécupérables, mais ça ne me semble pas évident.

Dans certaines situations ignorer les coûts irrécupérables est la solution correcte.

Suppose que tu lances un projet d’investissement de 100k€, avec un CA attendu de 200k€ (bénéfice attendu 100k€).

Mauvaise nouvelle: à 80% du projet (~80k investis) de bien meilleurs prédictions donnent un CA attendu de 30k.

On peut continuer le projet, dépenser 20k de plus, pour un bénéfice total de -70k, et marginal de 10k.

Ou l’arrêter, pour un bénéfice total de -100k, et marginal de 0k.

Je pense (sans aucune preuve) que ce biais vient de là, une tentative de l’évolution d’intégrer le marginalisme dans le cerveau humain.