Moonz a écrit 3657 commentaires

Pas supprimer les émotions, mais essayer de préserver des normes de débat constructives. C’est un problème difficile même quand toutes les parties prenantes font de leur mieux, un combat constant contre le résultat par défaut qui est "tout le monde se hurle dessus contre-productivement". Faire un effort de crier moins fort que l’interlocuteur est un de ces outils (et oui, je ne suis pas toujours à la hauteur de mes propres ambitions).

Encore une fois, quand on me dit "j’ai pas lu mais c’est ridicule", je m’énerve. Et je ne critique pas en moi-même cet énervement ! C’est naturel et sain ! Mon auto-critique porte sur l’action de "répondre en essayant de crier plus fort", qui est pour le coup naturel mais malsain. Les deux choses sont différentes.

Et sur le fond… tu tapes à côté. Yudkowsky :

A popular belief about “rationality” is that rationality opposes all emotion—that all our sadness and all our joy are automatically anti-logical by virtue of being feelings. Yet strangely enough, I can’t find any theorem of probability theory which proves that I should appear ice-cold and expressionless.

J’ai également déjà mentionné aussi Thing of Things :

Many people who struggle with excessive guilt subconsciously have goals that look like this:
* […]
* I don’t want to have upsetting emotions.
* I want to stop having feelings.

These are what I call the life goals of dead people, because what they all have in common is that the best possible person to achieve them is a corpse.
[…]
If you want to be dead, that’s your own business. But if you would like to continue to be alive, it’s a bad idea to set goals for yourself that boil down to “try to get as close as possible to being a corpse while continuing to respire and consume nutrients.”

On peut aussi aller voir chez Scott Alexander :

If I were an actor in an improv show, and my prompt was “annoying person who’s never read anything about rationality, criticizing rationalists”, it would go something like:

[…] Anyway, rationality isn’t everything – instead of pretending to be Spock, people should remain open to things like emotions, art, and relationships. […]

They [Modern rationalists] have said approximately one zillion times that they don’t like Spock and think he’s a bad role model. They include painters, poets, dancers, photographers, and novelists.

Alors s'il faut argumenter…

Heu… oui ? C’est le but dans une discussion ? Sinon pourquoi prendre la peine ?

Il faut surtout être sérieux deux minutes.

Mais encore ? J’ai fait le pitre quelque part ?

Je te demande de me définir une distribution de probabilité sur des événements du type « Le Canada envahit les États-Unis » (le personnage de Blaine affirme que la magie du théorème de Solomonoff permettra de la déterminer) et vous me répondez en substance : considérant que l'univers est un automate à états finis alors on peut déterminer une telle distribution de probabilité, et en plus ça tombe bien on se retrouve dans le cas d'application du théorème. Vous pensez sérieusement que l'univers est un automate à état fini et que, par exemple, le travail des physiciens consistent à déterminer les lois qui régissent ses transitions ? Si c'est le cas, alors oui, il faut consulter. ;-)

Bon, dernier essai. Et c’est bien parce que je suis d’extrêmement bonne humeur. Tout ce que je vais dire est écrit dans le texte. Je vais tout de même, en bon prince, faire l’effort de l’expliquer moi-même (de manière inférieure au texte originel).

L’induction de Solomonoff ne vise pas à définir un agent (note: j’écris agent par réflexe, mais dans ce cadre c’est juste un observateur passif, pas un agent) omniscient et objectif capable d’observer, représenter et prédire l’évolution de l’univers entier. Le but est de modéliser "quelles inférences peut faire un agent à partir de ses observations ?"

La distribution de probabilités en question est une distribution de probabilités sur les séquences des observations de l’observateur considéré. Donc quand tu dis "Je te demande de me définir une distribution de probabilité sur des événements du type « Le Canada envahit les États-Unis »", la réponse est que… personne dans ce contexte n’essaie de faire ça.

Comme tu aimes les probabilités : les séquences de bits (0 et 1) calculables par un tel algorithme sont récursivement énumérables. On peut identifier une telle suite à un réel dans le segment [0; 1]. Si on considére la distribution de probabilité uniforme sur cette intervalle, quel est est la probabilité de tomber au hasard sur un nombre calculé par l'algorithme ? Pour de simple raison de cardinalité, cette probabilité est nulle. Certes l'ensemble est dense dans l'intervalle pour sa topologie usuelle, mais il pèse peanuts.

Petit détail : on se limite aux séquences finies (pas d’observateur immortel), donc l’ensemble des séquences d’observation est dénombrable. De manière plus centrale, pourquoi diable prendrais tu la distribution uniforme ? Le but de l’induction de Solomonoff est de sortir une distribution de probabilités sur les séquences d’observations, à aucun moment tu n’as besoin de partir de la distribution uniforme.

Je n’ai aucun doute que tu vas trouver de nouvelles "objections" qui sont abordées noir sur blanc dans le texte, donc : je m’engage en avance à ne pas répondre à un autre "gotcha" dont la réponse est trivialement dans le texte. Je ne répondrai que si je vois un réel effort d’essayer de comprendre.

ce que je perçois chez Yudkowsky

Ce que tu perçois sans le lire ? Les Kantiens ont-ils donc des pouvoirs d’extra-perception ?

Tout ton exposé sur les liens entre Kant et la logique au 20e siècle est (sans aucun sarcasme !) intéressant, mais… je ne vois pas où tu veux en venir ? La seule chose que j’aurai à répondre à ça, c’est: si tu penses nous apprendre des choses, je te conseille de faire des recherches sur lesswrong, et tu verras que tous ces sujets ont été abordés un moment ou à un autre, mais merci pour la bonne intention, je suppose. Si tu penses m’apprendre des choses, encore merci pour l’intention, mais j’ai déjà un plan d’apprentissage, certaines des choses que tu cites sont déjà couvertes, d’autres déjà dans le plan, d’autres ne sont pas ma priorité.

Ce qui, dans un autre sens, est d’autant plus rageant : plus je te lis, plus j’ai l’impression que si on discutait amicalement autour d’un verre au lieu de se lancer des noms d’oiseaux, plus on se rendrait compte qu’on est d’accord sur beaucoup de points (sauf peut être sur mes hétérodoxies personnelles, mais c’est le principe là dessus que personne ne soit d’accord avec moi).

Reste à savoir si le Collège de France fait de la bonne science et de la bonne épistémologie.

Pure projection. Je ne crois pas avoir avoir dit où que ce soit dans le journal ou dans les commentaires que le reste du monde était bon à jeter aux orties et à l’opprobre populaire. Les "piliers" que j’ai cités sont tous hors du mouvement et le précèdent ! Comment peut-on raisonnablement en déduire "mouvement sectaire qui méprise le reste du monde ?" J’ai même dit dans un autre commentaire « nos principes nous autorisent à manger à tous les râteliers (avec prudence) ».

Je peux comprendre les réactions épidermiques après avoir écrit comme un pied dans le journal initial mais… je pense avoir assez clarifié depuis, non ?

C'est assez moche pour des idées supposées maximiser le bonheur, conséquentialistes qui plus est, de n'avoir comme conséquence principalement des exemples facheux.

Ne dramatisons rien : FTX/SBF est loin d’être la seule conséquence de EA, et la plupart des organismes affiliés EA sont positifs (GiveWell, OpenPhilantropy, Giving What We Can,…)

Un des problème évidemment c'est que la volonté de tout quantifier induit la volonté de trouver une métrique, financière parce que ça permet d'agréger tout et n'importe quoi (dans un gloubiboulga informe). Finalement ça ne fonctionne pas, parce que ce n'est pas une bonne métrique pour plein de raison dans pleins de cas. Ça illustre très bien l’impossibilité pratique, même avec des théorèmes mathématiques corrects, de mettre des poids sur les variables statistiques dans un cadre à prétention aussi générale. Et mettre des poids sur les variables statistiques (qui sont à identifier aussi, gros problème) est un des fondements de la théorie.

J’ai relu trois fois, je ne pense pas comprendre ce que tu essaies de dire.

Ceci dit : si tu essaies de me faire défendre l’utilitarisme (ce que je pense deviner être la substance de ton message ?), tu t’adresses à la mauvaise personne. Je n’y crois pas non plus. Non pas parce que les théorèmes malgré leur existence sont inutilisables comme tu sembles le dire, mais parce qu’ils n’existent tout bonnement pas ; il n’y a pas de manière claire pour agréger des fonction d’utilités, il n’y a aucune raison de penser que les préférences humaines soient modélisables en termes de fonction d’utilité, ou qu’il soit possible d’agréger des préférences rationnelles en une fonction d’utilité rationnelle ; au contraire, le Théorème d'impossibilité d'Arrow tend à pointer assez rapidement le bout de son nez.

(avec en plus l'énorme écueil, pour ce qui est du financier, que ça n'a absolument rien à dire sur les sciences de la nature. Jupiter est-elle ronde ? 199€ !

De Finetti fonde sa formulation de la théorie des probabilités sur des paris, il y a peut-être un rapprochement à faire :)

(tu serais également surpris de l’appétence de la finance pour recruter des physiciens. Par exemple, le modèle de Black-Scholes est essentiellement un problème physique de diffusion, et des modèles plus complexes rencontrent les mêmes difficultés qu’en physique, d’où la stratégie de recrutement. De ce qu’on m’a dit, en tout cas)

Tu sembles aussi évoquer les conséquences sociales, avec certaines entreprises du mouvement crypto notamment. On peut tout à fait considérer que ces entreprises ont plus d'échecs sur bien des objectifs qu'on peut considérer désirables que fait de bien globalement.

J’ai bien écrit "côté obscur" : FTX (géré par SBF) est l’Enron de la crypto. "plus d’échecs que de bien" est manière bien optimiste de présenter les choses :)

Ce que je veux dire par tout ça, c’est qu’il y a une affiliation directe entre LessWrong et EA, et directe entre EA et SBF. Et une illustration qu’il commence à y avoir des ramifications dans le monde réel, hors de blogs sur internet.

De ce point de vue, a-t-on réellement besoin de regarder les "idées importantes" pour ne pas être convaincus que ces idées mènent à des actes désirables, et que bien d'autres approches auraient pu voir venir la chose ?

"Besoin" ? Probablement pas. Ça reste un axe d’analyse intéressant, pertinent, sur des sujets qui gagnent en importance.

Je comprend parfaitement le point de vue. Ceci dit… c’est plus symétrique qu’il n’y paraît.

Parlons en termes de VoI (Value of Information). C’est essentiellement ce que tu sous-entend, en somme "la vie est trop courte pour écouter tous les charlatans". C’est un excellent angle d’analyse je trouve. Le monde universitaire considère tout ce qui est extérieur comme a priori bas en VoI, et n’a aucune intention de dépenser énormément d’énergie pour ça. C’est une stratégie compréhensible.

Mais dans l’autre sens, pour un individu à peu près convaincu par le framework rationaliste, tu proposes qu’il dédie une partie significative de sa vie à suivre les rites d’initiation occultes pour entrer dans le cercle sacré des Philosophes Universitaires et pouvoir débattre avec eux pour soit les convaincre ou trouver quelques erreurs. Le prix est élevé.

Il y a un effet de sélection ici : si tu penses tellement plausible qu’une partie significative du framework rationaliste est faux que la VoI gagnée vaut un tel sacrifice… tu n’est en fait pas rationaliste, et tu ne fais pas ces efforts ?

Plus clairement, si je prend 10 ans de ma vie, que je tente ce plan, et que j’y arrive (impossible pour moi, il faut savoir écrire :)), qu’est-ce que je gagne au final ? Le droit de gagner instantanément un débat sur DLFP ? Votre honneur, je préfère garder mes dix ans de ma vie.

Prenons l’exemple de Yudkowsky. Il aurait pu après avoir écrit ses Séquences décider de suivre ce chemin. Pourquoi est-ce qu’il ne l’a pas fait ? Parce qu’il a considéré beaucoup plus important et utile de travailler sur d’autres sujets, principalement sur ce que je pensais être sa marotte bizarre du moment, l’IA. Rétrospectivement, difficile de lui donner tort sur le sens des priorités (même si les résultats ne sont pas là).

Ton point de vue est "les universitaires ne doivent rien aux rationalistes". Je suis d’accord.

Je dirai également que "les rationalistes ne doivent rien aux universitaires" est tout aussi correct. Tu vas dire "ne vous plaignez pas de ne pas être pris au sérieux par les universitaires". Je répondrai: "c’est fâcheux, mais je dois bien l’accepter".

Pour moi la question plus intéressante est : est-ce qu’un de ces deux groupes doit quelque chose au public ?

Et pour moi oui, ici, il y a une certaine asymétrie dans les devoirs. C’est le rôle des universitaires de faire ce travail d’analyse des idées importantes, non pas pour le bien et le profit des rationalistes, mais pour le public et la société. Le devoir des rationalistes envers la société est largement moindre.

J’ai glissé un mot simple qui influe fortement la conclusion dans mon dernier paragraphe : "importantes". C’est quelque chose que je n’ai pas abordé dans le journal. Ce n’est pas juste un type bizarre (Yudkowsky) sur un blog sur internet. C’est un mouvement de plus en plus important qui a une influence certaine sur des sujets importants (IA, Effective Altruism). Du côté obscur: voir SBF (l’affiliation n’est pas directe, mais l’honnêteté oblige à reconnaître une affiliation indirect). Rien que Astral Codex Ten (aka Yvain aka Scott Alexander), c'est 78000 abonnés payants (pour un blog gratuit), des rencontres communautaires dans plus de 50 pays et 170 villes (https://www.astralcodexten.com/p/spring-meetups-everywhere-2024). Sur, rappelons-le, ce qui est essentiellement un sujet essentiellement philosophique, totalement hors du centre d’intérêt de la vaste majorité des individus.

Ça fait un peu broche publicitaire, mais ce n’est pas l’objectif, l’objectif est de remarquer qu’on est au-delà du charlatan isolé, et de demander si on ne commencerait pas à entrer dans le domaine de "devoir moral des universitaires d’informer le public et la société" ? Si ce sont des charlatans, ce n’est pas le genre de charlatans à ignorer, mais le genre de charlatans à réfuter, pour le bien du public, non ?

Ce qui peut être critiqué, probablement et en particulier si c'est en partie de l'amateurisme, c'est si il n'y a pas vraiment de publication académique qui confronte à des épistémologues universitaires qui pourraient en faire une lecture pertinente.

Tout à fait, je trouve ça regrettable également. Ceci dit on peut difficilement mettre un pistolet sur la tempe des philosophes du monde académique et leur dire : "maintenant vous lisez les Séquences et vous faites une critique complète et réfléchie".

La communauté est ouverte à tous. Il n’y a pas de questionnaire "êtes vous un philosophe universitaire ?" qu vous bannisse à vie si vous répondez oui. La communauté reconnaît très largement l’importance des Séquences, ce qui signifie qu’un philosophe académique qui veut s’y intéresser et critiquer sait exactement quel matériel engager, sans tomber dans un risque que la communauté réagisse en mode "OK vous avez bien critiqué les points centraux des Séquences, mais ce n’est pas vraiment ce qu’on pensait réellement en fait, nananère".

Après, comme cité ailleurs dans un autre commentaire, il y a tout de même Bayesian Epistemology sur Stanford Encyclopedia of Philosophy. C’est un début. Trop peu, très tard à mon goût, mais un début.

Corrige moi si je me trompe mais là on en est toujours là avec la promesse qu'on va avoir assez de données à refiler à un technique d'apprentissage automatique, avec une classe de modèle "universels", avec aussi la promesse que les modèles seront super simples et qu'ils vont être compréhensibles par des humains ?

Tu te trompes, le projet est principalement "tirer des leçons, des outils, et des heuristiques" pour des humains (il y aurait potentiellement une digression à faire sur l’IA ici, mais ne complexifions pas les choses ?)

Je pense que tu as sur-interprété la tentative de discussion sur l’induction de Solomonoff ? Le but n’est pas de dire : "nous allons en 5 ans développer une version pratique de l’induction de Solomonoff, un Raisonneur Universel quasiment parfait", le but est d’en tirer des leçons pratiques comme "le rasoir d’Occam est-il justifiable, et si oui, parmi les multiples variantes qui ont été proposées, une est-elle meilleure ? Laquelle ?"

et, en plus (sans doute un peu pour troller) avec cette tendance que peuvent avoir certains rationalistes à dire "si ça ne respecte pas nos critères épistémique, ça ne vaut rien c'est pas de la science".

Du tout non, nos principes nous autorisent à manger à tous les rateliers :)

(avec prudence tout de même)

Non, tu m’as compris de travers, je parle pourtant bien du journal, pas des commentateurs. Quand tu vas voir le pedigree des gens qui sont référencés dans le journal, ça fait peur. On est plus sur de l’autoproclamé chercheur, le “toutoulogue” qui saute du Covid à l'IA (tout ce qui peut amener de l’audience…), peu d’institutions sérieuses (universités, labos), essentiellement du post de blog, des “instituts”, privés, et ainsi de suite. Tous les redflags s’allument, ça pue à 1000km à la ronde

Je vois beaucoup de mépris, bien peu de substance. Essayons de répondre tout de même, même si ce message me donne bien peu de points d’accroche pour discuter calmement et objectivement.

1. Oui, je cite principalement un travail de vulgarisation (lesswrong). Yudkowsky et les Séquences plutôt que "tapez vous Jaynes et Solomonoff et Tversky et Kahneman" (et tous les autres, il n’y a pas que ces quatre noms). Je ne vois pas en quoi c’est problématique.

2. Je trouve le mépris pour l’amateurisme assez déplacé. Il n’y a pas besoin d’avoir un permis pour apprendre, réfléchir et partager ses résultats. C’est même un des grands cadeaux d’internet. La communauté open-source est fondée là dessus — il ne viendrait à personne l’idée de dire "pour contribuer, il va falloir que vous me présentiez votre diplôme d’ingénieur". La communauté scientifique a eu son lot de contributions "d’amateurs". Et ça continue, d’ailleurs (BB(5), Marjorie Rice, pour ne citer que les plus connus).

(empirisme, primauté du quantitatif sur le qualitatif, idéalisme philosophique)

Tu es bien le premier à émettre la critique "trop d’empirisme". En un sens ça fait franchement plaisir, mais je crois que tu vas un peut trop loin dans la flatterie — je pense que la critique inverse, pas assez d’empirisme malgré les aspirations à plus d’empirisme est plus correct.

Et je vois mal comment tu peux conjuguer "trop d’emphase à la fois sur l’idéalisme d’un côté, et sur l’empirisme et le quantitatif de l’autre". Ça me semble quelque peu antinomique. Mais j’ai possiblement mal compris ton propose.

Et de plus : qu’as-tu lu exactement pour de permettre de juger aussi rapidement du contenu ? Parce que si c’est juste mon journal, je crois qu’il est assez clair à présent qu’il est mal écrit, mal expliqué, et que se baser uniquement dessus pour se faire une idée globale des choses est pour le moins malavisé.

Pour conclure : pour moi, l’esprit critique, ça demande en premier lieu d’essayer de comprendre ce qu’on veut critiquer, pas rejeter réflexivement. Tu es tout à fait dans ton droit de dire : "ça ne m’inspire pas confiance, je ne vais pas perdre mon temps là dessus", et je serai le premier à comprendre (voire approuver ; le temps est précieux). Par contre, "ça ne m’inspire pas confiance, donc c’est des charlatans" me semble aller un peu vite en besogne. Une variante du Bulvérisme.

(et je dispute pas vraiment l’aspect "ça ne m’inspire pas confiance", pour être clair, que je peux comprendre, mis à part l’attitude "montrez votre permis ?")

Tu as raison, je me suis mélangé les pinceaux.

Oui, évidemment, si tu poses le calcul, l’aspect "biais" disparait rapidement.

Où je voulais en venir : si tu es l’Evolution, et qu’il se trouve que "agir plus rationnellement" (dans le sens de homo œconomicus) est avantageux, mais que tes humains ne sont pas encore au niveau d’avoir inventé l’économie et les maths (et encore moins la révolution marginaliste), tu veux instiller un peu de raisonnement "marginaliste" dans les raisonnements intuitifs. Il est possible que le prix à payer soit que dans certaines situations l’intuition se mette à ignorer les coûts passés (qui ne rentrent pas dans le raisonnement marginaliste).

(mais évidemment, tout ceci est hautement spéculatif)

Wikipedia anglais redirige "Analytic solution" vers "Closed-form expression", sans mentionner le mot "analytic" dans le début de la page en tant que synonyme. Je remarque également que les usages de "analytic" sont annotés "vague" et "citation needed". C’est pour ça que je dis "usage informel".

Mais oui sur le fond je suis entièrement d’accord : l’usage informel est répandu et parfaitement clair, je ne vois mal un contexte où il serait raisonnable de s’en effaroucher, encore moins ici.

Mais je ne suis même pas sûr que ça représente bien l'usage, puisqu'il est suggéré qu'une solution faisant intervenir une fonction spéciale est "analytic" mais pas "closed-form", ce qui me semble fondamentalement problématique: les fonctions spéciales sont "juste" des intégrales compliquées qui reviennent souvent et dont l'usage a fixé le nom, mais rien de les distingue d'une intégrale sans solution "élémentaire" que tu définirais toi-même. Du coup, le tableau ne me semble pas très cohérent, il a en fait trop de colonnes (ou bien la ligne "integral" n'est pas bien remplie).

Je pense (en réfléchissant 5 minutes, source: mon cerveau, donc je peux très bien m’être planté) que la distinction "closed-form expression"/"analytic expression"/"analytic function" est que "analytic expression" essaie de formaliser un entre-deux (entre analytic function et closed-form expression). La case qui me semble importante est "convergent infinite series" : on se rapproche de l’idée des fonctions analytiques, tout en restant dans le domaine des expressions énumérables, à l’opposé de l’ensemble des fonctions analytiques qui est non-énumérable.

Merci pour les encouragements, j’avoue que j’avais besoin d’un peu de baume au cœur :)

Je pense ne m’être énervé que sur un interlocuteur, et je ne vois pas comment répondre de manière mesurée et constructive à "j’ai pas lu mais c’est ridicule". Si le message est : j’aurai juste dû ne pas répondre… oui, tu as probablement raison. Mais ce n’est pas toujours facile.

À ce stade, il faut songer à consulter ! Les bras m'en tombent /o\

Quel argumentaire puissant. Je ne peux plus que m’avouer vaincu, je suppose.

Ce genre d'énoncé contient bien plus d'informations sur celui qui l'énonce que sur la réalité qu'il cherche à modéliser. Je suis étonné que Von Neumann se soit fourvoyé dans ce genre de chose.

Ha, on progresse vers "von Neumann s’est fourvoyé", sans justification.

Je vais être méchant, mais je pense que pour le coup c’est mérité : quand vous dites "von Neumann s’est fourvoyé" sans justification et "Ray Solomonoff s’est fourvoyé" sans justification (et je suppose que je peux ajouter Jaynes, Cox et de Finetti à la liste, même si ça n’a jamais été dit explicitement ?), d’un seul coup l’argument "Yudkowsky, je ne l’ai pas lu jusqu’au bout, mais il se fourvoie" me semble d’un seul coup… quelque peu… bref, disons qu’il se retrouve en bonne compagnie.

Ensuite le résultat n'est pas si surprenant : si je présuppose des probabilités à l'entrée (voir la liste des axiomes) alors j'ai des probabilités à la sortie. On n'est pas loin de la tautologie.

L’introduction des probabilités n’est pas faite à l’axiome 3, mais dans la définition d’une lotterie, plus haut. Et le but de l’axiome 3 n’est pas d’avoir "des probabilités à la sortie". Ce n’est pas non plus le but, ou le résultat du théorème.

Oui, le théorème assume que la théorie des probabilités est correcte, dans le sens où la démonstration du théorème se base dessus, mais c’est utilisé en tant qu’étape intermédiaire, pas "en tant que tautologie". C’est l’étape suivante ? "Toute théorie faisant usage de la théorie des probabilités est invalide" ? Encore une fois, je crains qu’avec une telle règle que les "théories invalides" se retrouvent en bonne compagnie.

il n'y a rien de neuf sous le soleil

Par pitié, rassurez-moi. Dites moi que je vous ai terriblement mal interprété.

Parce que mon interprétation de tout ça c'est : utiliser Kant (mort en 1804), pour dire que les résultats de von Neumann (1947), Cox (1946), Jaynes (je ne trouve pas la date, disons 1960), et Solomonoff (1964) sont "fourvoyés, les pauvres".

Sans chercher à les comprendre (parce que "j’aime pas le style"), juste a priori ?

Qu’est-ce qu’il y a de philosophique dans cette attitude, exactement ?

"Pas de solution analytique" est parfois utilisé informellement comme raccourci pour "n’est pas exprimable en termes de fonctions élémentaires". Je pense que c'est de ça dont parle arnaudus.

Zut, j’ai oublié de répondre à un point technique intéressant :

Le calcul des probabilités permet de développer une logique modale dans laquelle le possible est quantifié par un nombre réel. Mais il n'est pas nécessaire de mesurer le degré de possibilité pour raisonner modalement, et c'est même bien souvent impossible. Ce qui réduit grandement le champ d'extension d'une telle méthodologie pour atteindre la vérité.

Les économistes ont rencontré ce problème : si les préférences sont de la forme (je préfère A à B), quelle est la validité de les représenter par des nombres réels (fonction d’utilité) ?

La réponse est: si on se limite aux agents rationnels (entre autre: dont les préférences forment un ordre total), les deux sont équivalents.

Jaynes présente un résultat similaire (dans l’idée), annexe A3 de Probability Theory.

Tu peux expliquer rapidement aux enfants le fonctionnement de la publicité par exemple ("ils essayent de te faire croire que tu as besoin de cette chose, mais réfléchis à ce que tu pourrais avoir de mieux à la place") sans enseigner techniquement les biais que le marketting exploite.

Ce qui ne généralisera pas à d’autres situations. Donner un poisson vs apprendre à pêcher.

Et ce qui donne également la fausse impression que les biais cognitifs ne sont un problème que dans un contexte où tu as un adversaire, à ne se méfier que quand tu échanges avec un autrui auquel tu n’as pas confiance.

On peut faire un parallèle avec les raisonnements fallacieux par exemple. On peut les connaitre et en parler, mais à part nuire à tes relations sociales ou te dégoûter de la totalité des discours politiques, à quoi peut bien servir d'identifier par leur nom les fallacies dans l'argumentation d'autrui? Le fait d'avoir envie de crier "homme de paille!" ou "fausse alternative!" à chaque réunion ne me permet pas de me concentrer sur le fond ou d'améliorer mes relations avec mes collègues…

Le but est de les reconnaître quand tu les fait toi même.

C’est à mon sens une grosse erreur d’apprendre les raisonnements fallacieux et les biais cognitifs et d’en déduire : "oh, chic de nouveaux outils pour contrer les arguments de mes ennemis !"

La leçon importante est que tu es tout autant susceptible de ces raisonnement fallacieux et biais cognitifs que ceux en désaccord avec toi. Le but est d’améliorer ton raisonnement, pas de crier sur les autres.

Je me demande quand même s'il n'y a pas des raisons biologiques profondes à notre aversion à l'abandon des coûts irrécupérables, mais ça ne me semble pas évident.

Dans certaines situations ignorer les coûts irrécupérables est la solution correcte.

Suppose que tu lances un projet d’investissement de 100k€, avec un CA attendu de 200k€ (bénéfice attendu 100k€).

Mauvaise nouvelle: à 80% du projet (~80k investis) de bien meilleurs prédictions donnent un CA attendu de 30k.

On peut continuer le projet, dépenser 20k de plus, pour un bénéfice total de -70k, et marginal de 10k.

Ou l’arrêter, pour un bénéfice total de -100k, et marginal de 0k.

Je pense (sans aucune preuve) que ce biais vient de là, une tentative de l’évolution d’intégrer le marginalisme dans le cerveau humain.

Tu aurais pu écrire "tl;dr", ça nous aurait épargné à tous les deux des efforts.

Conséquemment, présenter le calcul de probabilités et la loi de Bayes comme l'alpha et l'oméga d'une épistémologie révolutionnaire, comme si on avait trouvé là une panacée au problème de la vérité et la pierre philosopohale, ça me fait mourir de rire. C'est une thèse d'un ridicule profond.

Tu surinterprètes (mais je suis prêt à prendre une part de responsabilité là dessus). Un nouvel outil qui donne de nouveaux éclairages, pas la panacée. Je crois que j’ai écrit plusieurs fois ce terme maintenant : "outil".

Peux-tu en toute bonne foi me définir une distribution de probabilité sur des événements comme « le Canada envahit les Étas-Unis » (qui devrait plutôt être mis à jour son sa forme converse « les États-Unis envahissent le Canada »), et qui plus est une distribution qui soit calculable sur machine ?

C’est explicité. Plus loin. Je vais faire un petit effort et te citer le passage exact, même si vu le ton de ta réponse, je pense que c’est peine perdue.

A single hypothesis inside the Solomonoff mixture would be a computer program that took in a series of video frames, and assigned a probability to each possible next video frame. Or for greater simplicity and elegance, imagine a program that took in a sequence of bits, ones and zeroes, and output a rational number for the probability of the next bit being '1'. We can readily go back and forth between a program like that, and a probability distribution over sequences.

.

De plus, présenter la théorie de Solomonoff sous la forme d'une dialogue Platonicien où Socrate est joué par le personnage Blaine, je ne sais pas si je dois rire ou pleurer

Vraiment, tu ne peux pas imaginer à quel point cette phrase me chagrine.

Que tu sois d’accord ou non sur la conclusion finale, le sujet abordé me semble extrêmement intéressant pour le genre de personne qui s’intéresse à ces questions. Dont j’ai l’impression que tu fais partie. J’ai écrit en grande partie de journal pour atteindre ce genre de personne, en mode "hey : il y a des choses intéressantes et nouvelles à regarder là bas".

Le -30 sur le journal ne me choque pas tellement. Il est visiblement mal écrit (ma faute), mal expliqué (ma faute), sur un sujet relativement ésotérique (je savais ça en avance, mais j’ai considéré que ça valait tout de même le coup d’essayer). Je ne peux m’en prendre qu’à moi-même.

Par contre m’intéresse, avoir comme réaction "le sujet mais j’aime pas la forme donc tl;dr"… comment dire… ça me met pour le coup vraiment le moral dans les chaussettes.

et pour l'instant on y arrive très bien

Vraiment ?

https://www.astralcodexten.com/p/how-did-you-do-on-the-ai-art-turing

https://www.nature.com/articles/s41598-024-76900-1

Je ne veux pas me lancer dans l’exégèse de Kant ; je connais très mal le sujet, ma seule intention dans l’invocation du nom est de donner un exemple de théorie épistémologique, pas de me prétendre expert sur le sujet (ou d’en invoquer un).

Je vais juste rebondir sur quelques points qui me semblent intéressants :

Lorsqu'il dit que nous concluons de la vérité des conséquences (faits observés) à la vérité du principe, il dit que nous concluons par abduction ce qui n'est pas un principe logique valide, mais acceptable, voire nécessaire, dans la connaissance expérimentale et c'est sur cela que repose l'induction.

C’est une très bonne illustration de comment la théorie des probabilités est utilisée dans le projet ukemiste :

A => B signifie P(B | A) = 1

P(A | B) = P(B | A) P(A) / P(B) = P(A) / P(B) > P(A), autrement dit l’observation de B est un indice en faveur de A : l’abduction (pour le coup tu m’apprends le terme, même si je connaissais cette loi dans sa forme bayésienne) "bayésienne" est un principe valide.

(et le formalisme bayésien montre également clairement que P(A | B) = P(A) si P(B) = 1, autrement dit l’abduction n’est pas valide si B est une tautologie)

Ce que tu nommes la « technique interdite Kill the Buddha », j'appelle cela tout simplement le doute radicale cartésien

Non, non, le mot important et central dans la technique est cher. C’est l’observation très bête que quand tu es investi émotionnellement dans une hypothèse, c’est là que les biais importants se manifesteront le plus fortement, et qu’il va falloir être particulièrement impitoyable sur les justifications.

Je n’ai jamais été attiré par le genre de questionnement radical "est-ce que la réalité existe vraiment ?"

(chez qui peut-il faire débat ?)

Pas chez moi, mais pour me faire l’avocat du diable : comment définis-tu "simplicité" ? Je note que dans la formulation sur la page wikipedia on parle "d’entités" (je suppose d’entités ontologiques ?), et que ton extrait parle "d’hypothèses auxiliaires". Les deux ne sont pas équivalents. Quelle version est correcte ? Pourquoi ?

(si tu veux une approche ukemiste de cette question : https://www.lesswrong.com/posts/EL4HNa92Z95FKL9R2/a-semitechnical-introductory-dialogue-on-solomonoff-1 ; qui est également je pense un bon représentant de ce qu’est le projet ukemiste, à la relecture)

Ensuite vouloir mettre des probabilités dans tous les problèmes rencontrés au cours d'une vie relève d'une maladie que j'appellerai la mesurite aigu.

Ce n’est pas vraiment le but. Le but c’est des choses comme… l’exemple plus haut. Un raisonneur idéal (dans le sens de Cox) possède-t-il un principe d’abduction, ou est-ce une étape de raisonnement totalement invalide ? Peut on étudier plus en détails ce principe ? Est-ce utilisable en pratique, dans quelles conditions, et à quoi faut-il faire attention quand on l’utilise ?

Tu devrais Kill the Buddha sur l'ukémisme lui même. ;-)

L’ukemisme ne m’est pas tellement cher en vérité. C’est juste un outil. Je suis loin d’être à 100% satisfait par le pilier "théorie bayésienne des probabilités", le problème est que formaliser mes insatisfactions et arriver où elles mènent est largement au dessus de mes capacités mathématiques (actuelles ? soyons optimistes ?).

Il semble qu'il ait été montré que la règle de Hebb était tout à fait capable de faire de l'inférence Bayesienne optimale

Il me semblait avoir lu l’inverse, d’où mes doutes (essentiellement que pas de bras pas de chocolatpas de backprop pas de convergence globale vers l’optimal dans le cadre de l’inférence bayésienne).

Après recherche, il semble que j’aie halluciné comme un bon vieux ChatGPT : impossible de retrouver mes références, et tout ce que je trouve va dans ton sens, en particulier https://arxiv.org/pdf/2006.04182.

My bad donc.

Je sais pas trop ce que veux dire formellement exactement "le problème de l'inférence Bayesienne est NP-complet"

https://bayesian-programming.cnrs.fr/computational-complexity-of-bayesian-inference/

Autrement dit, quoi qu'on fasse c'est difficile d'échapper au fait que la rationalité est de fait limitée

Tout à fait. Je répondais uniquement au point "si les biais viennent de la théorie bayésienne des probabilités, il y a peu d’espoir d’utiliser la théorie bayésienne des probabilités comme guide pour lutter contre".

Les biais viennent très probablement des approximations nécessaires.

Quand on tranche entre théories, c'est qu'elles font des prédictions différentes, en règle générale

Le rasoir d’Ockham permet de trancher entre Géocentrisme + Épicycles et Héliocentrisme par exemple. Le problème des épicycles n’a jamais été leur incapacité à reproduire les prédictions du géocentrisme.

(oui, muni de nos théories cosmologique modernes, la question est moins intéressante, j’en convient)

J'imagine que dans un cadre de théorie approximativement correct on préfèrera la théorie de Newton niveau gravité à la théorie de la relativité générale parce que plus simple et que faut aller chercher pour trouver des observations qui nécessitent la théorie de la relativité générale pour être expliquées ?

Dans l’idée oui. Aucune idée de si quelqu’un a essayé en pratique de faire rentrer Newton vs RG dans ce cadre. Intuitivement, ça me semble excessivement complexe.

Le problème de l’inférence Bayésienne est NP-complet. Même si le cerveau était grosso-modo une machine Bayésienne (ce qui me semble extrêmement douteux, mais je ne suis pas neuroscientiste), il ne pourrait l’être qu’approximativement.

Ce serait donc un peu étrange d'essayer d'éliminer les biais … par le même type d'approche qui les produisent.

Ce serait extrêmement surprenant. Cox's Theorem. La plupart des biais cognitifs violent la troisième condition “If the plausibility of a proposition can be derived in many ways, all the results must be equal”.

Pas impossible je suppose, on est jamais à l’abri de découvrir une contradiction dans la théorie des probabilités après tout. Mais extrêmement surprenant.

D’où le choix de la théorie des probabilités comme un des deux piliers.

cette mouvance me semble être assemblage d'idées abstraites monté par un groupe d'ingénieurs qui se sentent capacité de tenir un discours auto-qualifié de "philosophique".

Et je te rejoint largement là dessus. Je n’aime pas du tout utiliser le champ lexical de la philosophie. Il y a culturellement quelques échanges entre le monde académique de la philosophie et la communauté ukemiste, mais prétendre qu’ils ne font qu’un ou seraient en parfait accord serait un mensonge.

Mais quand le centre de du projet est d’aborder des questions qui sont en parallèle avec celles posées par l’épistémologie, je ne vois pas bien comment l’éviter.

Je pourrai ajouter le préfixe trans- devant. Trans-epistémologie. Ce pourrait être rigolo, mais je doute que ce soit très utile.

j'ai plutôt l'impression que tout ceci est une sorte de méthode de développement personnel de niche

C’est une manière totalement valide de voir les choses.

Croire pouvoir résumer ainsi la "quête" des "philosophes" sur plusieurs milliers d'années d'histoire de la pensée, c'est soit extrêmement naïf, soit volontairement biaisé. Surtout avec une proposition qui ne semble pas pouvoir coexister avec une bonne partie des définitions connues de la philosophie.

C’est plus un description anthropologique/sociologique/psychologique (comme la mention qui te parle le mieux) désignant un certain type de personnes qui écrivent beaucoup de mots sur des questions que la vaste majorité de la population trouve ennuyeuse.

C’est flou et volontairement flou. Tout comme les termes "geek" et "nerd" le sont ; l’intention est la même, de pointer vers un archétype (dont les contours sont, effectivement, flous).

Commencer à avancer que "ma méthode" est meilleure que celles que tout le monde utilise depuis toujours de manière aussi catégorique n'a qu'un seul effet : me donner envie de fuir très loin et très vite. Par ailleurs, le but avancé, "devenir tout ce que nous pouvons être", est aussi un marqueur assez fort des pratiques de développement personnel.

C’est une différence avec les philosophes académiques : nous nous autorisons les analogies poétiques, surtout dans les échanges informels.

La question est : meilleure par rapport à quoi ? La réponse est simple : meilleure comparée à la baseline qui ne prend pas en compte l’existence de biais cognitifs et ne met pas en place de contre-mesures.

J’ai du mal à imaginer la position contrefactuelle : apprendre à reconnaître et contrer les biais cognitifs n’apporte aucune amélioration sur la qualité de la réflexion ?

Ça paraît être sensé, une bonne méthode pour analyser sa propre compréhension des idées avec lesquelles on est en désaccord. Néanmoins, ça n'est qu'un exercice imaginaire : en réalité, il me semble à peu près impossible de réunir les conditions permettant de créer cette situation.

Ça s’est fait sur internet. Mais oui, le faire pour de vrai nécessite de le faire en communauté, pas chacun dans son coin.

j'ai l'impression qu'il s'agit principalement d'une méthode permettant, grâce à son imagination, de se sentir intelligent, neutre, et au dessus (ou à côté ? ou en dehors ?) des idéologies.

Non, vraiment, l’objectif tu l’as entièrement compris dans ton message précédent : "viser à avoir une bonne compréhension des idées avec lesquelles on est en désaccord".

L’objectif reste d’avoir une opinion et d’arriver à une conclusion.

Simplement, parfois l’opinion et la conclusion peuvent changer après cet exercice.

Tu cites un paquet d'autres personnes du mouvement rationaliste-ukemiste. J'ai du mal à m'y retrouver, et à voir par quel bout prendre la chose.

Scout Mindset me semble un excellent début. Scott Alexander Yes, we have noticed the Skulls pourrait répondre à certaines interrogations. Pour la suite, c’est plus compliqué.

Si le style de Yudkowsky t’insupporte (et, je te rassure, tu es loin d’être le seul, c’est une critique récurrente), il va falloir soit serrer les dents, soit abandonner l’idée de se plonger dans les détails. Il n’y a pas d’autre compilation que les Séquences et la version écourtée.

De quelqu’un d’extérieur, sur la partie plus technique, tu as Bayesian Epistemology et les deux premiers chapitres de Probability Theory : The Logic of Science — mais les deux font l’impasse sur le pilier "biais cognitifs". Sur la partie historique, cité dans mon journal, je pointerai principalement sur Rationalism before the Sequences (c’est publié sur LessWrong, mais ESR se considère comme extérieur au mouvement).

Et dans quel cadre tu veux appliquer cette loi ? Ta vie personnelle ou tu modélises une décisions en mettant un poids motivé sur chacune des variables ?

Dans ma vie personnelle, évidemment. Principalement dans les exercices de calibration.