thoasm a écrit 9498 commentaires

Il y a une différence de démarche. La thermodynamique cherchait à comprendre la chaleur et a trouvé une abstraction mathématique (l'entropie par exemple) qui s'est avéré être utile pour la théorie de l'information, et les scientifique se sont demandé si c'était quelque chose de fondamental.

Là j'ai quand même l'impression qu'on n'est pas tout à fait dans la même démarche : on a un théorème de stat, on cherche un peu à lui trouver des application dans un cadre épisthémolique en tentant rien de moins que de refonder toute l'épistémologie sur ces bases. C'est ambitieux et c'est un peu normal au vu des ambitions, à mon avis, d'aller titiller et de demander des gages et de là ou ça pourrait aller. Notamment parce que c'est pas et de loin la seule manière de voire la philosophie des connaissance et qu'il y a plein de traditions disciplinaires autour. Par exemple si tu vas voir des sociologues et que tu leur dit qu'ils sont pas rationnels donc que ce sont des pas-science (ce qui ne serait pas inédit chez les rationalistes) tu vas probablement mal te faire recevoir.

A titre personnel oui je trouve que le parallèle qu'on peut faire entre l'information et l'énergie en physique théorique, et la calculabilité qui s'infiltre là dedans sur les lois fondamentales est un truc très intéressant. Le rapport entre cognition et calcul est un problème philosophico-scientifique très intéressant. Mais vouloir refonder toute la connaissances sur des bases de probas et de théorie de l'information il y a plein d'obstacles bien connus quand même. Par exemple en admettant "le théorème peut calculer une distribution", si ça se trouve la distribution on sait pas vraiment la faire parler, elle est complexe et en plus le truc qu'on cherche à prédire est intrinsèquement difficile et la distribution prédit beaucoup de chose et la seule chose qu'on peut dire c'est "on sait pas".

Et pour l'instant je vois pas vraiment dans la discussion quelque chose qui pourrait révolutionner ce que je pense sur ce genre de sujet. Je suis pas devin évidemment, ce n'est que mon avis, mais j'ai du mal à imaginer une voix qui permettrait de faire tomber ces obstacles fondamentaux (qui ne repose pas sur une grosse foi sur des avancées techniques très très importante style "singularité" qui serait une révolution tellement importante qu'on ne pourrait rien anticiper, peut-être y compris avec un inducteur de solomonof parfait). Et dans la "hype" actuelle, je pense qu'on a un peu besoin de rabats-joies … Malheureusement ça ne promet pas des montagnes d'argent ce genre de démarche un peu sceptiques, quand on parle de progrès technique.

C'est un média qui se revendique engagé. Sigle de "Le Vent Se Lève". Ils ont signé une charte mondiale d'éthique des journaliste

Extrait de la page Notre projet :

Le média d’opinion tire sa force de ce fait qu’il assume sa subjectivité. Nous affirmons que la neutralité n’existe pas pour cette raison simple que l’auteur d’un article est engagé dans des rapports sociaux et influencé (pour ne pas dire déterminé) par une multitude de discours antagonistes. Que l’on combatte ou que l’on serve les intérêts de la classe dominante de manière active, de manière consciente ou de manière inconsciente, on ne peut pas prétendre s’extraire d’un monde social conflictuel et accéder à une neutralité quelconque. Aussi, assumer un parti pris revient à une forme d’honnêteté.

Le début nous donne la ligne politique :

LVSL (Le Vent Se Lève) part d’un constat : celui d’une défaite historique des forces de progrès. Notre projet s’annonce donc comme une entreprise de reconquête. […] L’époque actuelle a pour caractéristique première la domination sans partage – quoique contestée – de l’hégémonie néolibérale. Si le néolibéralisme refuse de dire son nom, s’il refuse de se donner un visage unique, il est cependant parvenu à construire une hégémonie solide, laquelle s’incarne dans une variété d’acteurs : journalistes, politiques, partis, etc

Sur une ligne de critique / défense contre l'idéologie néolibérale dominante qui irrigue les médias, en gros, avec la volonté de sortir de ces circuits. Ça peut aussi se voir dans les partenaires en bas de page, "les économistes atterrés" pour les plus connus en France peut-être.

Le genre de bas de page qui donne confiance, qui affiche la couleur et ne se résume pas à un copyright et des liens vers les réseaux sociaux avec une vague référence à une agence marketing un peu opaque.

Non mais vous vous rendez pas compte de l'impact ! Grâce à Internet on va pouvoir répandre la connaissance, les bienfaits du progrès et mettre en place une discussion démocratique mondiale sur la grande place du village, rendre le monde vraiment démocratique ! Alors bon les copistes vont certe passer un mauvais moment mais c'est un sacrifice nécessaire pour le bien commun de tous.

Pour la météo ce ne serait pas si surprenant, la manière dont on fait les calculs aujourd'hui est très "force brute", il doit être possible d'identifier des manières de trouver des motifs dans les données qu'on a pas su faire avec des approches de simplification mathématiques plus traditionnelles. En gros on fait le même genre de calcul encore et encore à petite échelle, pour pouvoir trouver les structures à plus grande échelle.

Il se pourrait que l'ia arrive à agréger les données d'échelles différentes pour identifier les facteurs qui sont le plus susceptibles de faire tourner les choses dans un sens ou un autre. La détection de motif et la corrélation avec un résultat attendu donné, multi échelle, c'est exactement ce qu'on demande à faire pour faire de la détection sur des images.

Le truc qui est peut-être plus compliqué à faire c'est avec les changements climatiques, on va avoir des changements de régimes météo qui feront que les patterns appris par le passé vont être moins important, ou plus importants, et que c'est pas tellement visible dans les données passées parce que c'était rare ou il va y avoir de l'inédit. Là on peut avoir des résultats moins pertinents parce qu'on voit que l'extrapolation c'est pas toujours ça avec les techniques actuelles, leur capacité de "raisonnement" reste limitée en général. Peut être qu'en rajoutant des données issues de modèles climatiques on peut mitiger ça. Mais les modèles climatiques n'ont pas le même paramétrages et la même résolution.

Mais finalement là on se retrouve avec le fait que le terme "IA" recouvre tellement de choses que … plus ça va avancer plus il va falloir préciser de quoi on parle.

À lire l'appel, on a l'impression que les choses allaient plus ou moins bien avant mais que l'IA a entrainé une rupture qualitative

Il y a eu une vrai rupture qualitative, mais elle date vraiment de vers 2010, en terme d'apprentissage automatique, quand on a eu un réseau de neurone qui s'est mis à battre l'existant sur les benchmark de reconnaissance d'image. C'est avant la vague de marketing "IA" récente autour de chatGPT. (je dis pas qu'il y a eu une rupture conceptuelle).

C'est ce qui a justifié les recherches qui ont menés à la vague actuelle et probablement inspirés les grands modèles de langues qui ont impressionnés et entraînés cette espérance un peu délirante.

Mais d'un point de vue industriel on peut se souvenir que c'est vers cette époque qu'on a parlé de détourner des consoles de jeu pour faire du calcul parallèle et utiliser les GPU pour ça, c'était les prémisses du rush actuel et de l'envolée des cours de NVidia.

Quelque part il a raison oui, c'est une continuité de la course au progrès qui fait peu de cas de la sobriété. Encore avant tout ça a été alimenté par la boulimie de données avec Internet des facebook et compagnie entre autre et de quoi faire avec toutes ces données des utilisateurs.

Donc oui il y a à la fois des problématiques anciennes et des ruptures à prendre en compte, et les deux ne sont pas décorrélées. Les deux s'alimentent l'une l'autre. Mais maintenant, c'est au nom de l'IA et des ruptures promises futures qu'on produit des centrales nucléaires, pendant que la transition énergétiques et les normes environnementales sont attaquées par un environnement politique plutôt favorable au "conservatisme" …

En tant que limite théorique, je vois bien l'idée. Je ne suis pas sur que ça apporte tant de chose que ça d'avoir une formalisation mathématique d'idées style "si l'univers (et ses lois) est calculable ou approximable, alors on peut l'approximer", ce qui semble un peu une banalité, la formalisation mathématique n'apporte pas forcément beaucoup. (mais faudrait voir ce l'approximation est condamnée à avoir un horizon variable, cf. la théorie du chaos, au delà duquel on ne dit plus grand chose)

Les conclusions sur le rasoir d’Occam d'un tel modèle théorique sont à mon avis douteuse parce que les théoriciens et chercheurs n'ont pas vraiment besoin d'un tel modèle pour discuter des mérites respectifs de telle ou telle théorie, il y a bien d'autres critères épistémiques qui tiennent la route et qui jouent.

Il reste éventuellement intéressant dans le cadre de modèle théorique de limite du machine learning (plus que de la recherche scientifique en général), mais là encore on est très loin de ce genre de limite avec des modèles à base de réseau de neurone, et les approches à base de loi d'échelle vont dans le sens inverse de la recherche de parcimonie par exemple.

En pratique en recherche scientifique on galère bien souvent à trouver la bonne classe de modèle, et des modèles trop généraux sont inexploitables. Il faut trouver les modèles avec suffisamment de paramètres libres pour être humainement vaguement maîtrisables. Par exemple un truc qui serait intéressant d'un point de vue épistémique serait de savoir comment ce genre de théorie apporterait un éclairage sur les problématiques de la théorie des cordes, qui est critiquée pour avoir trop de paramètres libres qui lui permettent de s'adapter à n'importe quelle observation sans forcément permettre de rajouter grand chose à son pouvoir prédictif par l'observation.

_ "l’induction de Solomonoff ne peut que faire mieux que les meilleures théories calculables, même dans un univers non-calculable"
vs.
on essaie pas de construire physiquement (ou digitalement) un inducteur de Solomonoff. On sait que ce n’est pas calculable ! On sait que ce n’est pas calculable !

Donc on a troqué un univers supposé calculable qu'on essaye de comprendre à l'aide d'un principe qui ne l'est pas :) Difficile de voir ce qu'on aurait gagné dans l'affaire :p

C'est toujours une hypothèse ultra forte. Si par exemple tes données ne permettent pas d'avoir des critères déterministes pour définir cette fonction, sauf erreur de ma part tu ne peux pas borner ta fonction. Et s'il faut descendre, je sais pas, au niveau atomique pour recupérer une forme de déterminisme … Il te faut des quantités de données qu'on ne peut pas tevr stocker de sitôt.

Il n'est pas impossible que les matheux entre eux rentrent dans des postures un peu excessives voir troll et semi sérieuses quand ils discutent philosophie des maths et convictions à ce sujet !

Pour ma part, je trouve que, pour une démarche de fondation supposée poser des principes elementaires, on fait quand même des hypothèses fortes quand on lit les hypothèses de l'article wikipedia sur l'induction de solomonov quand on lit "assuming the universe is run by a computer program" par exemple. On a déjà pas forcément de réponse définitive à la these de Church Turing sur la calculabilité, d'un point de vue philosophique.

Ça n'efface pas le besoin d'épistémologie "par ailleurs" qui serait sceptique de ce genre de bases.

Yet strangely enough, I can’t find any theorem of probability theory which proves that I should appear ice-cold and expressionless.

J'ai rien à dire à ça :) si ce n'est que rien que le fait de mettre des trucs si différents sur le même plan est étrange. Probas, stats, épistémologie … J'ai du mal à trouver un immense potentiel de fécondité à tout ça en approchant les choses de manière purement théorique, avec ce type de théorèmes.

Du coup j'aurai bien du mal à comprendre pourquoi il y aurait matière à s'énerver dans une discussion ou finalement la conséquence la plus concrète dont on discute est de savoir si le rasoir d'ockgam est justifiable par la théorie des probas, en terme épistémique, rationnellement parlant, entre personnes qui discutent tranquilou dans un salon. Avec ma sensibilité, je ne comprend pas les enjeux ou les sentiments forts qui pousseraient a prendre ça "trop" au sérieux.

On sent bien la discussion de rationaliste :) Il y a un peu la volonté de supprimer toute forme d'émotion dans l'espoir d'éliminer toute forme de biais …

C'est pas toujours la marche à suivre, et c'est sans doute un des gros problèmes du rationalisme, fondamentalement. Être humain ou rationnel, ce n'est pas nécessairement supprimer toute forme d'émotion parce que ce seraient des biais vis-à-vis d'une rationalité parfaite. On ne peut créer un projet collectif qu'en prenant en compte notre humanité ou nos condition d'être vivants mortels, avec leur sensibilité et leur intérêt, leurs joies, leurs peines …

Différents systèmes sont acceptables pour regarder différents phénomènes, il n'y a pas qu'une seule "bonne" manière de regarder. Michael Launey en fait une intro mathématique dans cette vidéo.

C'est une bonne intro à des phénomène plus complexe, et un peu à la recherche scientifique aussi finalement. Par exemple en machine learning, comment on compare des images ? Certainement pas avec des choses aussi simples qu'une addition.

Ce n'est pas surprenant que le monde de la finance aie des besoins de physique statistique. Stéphane Mallat dans ses cours "la malédiction de la dimentionnalité" fait souvent la remarque que la physique est la science de la grande dimension et qu'il y a donc des idées venant de la physique a piquer pour les domaines où il y a pleins de données à analyser, des entités nombreuses …

Par contre dans le sens inverse … Qu'on m'appelle quand on verra des économistes résoudre des problèmes de physique :)

(avec en plus l'énorme écueil, pour ce qui est du financier, que ça n'a absolument rien à dire sur les sciences de la nature. Jupiter est-elle ronde ? 199€ !

C'est assez moche pour des idées supposées maximiser le bonheur, conséquentialistes qui plus est, de n'avoir comme conséquence principalement des exemples facheux.

Ça montre que, en supposant les idées épistémique ment correctes elles ne sont pas applicables correctement. Ce qui est un peu une auto-réfutation de l'intérêt épistémique, une prétention à atteindre la vérité, en fait.

Un des problème évidemment c'est que la volonté de tout quantifier induit la volonté de trouver une métrique, financière parce que ça permet d'agréger tout et n'importe quoi (dans un gloubiboulga informe). Finalement ça ne fonctionne pas, parce que ce n'est pas une bonne métrique pour plein de raison dans pleins de cas. Ça illustre très bien l’impossibilité pratique, même avec des théorèmes mathématiques corrects, de mettre des poids sur les variables statistiques dans un cadre à prétention aussi générale. Et mettre des poids sur les variables statistiques (qui sont à identifier aussi, gros problème) est un des fondements de la théorie.

L'effective altruism c'est un mouvement utilitariste, il me semble, et du débat philosophiques tu peux en avoir par exemple sur les fondements même du principe de l'utilitarisme en tant que tel, donc tu as toute une batterie de critique existantes qui s'appliquent de base. De ce point de vue le mouvement a sans doute bel et bien à répondre à ces critiques qui viennent de différents horizons.

Il semble également qu'il y ait en pratique pas mal de critiques d'universitaires sur les fondements de ces mouvements également.

Tu sembles aussi évoquer les conséquences sociales, avec certaines entreprises du mouvement crypto notamment. On peut tout à fait considérer que ces entreprises ont plus d'échecs sur bien des objectifs qu'on peut considérer désirables que fait de bien globalement.

De ce point de vue, a-t-on réellement besoin de regarder les "idées importantes" pour ne pas être convaincus que ces idées mènent à des actes désirables, et que bien d'autres approches auraient pu voir venir la chose ?

Il ne tient qu'à vous d'essayer de publier ! Si c'est vous qui avez une théorie à porter et que les épistémologue ne sont pas convaincus, ça va être difficile de leur demander d'aller sur votre terrain. Si on prétend faire de la science / philosophie, il faut aller sur le terrain ou ça se joue sérieusement.

Sinon c'est un peu comme n'importe quel charlatan qui prétend avoir une théorie révolutionnaire et de grosses prétentions mais reconnus que par lui même, vous comprenez le monde scientifique n'est pas prêt à reconnaitre son génie trop disruptif, alors qu'ils devraient vraiment regarder ce qu'il fait (spoiler, si il a essayé de publier il a pas réussi). Alors bon s'adresser à "la communauté" c'est plus simple :p

et, en plus (sans doute un peu pour troller) avec cette tendance que peuvent avoir certains rationalistes à dire "si ça ne respecte pas nos critères épistémique, ça ne vaut rien c'est pas de la science".

Ce qui peut être critiqué, probablement et en particulier si c'est en partie de l'amateurisme, c'est si il n'y a pas vraiment de publication académique qui confronte à des épistémologues universitaires qui pourraient en faire une lecture pertinente.

J'ai un peu l'impression que ce genre de débat ont repris de la vigueur quand on a commencé à parler de "big data" dans les années 2000. Là on a eu des promesses "grâce aux données on va pouvoir faire des modèles prédictifs" sans pour autant un énorme pouvoir explicatif vu qu'on est souvent incapable de faire parler par exemple des réseaux de neurones pour voir ce qu'ils ont sous le chapeau, en court-circuitant la recherche scientifique quelque part.

Corrige moi si je me trompe mais là on en est toujours là avec la promesse qu'on va avoir assez de données à refiler à un technique d'apprentissage automatique, avec une classe de modèle "universels", avec aussi la promesse que les modèles seront super simples et qu'ils vont être compréhensibles par des humains ?

C'est tellement hors sol que je pense que c'est pas vraiment entendable, ni par les scientifiques en général ni par les épistémologues. C'est publié dans des revues d'épistémologie ou c'est plus des rêves d'informaticiens / statisticiens ?

C'est une conséquence du fait que le cordon sanitaire avec l'extrême droite n'existe plus depuis longtemps. Dans le service public, vu le pourcentage de RN à l'assemblée actuellement, ça veut dire "du temps de parole" très à droite, j'ai l'impression … Une certaine idée de la neutralité journalistique vu l'évolution des réalités électorales.

Si la France bascule à l'extrême droite il y aura purge idéologique du service public et ce sera Valeurs Actuelles ou bien pire :/ On voit ce qu'il est en train de se passer aux USA. Le service public ne peut faire du bon boulot que si le politique lui laisse de l'air.

Les biais viennent très probablement des approximations nécessaires.

J'aurai tendance à penser que si un raccourcis est efficace dans une approximation d'inférence bayésienne, il sera efficace dans d'autres cas également, et que le même type d'apprentissage est largement susceptible de générer le même type de biais. Après ça peut être un point de départ (on part d'un modèle qui n'est pas vierge, qui peut être différent suivant la méthode, c'est vrai) mais le point de départ est "a priori" choisit pour être efficace en terme de prédiction dans les cas qu'on est susceptibles de rencontrer communément.

ce qui me semble extrêmement douteux, mais je ne suis pas neuroscientiste

Je vois pas comment tu peux écrire ça après avoir fait le parallèle plus haut avec l'apprentissage automatique, alors que ça fait bien longtemps qu'on a fait le parralèle par exemple entre l'apprentissage du cerveau et les réseau de neurone par la [règle de Hebb], qui a inspiré les réseaux de neurones artificiels (cf. [[Réseau_de_neurones_artificiels#Premiers_réseaux]]) depuis l'origine. L'algorithme de rétropropagation du gradient calcule une forme de règle de Hebb, pour les réseaux artificiels.

Vu comme ça le lien est évident, et en plus l'apprentissage humain consiste bien souvent à essayer de prédire un résultat et à corriger le tir si on a faux, en s'améliorant petit à petit. Le parallèle avec le Bayésianisme est évident … Il semble qu'il ait été montré que la règle de Hebb était tout à fait capable de faire de l'inférence Bayesienne optimale, cf. cet article : https://papers.nips.cc/paper_files/paper/2008/hash/07cdfd23373b17c6b337251c22b7ea57-Abstract.html mais si tu veux plus d'infos le cours que j'ai proposé (j'ai déjà du en parler ici d'ailleurs, coincidence ?) donne plus de détails. Il explique (si c'est celui dont je me souviens) comment on peut prédire des rythmes complexes comme une combinaison de rythmes simples "empilés" dans des couches simples les unes au dessus des autres, avec l'erreur de prédiction qui remonte à la couche du dessus (Si on a un motif sur 3 temps style "[tac tac blanc] [tac tac blanc] [tac tac blanc]" la première couche va prédire "[tac tac tac]*", la différence de prédiction sur le troisième temps va remonter à la couche du dessus, qui elle va prédire du "blanc blanc blanc" 3 fois plus lent (dans l'idée), on a deux combinaisons de rythme uniforme qui prévoient un rythme qui ne l'est pas.

D'une manière générale l'objectif du cerveau serait d'anticiper un max de choses, ce qui est intéressant c'est ce qui n'est pas anticipé (et digne d'attention) qui remonterait à des couches supérieure, voire à la conscience, c'est ce qui est le plus dur à prédire et qui nécessite de réfléchir un peu/consacrer un peu de ressources.

Je sais pas trop ce que veux dire formellement exactement "le problème de l'inférence Bayesienne est NP-complet", mais en tout cas je ne vois pas en quoi en quoi ça voudrait dire qu'en pratique on peut faire mieux, méthodologiquement et humainement, que d'approcher la solution, sauf sur des problèmes excessivement petit et en mettant une puissance de calcul phénoménale sur la table pour les problèmes de taille un peu conséquente.

Autrement dit, quoi qu'on fasse c'est difficile d'échapper au fait que la rationalité est de fait limitée (quoi qu'on mette derrière ce mot d'ailleurs) et que donc c'est rarement possible d'aborder le problème de manière exacte. Autrement dit, des "biais" (encore une fois quoi qu'on mette derrière ce mot) viennent simplement du fait que la rationalité est limitée et qu'on ne va pas réfléchir indéfiniment et exhaustivement à tous les problèmes.

(pardon je répond une deuxième fois) dans la vie perso, sachant que le cerveau est parfois considéré comme une machine à prédire Bayésienne (en tout cas c'est une piste intéressante des neuroscience actuelle https://www.sorbonne-universite.fr/actualites/lesprit-est-il-une-machine-predictive-introduction-la-theorie-du-cerveau-bayesien par exemple), les biais induits … sont également des conséquences des limites de ce type d'approche ?

Ce serait donc un peu étrange d'essayer d'éliminer les biais … par le même type d'approche qui les produisent. Surtout dans le cadre de sa vie personnelle ou la quantité d'informations qu'on peut ingurgiter à titre personnel n'est pas nécessairement très importante, et donc l'espoir de corriger ses propres biais n'est pas énorme. Il faut d'autres approches pour intégrer des données à large échelle pour réduire les erreurs …

Exemple ?