Thomas Douillard a écrit 8993 commentaires

C'est pas non plus, biologiquement parlant, un truc qui change fondamentalement les caractéristiques de l'espèce quand on parle d'apprendre les tables de multiplication ou de géré l'attention du smartphone. L'évolution culturelle est notable, et c'est elle qui va gérer ça (quand bien même on parle en dizaines de milliers d'années, la discussion est déjà bien loin de ces échelles de temps)

10000 ans à 25 ans par génération ça fait 400 générations, c'est très très peu, et il n'y a pas eu une énorme pression de sélection. Les spécialistes disent que globalement homo sapiens, c'est nous. Il avait déja les capacités pour faire de l'art, du raisonnement abstrait …

Il doit y avoir un équilibre je pense, plus tard dans la matière c'est des devoirs guidés, tu laisses à la fois un peu transpirer sur l'exo et en laissant des points d'étapes (les ''astuces''). Sinon juste donner une astuce sans l'exercer c'est un coup d'épée dans l'eau. Dans le coup des tables de multiplications le but c'est pas forcément l'interro orale à point … comme toujours c'est d'avoir travaillé la matière et se l'être appropriée.

Le truc c'est de faire comprendre aux gosses que certes, on leur demande des trucs chiants mais qu'il y a moyen de se simplifier la vie. Il y a un type sur les réseaux sociaux qui proposait un calcul (relativement simple) et qui disait "comment vous avez calculé ça" ? Et finalement il y avait plein de réponse différentes, tout le monde a ses propres raccourcis pour faire un calcul de tête. Ça peut faire l'objet d'activités en classe autours d'échange sur les "astuces" des uns et des autres.

Je dis "apprendre" les tables mais on est pas obligé de le faire bêtement à l'ancienne non plus, perso je pouvais pas supporter ça et j'ai plutôt aimé trouvé des astuces pour ne pas avoir à le faire (en ayant parfois l'impression de pas faire comme il faut peut-être parfois)

Je pense que ça peut être enrichissant si c'est bien fait, se rendre compte que multiplier par 5 c'est multiplier par 10 et prendre la moitié c'est plutôt gratifiant si c'est fait par soi même (et si t'as pas les jetons de répondre à côté si le prof t'interroge). Après tu peux t'en sortir très bien avec quelques point de repères (genre la table de 5 justement, elle est au milieux c'est pratique, et une ou deux additions 7*7=5*7+7+7=35+7+7=42+7=49). Si c'est fait comme ça tu peux te familiariser avec les propriété de base d'associativité, voire de distributivité et pour le coup c'est pas du tout de l'apprentissage bête, et tout sauf de la triche, le pire truc à penser. C'est de l'apprentissage actif ou tu peux trouver du plaisir à trouver tes propres trucs (qu'il est bien peu probable que tu sois le premier à trouver bien évidemment mais osef ⁾

Apprendre à faire des efforts, physique ou intellectuel est quand même important. Après le support … On dira quoi, qu'avec l'IA il n'est plus nécessaire d'apprendre des langues ?

Je suis assez pour donner une ouverture intellectuelle aux gosse mais il faut quand même qu'ils maîtrisent un peu certains sujets pour construire dessus, on leur apprendra pas des concepts de maths avancés si ils ont rien compris à la multiplication. Et les tables si c'est ultra chiant à apprendre ça reste quand même une étape de ce point de vue, si on voit juste les opérations en surface est-ce qu'on les comprend pour de vrai ou est-ce qu'on est sur un truc oublié aussi vite qu'il est "appris" ? Il faut laisser l'opportunité au gosse curieux de se demander pourquoi ça marche … Et pour ça faut quand même un peu d'efforts et de temps passé sur l'opération.

Quelques milliers d'années c'est pas vraiment significatif à ce niveau, l'homo sapiens de maintenant est très proche de celui d'alors, biologiquement parlant.

Mais c'est bien sûr, bon sang.

Par curiosité, ça vient d’où ce commentaire, il y a eu un énorme troll et des Rustiens sont repartis en pleurant ?

Cela dit oui, il semble que le secteur avait au moins il y a quelques mois des difficultés à reproduire de manière sûre le fait que le modèle ait ou pas certaines capacité lors de deux sessions d'apprentissage. Il était difficile de garantir que la session d'après, si par exemple le modèle était pas trop mauvais pour faire des additions, la nouvelle génération ait le même "talent".

Le modèle a été confusé par le mélange des langues, et a probablement "oublié" si ça a un sens que la conversation avait lieux en français et que la réponse attendue était en français. Quand c'est explicite ça va mieux.

Par contre il y a très bien "su" ignorer sa propre réponse bien qu'elle soit dans le contexte de la discussion et ça n'a pas semble-t-il pollué la demande de correction. Ce qui n'est pas une évidence si c'est "juste" des stats.

C'est pas une question de déterminisme ça, le déterminisme c'est "même cause même effet", dans notre cas toujours la même réponse à la même question.

La c'est plus la correction ou la cohérence qui sont en jeu. Oui il reste des moyens de les faire dérailler, pendant un temps c'était un jeu de trouver des moyens de le faire de manière systématique.

Là ça démontre plutôt une autre propriété, quand il déraille tu peux l'amener à une réponse plus juste en reinjectant de l'information, et pour le coup c'est pas un défaut de tout. Le déterminisme n'est pas en cause parce que tu as réinjecté de l'information entre les deux tentatives, le problème (les causes) n'est plus exactement le même.

Le modèle est complètement déterministe, c'est la manière dont on l'utilise qui ne l'est pas forcément, pour générer de la variation. Il me semble qu'on "tire au hasard" parmi les suites les plus probables en fonction de la probabilité respectives de plusieurs suites possibles.

IA et les maths.

Les maths c'est un cas particulier dans lequel on a un critère du vrai et du faux qui se rapproche de gagner et perdre aux échecs, avec des langages qui peuvent être manipulés par ces techniques à plusieurs niveaux.

Terence Tao a un avis éclairé sur la question qu'il est peut être pertinent de partager ici : https://mathstodon.xyz/@tao/112221953164171331 (un toot avec plusieurs liens)

En particulier ce draft d'article sur son blog qui fait une synthèse de l'existant et des perspectives que j'ai trouvé intéressant à titre personnel.

Après, oui, l'IA manque sérieusement de surmoi et a un culot pas possible pour affirmer des choses fausses sans aucun doute, en son état actuel. Il y a quelques articles pour détecter les hallucinations.

Le traitement du vrai et du faux est donc étrange ou inexistant, il manque clairement des trucs de ce côté. Il y a pas moyen avec un modèle de langue brut de croiser les information, le sourcage est souvent déficient. Pour aller au delà faudra des systèmes plus sophistiqués. On peut s'interroger sur le coût algorithmique nécessaire.

C'est une caricature. Le point c'est qu'au lieux d'agir vraiment on semble plus préoccupés par le besoin de construire des centrales nucléaires pour alimenter les industries de l'IA pour je ne sais quoi, reproduire de jolis documentaires animaliers synthétiques parce qu'en vrai ça devient dur ?

L'IA c'est un peu le clou dans le cercueil. Ça se rajoute aux autres problèmes. Vous parlez sobriété ? "Non on veut juste plus de matos et de courant, promis ce sera remboursé aux centuple vous allez voir tous les problèmes qu'on va résoudre magiquement avec ça comme euh .. vous voyez quoi."

Le mot "compréhension" est mal défini. Réduire ça a de simple statistiques c'est rater le fait que ces "statistiques" sont nécessairement très bien structurées et reflètent la structure des données. Il y a des formes de "raisonnement" qui sont associées à ça, des généralisation, et des formes de raisonnement qui sont sans doute assez proches de raisonnement à base de règles.

Et c'est sans doute des choses à partir desquelles on peut commencer à baser des raisonnement plus solides, avec les machines qui commencent à faire ce qu'elles avaient bien du mal à faire auparavant, travailler avec des données "du monde" (images par exemple), les décortiquer et en découvrir la structure de manière probablement similaire à ce qu'un cerveau humain ferait en partie. L'article que je liai l'autre jour A Phase Transition in Diffusion Models Reveals the Hierarchical Nature of Data parle de comment mettre en évidence ces structures que découvrent les réseaux de neurone et comment les mettre en évidence. Il y a fort à parier que ça implique des "règles floues" qui généralisent un peu les règles qu'on pourrait trouver dans des moteurs d'inférence, à part le fait qu'on est souvent incapable de les écrire explicitement et que la force des IAs c'est de gérées des données bruitées pour alimenter ces règles.

Donc c'est ptete juste des statistiques mais elles sont tellement sophistiquées pour arriver à compresser les données de manière efficaces impliquent que les modèles reflètent beaucoup de ce qui est compréhensible du monde. Et qu'on soit sans doute capable à terme de coupler tout ça avec des moteurs d'inférence dont on va pouvoir contrôler un peu plus la correction, elles feront peut-être des ponts entre notre monde complexe et bruité pour en tirer des infos intéressantes et digestibles pour pouvoir en tirer des raisonnements d'une autre nature.

En un sens, ptete qu'une IA "comprend" qu'un chien a des pattes et une queue.

Tiré de ce post mastodon : https://piaille.fr/@royaards@newsie.social/112217332449100249

Description (le alt semble ne pas passer) : Des personnes admirent un paysage de montagne verdoyant avec des lacs. Ce sont des images projetée sur des écrans géants à quelques mètres d'eux, masquant une terre désolée à l'extérieur et soutenu par des GPU géants dont un tuyau pour le refroidissement est directement planté dans la Terre, on devine qu'il tirent l'eau pour leur refroidissement directement dans les nappes.

Faudrait voir ce que disent l'assurance ou la justice si le mec finit par se tirer une balle parce qu'il n'en peut plus.

Un implant neuralink buggé qui t'envoie le petit bohomme en mousse en boucle en hifi et panovision directement dans la conscience.

J'ai rarement "demandé les sources", mais des échos que j'ai pu en avoir dans ce sens là c'est pas forcément la joie et les trucs donnaient des "sources" qui ne corroboraient pas forcément ou ne disaient pas la même chose que ce que synthétisait le réseau.

A l’instar de la prise de note au crayon versus la prise de note tapée, ou il semblerait que la prise de note écrite soit potentiellement meilleure pour l'apprentissage parce que comme on écris plus lentement on est obligé de tenter de synthétiser au lieux d'écrire bêtement ce qu'on entend, on peut se poser la question.

Ne lire que des synthèses pré-machées par des IAs et ne rien retenir c'est pas forcément se poser des question par l'appropriation des connaissances qu'on lit de manière plus détaillées. C'est intéressant si la synthèse est une porte d'entrée pour rentrer dans les détails, et c'est peut-être ce travail qui amène plus à se poser des questions intéressantes, il faut digérer le matériau plutôt que d'accepter la synthèse. Le risque avec les IAs c'est aussi que les synthèses sont produites en quantité industrielles et de passer d'un sujet à l'autre sans creuser. En ayant l'impression d'avoir appris un truc alors qu'on a pas compris en profondeur et qu'on en retiendra pas grand chose. C'est pas spécifique aux IAs, Wikipédia c'est déjà une ressource ou on peut se perdre en largeur …

Donc "Plus de données traitées, filtrées, synthétisées = plus de données sur lesquels réfléchir " n'est pas forcément une équation gagnante en pratique, parfois plus de données même synthétisées = stack overflow, et se questionner peut nécessiter une meilleure compréhension que de simplement lire une synthèse.

Ca pourrait être intéressant de coupler avec des systèmes comme Wikum, de "résumé hiérarchique" : https://www.csail.mit.edu/research/wikum-bridging-discussion-systems-and-wikis-collective-summarization que j'avais évoqué dans un journal : https://linuxfr.org/users/thoasm/journaux/wikum-resume-et-recursion

Je crois me souvenir qu'un des commentaires était "oui mais de toute façon personne ne prendra la peine de résumer". Si c'est automatique ça change des choses.

(pour être tout à fait clair, je suis pas en train de dire que les intellectuels devraient paniquer mais ça semble être tomber complètement dans l'excès inverse que de dire qu'il ne s'est pas passé grand chose depuis 20 ans. Wait and see donc, et pour partie on peut déjà voir, la traduction en pratique a fait des bonds fabuleux)

Il n'y a pas que la puissance de calcul, la quantité de données a explosé aussi (on pouvait pas mettre tout github, tout wikipedia ou tout flicker dans un algo d'apprentissage il y a 20 ans). Il y a quand même eu quelques innovations comme les transformers au niveau architecture des réseaux de neurones. Les techniques convolutionnelles existaient déjà mais pas à la même échelle. Après oui on a clairement changé d'échelle et ça a changé des choses, ça permet des transitions de phases dans la qualité des sorties qui étaient inaccessibles avant : https://arxiv.org/pdf/2402.16991.pdf par exemple, en tout cas à cette échelle et pour cette quantité de problèmes.

Dire que les choses n'ont pas tant changées que ça depuis 20 ans est rien que de ce point de vue très très exagéré pour le moins. On a pas fini d'explorer ce que ça permet et les diverses combinaisons que ça permet, genre la génération de vidéos de cette qualité à partir de prompt textuels c'était clairement de la SF à l'époque, et c'est tout nouveau. Ça ouvre des combinaisons qu'on a pas encore fini d'explorer, comment on va faire cohabiter / travailler ensemble les réseaux de neurones avec les systèmes à raisonnement symbolique par exemple ? On sait que les réseaux de neurones peuvent être assez bon pour jouer aux échecs ou à des jeux combinatoires, qu'est-ce que ce sera quand on va leur apprendre à démontrer des théorèmes en essayant des trucs avec un prouveur qui leur dira "ça passe" ou "ça passe pas" ? Comment ça va se passer quand on va leur permettre d'évoluer dans un monde, cf. le dossier de ce numéro de PLS : https://www.pourlascience.fr/sd/informatique/pour-la-science-n557-26128.php , avec les intuitions un peu hors sol qu'elles auront pu tirer de leur apprentissage pour leur donner des buts un peu plus haut niveau ? On sait pas encore forcément mais c'était pas envisageable comme travaux il y a 20 ans. Maintenant, on peux envisager sérieusement.

On a oublié de la fêter