Thomas a écrit 142 commentaires

Alors vas-y, juste pour vérifier : donne-nous un exemple, une tâche intellectuelle qui est à la portée de tout être humain pris au hasard dans la rue mais pas d'un LLM.

Ils n'ont aucun humour.
Ils ne comprennent pas les règles des dames.
Ils ne savent pas reagir en dehors de leur contexte d'apprentissage.

Rappelons qu'il n'existe pas de définition de l'intelligence.

En fait, la discussion est un peu stérile car même les chercheurs ne comprennent pas bien ce qu'il se passe dans un LLM ou un NN. Exemple intéressant ici. La situation est tres confuse, et il y a une grosse part de psychologie dans cette histoire.

Oui, il faut tout le process pour reproduire. Et bien sur, les recettes magiques et trucs tordus qu'on fait subir aux données brutes.

Ok

En fait, je n'ai pas les idées claires sur la liberté d'un programme de ML. A priori, je dirais qu'on doit pouvoir tout reproduire localement, car l'intérêt (l'essence) du programme ML entraîné réside dans son … entraînement. S'il n'est pas reproductible, il n'est pas libre. Donc il faut tout le processus + les données.

Dans le cas du renforcement, je dirai pareil : il faut le processus total pour régénérer P, =P1. Mais ça se discute ? Disons que dans les deux cas, P1 + D (si ≠{}) sont nécessaires.

Donc il y a deux choses différentes :
- le programme entraîné, ~binaire
- le processus d'entraînement
On sera peut-être d'accord. Il faudrait repenser cette notion de logiciel libre dans le cas du ML, ça n'est probablement pas comparable.

Maintenant, on se heurte au problème de la boite noire : faire de la retro-ingénierie sur un NN c'est complexe, voire impossible. C'est peut-être aussi une limite - ou hors-sujet :)

Il s'est entraîné en jouant contre lui-même.
Le processus d'entrainement est un peu différent, c'est de l'apprentissage par renforcement. Reste que les humains ont conçu le processus.

AlphaZero a été entraîné.

Un réseau de neurone sans les données d'entraînement ni les soft, c'est comme un binaire…

Tres exactement mon avis.
C'est pour cette raison que les modeles fournis par (cocorico) Mistral ne sont pas vraiment ouverts. Il faut fournir l'ensemble : modele, procédure d'entrainement, procédure de validation, données. Sans ça, on ne peut pas reproduire.

On peut préciser des paramètres en dur lors de l'instanciation du modèle. Jette un coup d'oeil aux modeles présentés dans la bible sklearn par exemple.

Mais pour un modèle d'apprentissage automatique, ca n'est pas trop l'idée : il faut justement laisser le programme d'entrainement ajuster les parametres.

L'apprentissage automatique, c'est simple en réalité. Un programme d'entraînement avec un modèle interne (neural nets, SVM, random forests etc) et des données. Il y a une obstination actuelle sur les neural nets car … ils fonctionnent bien !

Les données sont fournies au programme, qui adapte les poids / paramètres internes du modèle. À la fin, on a un modèle entraîné.

De mon point de vue très pragmatique et limité de data scientist, un modèle sera donc libre si le code du programme d'entraînement et du modèle est libre, et si les données d'entraînement le sont aussi. Le modèle entraîné seul ne suffit pas, et de loin car on comprend souvent mal comment l'information y est encodée.

Je suis nul en Marx.

De loin et dans le brouillard, j'ai l'impression que ce qui se passe avec le travail déporté et relocalisé exciterait beaucoup Marx, en fait. Probablement une preuve que son analyse marche plutôt super bien … ?

Je parle des bulles IA, en effet. Cf ce trop long document ou bien sur la page wikipédia qui va bien.

Les bulles IA (symboliques, systèmes experts) ont été productives, ça n'est pas le problème. Ce sont plutôt les hivers qui les ont suivies qui ont été douloureux pour le domaine.

On attend le Marx du XXIème siècle, ou le Bourdieu, qui décrirait d'un côté la profonde inhumanité du travail imposé aux pauvres qui constituent les bases d'apprentissage, clic par clic, et de l'autre la profonde inhumanité des ingénieurs et scientifiques qui conçoivent les programmes d'apprentissage automatique qui remplacent (mal) les humains. Quelle situation ubuesque, quand on y pense.

L'effondrement des perfs des modèles est une possibilité : les perfs des systèmes IA basés sur du ML sont dictées par les données d'entraînement. Si les données changent, il faut réadapter les modèles, revoir les hypothèses, modifier l'architecture voire tout reprendre. Shit in, shit out … il y a tellement de choses qu'on ne comprend pas dans ce processus d'apprentissage massif par réseaux de neurones.

Sur le digital labor, c'est documenté par A Casilli par exemple. Quant aux chiffres, je ne sais pas.

Il faut bien avoir conscience qu'il y a une bulle actuelle de l'IA. La situation s'est déjà produite deux fois depuis les 60s et deux fois des gens sérieux ont déliré. Une bonne partie de la com' relève du pur bullshit marketing. Ça mousse, on touille, ça mousse. Tout le monde se caresse dans le sens du poil, c'est génial.

Le fond de l'histoire, c'est qu'on ne comprend toujours pas comment apprend un réseau de neurones profond. Et ça, ça me excite les gens.

Un lien parmi d'autres : LLM et modèles

Ça fait chaud au cœur de voir que sur DLFP, on râle fort contre ce techno-bullshit.

Pour bosser dans le domaine (data science etc) avec des entreprises lambda, je peux témoigner qu'on est loin des délires du Sommet IA. On est plutôt sur du nettoyage, de la mise en forme, de la visualisation et parfois quelques stats. Pour un Mistral, combien de millions de boites classiques ?

idem

ca se lit très bien

Vraiment.
Merci

Le style est clair.
Certains mots ne le sont pas, il a fallu chercher dans le dictionnaire, surtout pour les Hérétiques.

A part ça, c'est quasiment transparent … mes 3 ans de postdoc en Angleterre ont du aider :)

Ca change de Pratchett, que je trouve parfois difficile.

Ca marche.

L'installation n'est pas triviale, mais ca tourne sans trop de maintenance depuis 3-4 ans. Quelques moments d'égarement, parfois, de la base de données mais ca se passe bien.

Revenons à l'installation : on centralise sur une machine qui fait office de serveur, avec muchsync qui synchronise le tout. Les mails sont récupérés avec offlineimap et … c'est tout. Notmuch, avec son client emacs, n'est qu'une interface de recherche dans la base d'emails.

Franchement, ca se fait.
Sois fort.

J'achète mes portables reconditionnés chez Ecodair. Si on croit leur site, c'est socialement responsable.

Recul de un an pour l'instant, ça tient. Et le matos est nickel. Mon seul critère, c'est le poids, la batterie qui tient 3-4h et … c'est tout. Pour tout ce qui est perf, on a les serveurs.

My 2 cents.

Pas mal aussi, si on supporte Etienne Klein.

Podcast de Radio France, 1h, hebdomadaire.

Et si tu essayais avec un polynome de degré 5. Ou une exponentielle ?

Le point d'inflexion semble inventé par la sigmoïde.

Ah oui.

Les décideurs pressés, on les perd dès qu'on dépasse la régression linéaire. Ils demandent souvent à comprendre comment ça marche, au moins dans l'idée, et la difficulté consiste à leur donner une image à peu près correcte dans les noyer dans les maths. Dans les faits, ils décrochent au bout de 2-3 phrases. Ils achètent quelque chose qu'ils ne comprennent pas (comme d'hab ?).

Quand je parle de faiblesse intellectuelle, c'est une boutade.

Quand on ne veut pas comprendre ni expliquer, juste décrire ou reproduire, alors on peut faire appel à l'apprentissage automatique. Si on a assez de données et que les autres approches plus explicites ne marchent pas.

Je m'explique : les modèles ML sont souvent (pas toujours) des boîtes noires. On aura souvent du mal à expliquer pourquoi le modèle a pris telle décision plutôt que telle autre. Certains modèles sont sympathiques et permettent de faire du post-mortem (ex: modèles linéaires économes en paramètre type Lasso), alors que d'autres sont infects (neural nets en tête).

Lors les différents projets que l'équipe que j'encadre a faits, le choix du ML s'impose quand on ne peut pas faire autre chose. Je préfère largement faire des stats classiques (PCA en tête) que devoir se frapper des machins imbittables … souvent imbattables :)

Depuis 4-5 ans environ, juste après la bulle des Grosses Données.

Je complète ou réformule ce que dit jben plus haut : pourquoi vouloir caser du ML (machine learning) sur ce problème ?

Lea différents algorithmes de ML servent à déterminer et calculer les paramètres des modèles qu'on leur injecte. Soit les modéles sont explicites, soient ils sont implicites.

Les modèles explicites sont du type SIR présentés dans ce journal : on injecte de l'intelligence viq le modèle. Soit les modèles sont implicites, via le calcul de critères/indicateurs à partir des données brutes. Dans les deux cas, on applique ensuite une méthode qui va calculer les paramètres adéquats pour faire correspondre entrées et sorties.

Bref. Pas besoin de sortir du ML pour fixer quelques paramètres à partir d'un modèle intelligent, les méthodes usuelles (régression, moindres carrés etc) suffisent. On sort le ML quand on est infoutu de trouver un modèle intelligent. Pour caricature, je dirais qu'avoir recours à du ML c'est, quelque part, faire un aveu de faiblesse intellectuelle.

En effet : possible.
Mais a mes yeux moins probable que l'autre cas. Après,on pourrait en discuter, puisque qu'il est moins probable d'être infecté que de ne pas l'être.

Heureusement que les conversations sont enregistrées et analysées :/