Le déni est très puissant dans ta famille on dirait. Qu'est ce qui te permet, a pas fait assez chaud cet été ? Tu ne crois pas en le pouvoir anticipateur de la physique connue il y a 200 ans ?
Par exemple les migrations africaines vers l’Europe au XXIe siècle ont une force démographique plus élevée que les peuples indigènes des pays européens, ces migrations africaines sont donc les plus importantes dans cette région et c’est pourquoi ils colonisent. Et là encore ce n’est pas parce qu’ils colonisent qu’ils sont plus importants, mais parce qu’ils sont plus importants qu’ils colonisent.
Ah ouais on peut dire ça aujourd'hui et ça passe crème, la migration est une colonisation … on en est rendu à quel point, on prend les romans d'anticipation de Michel Houellebecq pour des documentaires ?
le meilleur service qu'on peut rendre à la communauté scientifique est de ne surtout jamais altérer le principe du processus de publication, en modifiant l'auto-archivage de l'état des connaissances.
C'est faible comme argument, on peut maintenir un historique de révisions des articles en 2024 faut pas déconner, arxiv par exemple est une plateforme qui permet de le faire : https://info.arxiv.org/help/replace.html je comprends pas vraiment pourquoi tu opposes les deux modes dans l'absolu.
Par ailleurs tu supposes aussi un peu que tous les chercheurs sont tous au courant des derniers développements et complètement à jour de la littérature, ça m'a l'air un peu irréaliste, surtout dés que tu traverses un peu les silos disciplinaires.
Merci je cherchai quoi répondre à arnaudus au delà du fait que je trouve son accroche excessive donc qui nuit au reste de son message, là j'ai mis le doigt sur ce qui me dérange le plus, c'est sûrement la parenthèse
(et peut-être même malveillant dans certaines circonstances)
En gros tu (arnaudus) suggère plus ou moins explicitement que cet outil te dérange parce que ça pourrait jeter le discrédit sur la recherche et être mésusé. Je suis pas d'accord avec cette crainte, et même je la trouve dangereuse : la recherche tire sa crédibilité de l'honnêteté scientifique, et de l'autosurveillance et auto-révision dans la mesure du possible. Et du coup aussi le plus possible de la transparence dans ce qui va et ce qui va pas. La dernière chose à faire dans un tel contexte c'est de cacher la poussière sous le tapis. Si jamais l'article en question se base fondamentalement sur une hypothèse soutenue par un article rétracté, il y a matière à examiner si ça remet en cause ses conclusions, que ça plaise ou non. Si c'est pas grave, il y a ptete manière à révision a posteriori ou a publication d'errata. Mais rejeter l'outil sous prétexte que ça pourrait servir à la polémique en soi c'est desservir la science. La polémique peut appeler à réponse, potentiellement, c'est pas forcément illégitime, de la part des scientifique, si ça a un intérêt social.
C'est un peu comme dire "retraction watch" peut être utilisé pour décrédibiliser la science parce que ça pointe des brebis galeuses alors que les scientifiques sont majoritairement honnête, donc faudrait pas que ça existe.
Peu importe, ça ne répond pas à la question métaphysique fondamentale : pourquoi il existe au moins un univers ou ce genre de règles, qui permettent une émergence de la vie, existent ? Après ptete que dans cet univers une forme de vie a crée une "simulation", pourquoi pas, mais on aurait pas plus de moyen de le savoir que de savoir si un Dieu extérieur à notre univers existe.
Enfin sauf si tout d'un coup on détecte des phénomènes qui violent puissamment toutes les lois de la physique connues. Mais on ne les connais pas totalement et il y a toujours la possibilité d'un signe noir qui violerait totalement une des hypothèse fondamentale qu'on a pour fonder nos théories fondamentales de la physique.
J'ai jamais dit que les LLMs ne font pas de trucs intéressants, au contraire je m'intéresse vachement à ce qu'ils font d'intéressant, et encore plus à ce qu'ils ne font pas !
Mais dans « ils ne sont qu'un outil parce qu'il faut corriger deux ou trois trucs après eux mais il ne s'en faut pas de beaucoup pour avoir quelque chose de prêt à la production directement. » si tu as la solution pour "il n'en faut pas de beaucoup" ça intéresse beaucoup de monde :p A mon avis il reste encore pas mal de recherche à faire, et le fait qu'il y ait beaucoup d'argent dans le domaine mais qu'on y soit pas encore et même sans chemin clair bien qu'il y ait pleins de travaux et d'articles de recherches qui paraissent le montrent bien.
Bref, je me situe un peu dans une situation médiane, j'essaye de pas minimiser l'importance du truc, sans pour autant être trop optimiste sur l'avenir, parce que ben en la matière il y a eu un paquet de fois ou on a pensé avoir une panacée et avoir résolu le problème, avant une stagnation de quelques décennies avant d'avoir des nouvelles avancées.
Pour l'instant ce que je trouve prometteur :
* la capacité des réseaux de neurones à "évoluer" dans des environnements pleins de soupe de pixel et à en extraire du "sens" en terme d'objets présents et de positions géographique, ou d'extraire en quelque sorte du sens d'un texte. Et donc par la même occasion de passer du monde "analogique" dans lequel on vit et communique à des mondes "formels" ou on peut travailler à l'aide d'algorithmes connus (d'ailleurs une appli intéressante est la génération d'algorithmes), genre spécifier ou formaliser des buts pour passer dans un monde "logique" avec du vrai et du faux, genre la capacité de transformer une demande humaine en une requête formelle dans une base de donnée avec des faits garantis corrects. Ca peut être de gros progrès en terme d'ihm. On peut discuter aussi, puisqu'il s'agit de "vérifier à posteriori" les sorties des IAs de formaliser le résultats de ces "vérifications" dans des bases de connaissances avec des notions de vrai et de faux, potentiellement.
* et de l'autre la possibilité d'avoir un certain "instinct" sur le monde qui peut aider les algorithmes plus classiques avec du vrai et du faux mais aucune jugeote qui pourraient se perdre dans un très grand ensemble de possibilités sans discernement à trouver un chemin logique tenant compte des connaissances ordinaires des humains.
* et le tout, dans le cas de l'interaction avec le vrai monde, de valider ou pas le "monde formel" vis à vis des observations (ça semble être une des directions que prend la recherche pour l'utilisation des IAs en robotique)
C'est des directions intéressantes, c'est certain, mais c'est du boulot tout ça :)
J'ai noté que tu as parlé de "peur fantasmatique" de perdre son boulot puis que
"Après, pense que tu es irremplaçable", et là je suis pas sur de voir la cohérence.
Et puis je crois que je me suis concentré sur le potentiel d'évolution, et là il n'est pas spécialement évident. Si ça dépend assez largement du jeu de données, en apprenant sur tout Internet on a probablement atteint un certain volume assez important difficile à égaler. Potentiellement il reste des jeux de données moins publics et plus restreints comme les dossiers de santé pour apprendre des diagnostics, mais ça touche d'autres problèmes éthiques. Et puis l'intérêt serait pour les pathologies rares, le truc étant que la fiabilités des IAs sur les trucs rares est pas assurée donc ça limite l'intérêt, pour le tout venant les médecins lambda savent faire.
Si il a un contexte suffisamment grand il pourrait savoir qu'on est dans un cadre fictionnel quand on parle de Star Wars. D'ailleurs si tu lui demandes si la force existe il te dira probablement que la force n'existe pas.
J'imagine au contraire qu'un LLM avec tous ces circuits et tous ces neurones devrait être capable de discriminer les contextes et d'apprendre que certaines règles s'appliquent différemment dans différents cadre fictionnels, avec des "heuristiques" déduites du contexte pour savoir si ça s'applique ou pas.
On parle de LLM et de capacité émergentes, de trucs supposés être généraliste avec apprentissage sur tous le web.
Et puis ça ne change pas vraiment la logique, juste les lois de la physique en l'occurrence.
Et justement, toute la question à mon avis c'est jusqu'ou il est nécessaire d'avoir un bon "modèle" du monde pour prédire la suite d'un texte (enfin ce qu'on en reflète dans nos textes et leur structure) et ce qu'il est nécessaire d'en capturer pour prédire ce qu'on va écrire en suite. Est-ce qu'il y a besoin de "raisonner" (dans le sens d'encoder des règles de déduction valides) pour bien prédire ou alors avec suffisamment de données et tout pleins de neurones paramètres on peut faire un bon job avec un modèle qui ne reflète ou capture pas grand chose des réalités du monde, ou alors tellement déconnecté qu'il n'aura aucun lien entre des choses qui sont liées de manière évidente pour nous ?
(Et pardon je m'auto-répond pour compléter parce que j'ai oublié un bout et c'est trop tard)
Et donc, à partir du moment ou de telles capacités un peu générales et applicables à chaque sous domaine un peu transversalement n'émergent pas, c'est pas évident pour moi de savoir comment ils pourraient beaucoup gagner en qualité dans le futur juste avec des incrémentations de numéro de modèle comme tu l'affirmes plus haut.
Ils sont peut-être condamnés, comme ça, à être bons à tel ou tel trucs, comme maintenant, sans pouvoir multiplier les possibilités du fait de pouvoir combiner ces capacités correctement. C'est "tel truc plus ou moins bien" et "tel autre truc plus ou moins bien", mais jamais "à la fois tel truc et tel autre truc", c'est des capacités indépendantes qui ne se combinent pas.
Dans un tel contexte, c'est peut-être plus intéressants de spécialiser des modèles sur telle ou telle tache au lieux d'avoir un gros gloubiboulga générique qui fera jamais mieux que le modèle spécialisé seul.
Et ben pour moi non, c'est pas du tout trivial que le raisonnement soit impossible. Parce qu'il est capable d'apprendre une certaine forme de généralisation.
J'ai par curiosité essayé de lui faire appliquer un syllogisme (trivial) avec des mots inventés pour être sur que c'est pas un syllogisme de son corpus, ben il y arrive parfaitement. Donc d'une certaine manière, il est capable de faire certaines formes de raisonnement élémentaire et d'en déduire des trucs.
Une fois que tu as fait ça, en principe, il pourrait déduire d'autres trucs à partir de ça, de manière parfaitement correcte. Si il est capable d'appliquer une règle de raisonnement une fois sur des valeurs arbitraire, il devrait être capable de le faire également une autre fois. Avec dans son contexte les conclusions qu'il a déjà eu, donc d'être capable de les reprendre.
Ce qui n'est pas surprenant dans un tel cadre c'est qu'il ne soit pas vraiment capable de revenir en arrière et de remettre en cause son "raisonnement" en cas de résultat absurde parce qu'il n'y a pas de notion de "backtracking" dans une telle boucle ou il complète juste ce qui est entamé.
On pourrait aussi s'interroger sur l'émergence possible d'une notion de "vérité" et d'erreur étant donné qu'il a une certaine capacité de généralisation et qu'il a plein d'exemples, on pourrait supposer que ce soit un truc qui soit utile pour prédire le mot suivant de manière plus efficace, qu'à force de voir des textes qui utilisent plus ou moins ces notions explicitement il finisse par les "encoder" dans son réseau. Il semblerait que pour l'instant ça ne soit pas arrivé et qu'on ne voie pas venir ça, et pour moi c'est pas totalement une évidence.
C'est toujours marrant tout ce que les gens peuvent projeter sur tes opinions ou sur toi dés que tu tiens un discours critique.
Je suis plutôt curieux du sujet. Je suis sceptique sur le fait qu'en l'état actuel ça révolutionne réellement tant de truc que ça, et en particulier je m'intéresse pas mal aux limites du truc. Par exemple je suis assez curieux de savoir si on peut les faire raisonner, et la réponse des experts jusqu'à présent c'est plutôt "non, les LLM ne raisonnent pas vraiment et sont difficilement capable d'extrapoler sur des trucs qui sont pas présents en masse dans leur corpus", éventuellement "hors ligne" avec pas mal d'efforts on peut arriver à faire quelques trucs intéressants. On leur fait faire des maths mais c'est pas les modèles bruts, faut les intégrer dans des algos plus sophistiqués et faut les spécialiser.
Pour l'instant c'est plutôt difficile de leur faire tenir un raisonnement correct dans la durée : https://x.com/rao2z/status/1827778006972248123 Alors oui, il y a une marge de progression et les gens essayent de bien comprendre les capacités. Mais de ce que j'ai vu, et à mon avis, les LLMs sont intéressants pour ce type d'applis parce qu'ils sont capables d'extraire du "sens commun" et de guider un raisonnement, mais le vrai raisonnement devra être fait par des méthodes et des techniques algorithmiques plus traditionnels. Ils pourront peut être se servir des LLM comme "oracle" pour savoir par ou commencer, heuristiques, quand il y a plusieurs possibilité.
Également, le texte est un pâle reflet du monde et leur corpus est à la ramasse, faut leur réinjecter des nouvelles données. Et sur les modèles d'images, la correspondance riche entre le texte et les images, le raisonnement spatial, est compliqué si leur profondeur de raisonnement propre est limitée (ils sont capables de choper des éléments, mais pour tout combiner correctement et faire des trucs complexe il me semble qu'il faut rajouter du raisonnement).
Bref … "intelligence" est un terme qui veut dire bien des choses, mais sans raisonnement il me semble qu'on manque d'un ingrédient essentiel. Et leur rajouter ne viendra pas forcément gratuitement et facilement.
(pour contexte, le twit que j'ai lié, je le tiens d'un repost de Yan Le Cun, le chef de l'IA de facebook et aussi un pionnier)
on a toutes les raisons de penser que ça ne peut que s'améliorer (jusqu'où? Ça n'est pas très clair).
C'est un peu du "wishful thinking" dit comme ça. On espère un progrès, on sait pas trop comment, on sait pas trop l'évaluer et on a pas de plans mais c'est sur ça va marcher :p
On savait tout ça deux semaines après la sortie de chatGPT. Le truc c'est que malgré tout ça on a pas vraiment fait de progrès sur les questions parce que les vraies applications intéressantes étant donné ce qu'on sait des faiblesses des IAs en l'état actuel les applications réellement intéressantes sont encore plus ou moins faibles.
Faudra attendre d'autres progrès, soit des progrès techniques fondamentaux, soit du travail bien plus laborieux pour avoir des applications élaborées, du travail de corpus, des insertions dans des architectures logicielles plus élaborées avec des composants plus traditionnels, pour vraiment avancer. Ça contraste avec les promesses du truc ou tout d'un coup le grand public a eu l'impression d'avoir un machin un peu magique dans les pattes avec des tas d'applications gratuites, et pour les décideurs il suffisait de faire apprendre sur des tonnes de données et automagiquement d'avoir des résultats intéressants subséquemment gratuits. C'est pas le cas, il va falloir du travail humain (et pas forcément juste plein de sous, plus de matériel, un corpus plus gros, des plus gros modèles, et des centrales nucléaires)
At one level, this bias is surprising as, compared to a conventional encyclopedia,
Ǯanyone can editǯ. The obvious comparator is the conventionally produced
Encyclopedia Britannica, whose 11th edition had very few women contributors
(2%) and no women listed among the 49 editorial advisors (Thomas, 1992:18).
How then does Wikipedia's coverage of women's biographies, for example,
compare to the iconic Britannica? It turns out that Wikipedia does have
significantly greater coverage than Britannica. In absolute terms, Wikipedia has
more biographies of women. However, the authors of this study (Reagle and
Rhue, 2011) conclude that there still is gender bias. This is because Wikipedia's
missing articles are disproportionally about females relative to those of
Britannica, as evidenced in the ratio of female to male biographies in each work.
Given Wikipedia's position as a central reference source, the invisibility of these
missing entries means that women are being written out of history once again
Il y a des chances que la situation sur Wikipédia se soit améliorée depuis par le travail effectué sur la question depuis que ces questions se sont posées.
Exemple, la croix et la bannière chez Wikimédia pour qu'un simple outil qui sert juste à insérer plus facilement des références dans les articles en allant chercher les métadonnées des articles genre du New York Times et compagnie … finisse par fonctionner correctement
Je sais pas si c'est volontaire ou pour une raison technique, ou un mélange des deux, mais une perte silencieuse de personnes que tu suis parce que t'as choisi la mauvaise instance avant d'oublier c'est pas idéal. Tout le monde n'est pas forcément hyper impliqué ou au courant des embrouilles entre instance, voire même n'a forcément conscience de tout ce qui se passe sur son instance ou des éventuels soucis de modération.
C'est pas forcément un mauvais point pour moi :) Ils gagneraient ptete même à assumer complètement que c'est pas idéal pour le trafic et à réguler la circulation …
[^] # Re: Non.
Posté par thoasm . En réponse au lien Sur les réseaux sociaux, cet internaute qui vous contredit est peut-être une IA. Évalué à 2.
Prouves-le. Est-ce que tu connais une recette de tarte aux fraises ?
[^] # Re: Pendant ce temps, au Brésil…
Posté par thoasm . En réponse au lien Au Brésil, un juge ordonne la suspension de Twitter "X" . Évalué à 8.
Le déni est très puissant dans ta famille on dirait. Qu'est ce qui te permet, a pas fait assez chaud cet été ? Tu ne crois pas en le pouvoir anticipateur de la physique connue il y a 200 ans ?
[^] # Re: Contributeurs/Sources
Posté par thoasm . En réponse au journal Sur Wikipedia 1 homme sur 5 est une femme ! . Évalué à 4.
Ah ouais on peut dire ça aujourd'hui et ça passe crème, la migration est une colonisation … on en est rendu à quel point, on prend les romans d'anticipation de Michel Houellebecq pour des documentaires ?
[^] # Re: Très réducteur
Posté par thoasm . En réponse au lien Recherche scientifique : un outil pour éviter les « colosses aux pieds d’argile » (Abonnement). Évalué à 1.
On rétracte pas les publis d'il y a 200 ans, ça n'a aucun sens, du coup bah je comprend pas vraiment l'argument.
[^] # Re: Très réducteur
Posté par thoasm . En réponse au lien Recherche scientifique : un outil pour éviter les « colosses aux pieds d’argile » (Abonnement). Évalué à 3.
C'est faible comme argument, on peut maintenir un historique de révisions des articles en 2024 faut pas déconner, arxiv par exemple est une plateforme qui permet de le faire : https://info.arxiv.org/help/replace.html je comprends pas vraiment pourquoi tu opposes les deux modes dans l'absolu.
Par ailleurs tu supposes aussi un peu que tous les chercheurs sont tous au courant des derniers développements et complètement à jour de la littérature, ça m'a l'air un peu irréaliste, surtout dés que tu traverses un peu les silos disciplinaires.
[^] # Re: Très réducteur
Posté par thoasm . En réponse au lien Recherche scientifique : un outil pour éviter les « colosses aux pieds d’argile » (Abonnement). Évalué à 4.
Merci je cherchai quoi répondre à arnaudus au delà du fait que je trouve son accroche excessive donc qui nuit au reste de son message, là j'ai mis le doigt sur ce qui me dérange le plus, c'est sûrement la parenthèse
En gros tu (arnaudus) suggère plus ou moins explicitement que cet outil te dérange parce que ça pourrait jeter le discrédit sur la recherche et être mésusé. Je suis pas d'accord avec cette crainte, et même je la trouve dangereuse : la recherche tire sa crédibilité de l'honnêteté scientifique, et de l'autosurveillance et auto-révision dans la mesure du possible. Et du coup aussi le plus possible de la transparence dans ce qui va et ce qui va pas. La dernière chose à faire dans un tel contexte c'est de cacher la poussière sous le tapis. Si jamais l'article en question se base fondamentalement sur une hypothèse soutenue par un article rétracté, il y a matière à examiner si ça remet en cause ses conclusions, que ça plaise ou non. Si c'est pas grave, il y a ptete manière à révision a posteriori ou a publication d'errata. Mais rejeter l'outil sous prétexte que ça pourrait servir à la polémique en soi c'est desservir la science. La polémique peut appeler à réponse, potentiellement, c'est pas forcément illégitime, de la part des scientifique, si ça a un intérêt social.
C'est un peu comme dire "retraction watch" peut être utilisé pour décrédibiliser la science parce que ça pointe des brebis galeuses alors que les scientifiques sont majoritairement honnête, donc faudrait pas que ça existe.
[^] # Re: Fascinant !
Posté par thoasm . En réponse au lien Alien Project : Artificial life environment. Évalué à 2.
Peu importe, ça ne répond pas à la question métaphysique fondamentale : pourquoi il existe au moins un univers ou ce genre de règles, qui permettent une émergence de la vie, existent ? Après ptete que dans cet univers une forme de vie a crée une "simulation", pourquoi pas, mais on aurait pas plus de moyen de le savoir que de savoir si un Dieu extérieur à notre univers existe.
Enfin sauf si tout d'un coup on détecte des phénomènes qui violent puissamment toutes les lois de la physique connues. Mais on ne les connais pas totalement et il y a toujours la possibilité d'un signe noir qui violerait totalement une des hypothèse fondamentale qu'on a pour fonder nos théories fondamentales de la physique.
[^] # Re: Un aperçu de ce qu'on peut faire dans ce "jeu de la vie" nouvelle génération
Posté par thoasm . En réponse au lien Alien Project : Artificial life environment. Évalué à 2.
Ou encore https://xcancel.com/chrx_h/status/1827659368440946705
# Un aperçu de ce qu'on peut faire dans ce "jeu de la vie" nouvelle génération
Posté par thoasm . En réponse au lien Alien Project : Artificial life environment. Évalué à 2.
Exemple de vidéo de ce que les utilisateurs peuvent produire en jouant : https://xcancel.com/tobi/status/1824987963245138009
[^] # Re: tant pis pour eux
Posté par thoasm . En réponse au lien Meta ferme des comptes Instagram liés à l'extrême droite . Évalué à 8.
AAAAh j'ai compris, en fait "wokisme" c'est juste devenu le remplaçant de "communisme" chez les droitistes.
[^] # Re: Wow
Posté par thoasm . En réponse au lien Microsoft’s Copilot falsely accuses court reporter of crimes he covered - OSnews. Évalué à 2.
J'ai jamais dit que les LLMs ne font pas de trucs intéressants, au contraire je m'intéresse vachement à ce qu'ils font d'intéressant, et encore plus à ce qu'ils ne font pas !
Mais dans « ils ne sont qu'un outil parce qu'il faut corriger deux ou trois trucs après eux mais il ne s'en faut pas de beaucoup pour avoir quelque chose de prêt à la production directement. » si tu as la solution pour "il n'en faut pas de beaucoup" ça intéresse beaucoup de monde :p A mon avis il reste encore pas mal de recherche à faire, et le fait qu'il y ait beaucoup d'argent dans le domaine mais qu'on y soit pas encore et même sans chemin clair bien qu'il y ait pleins de travaux et d'articles de recherches qui paraissent le montrent bien.
Bref, je me situe un peu dans une situation médiane, j'essaye de pas minimiser l'importance du truc, sans pour autant être trop optimiste sur l'avenir, parce que ben en la matière il y a eu un paquet de fois ou on a pensé avoir une panacée et avoir résolu le problème, avant une stagnation de quelques décennies avant d'avoir des nouvelles avancées.
Pour l'instant ce que je trouve prometteur :
* la capacité des réseaux de neurones à "évoluer" dans des environnements pleins de soupe de pixel et à en extraire du "sens" en terme d'objets présents et de positions géographique, ou d'extraire en quelque sorte du sens d'un texte. Et donc par la même occasion de passer du monde "analogique" dans lequel on vit et communique à des mondes "formels" ou on peut travailler à l'aide d'algorithmes connus (d'ailleurs une appli intéressante est la génération d'algorithmes), genre spécifier ou formaliser des buts pour passer dans un monde "logique" avec du vrai et du faux, genre la capacité de transformer une demande humaine en une requête formelle dans une base de donnée avec des faits garantis corrects. Ca peut être de gros progrès en terme d'ihm. On peut discuter aussi, puisqu'il s'agit de "vérifier à posteriori" les sorties des IAs de formaliser le résultats de ces "vérifications" dans des bases de connaissances avec des notions de vrai et de faux, potentiellement.
* et de l'autre la possibilité d'avoir un certain "instinct" sur le monde qui peut aider les algorithmes plus classiques avec du vrai et du faux mais aucune jugeote qui pourraient se perdre dans un très grand ensemble de possibilités sans discernement à trouver un chemin logique tenant compte des connaissances ordinaires des humains.
* et le tout, dans le cas de l'interaction avec le vrai monde, de valider ou pas le "monde formel" vis à vis des observations (ça semble être une des directions que prend la recherche pour l'utilisation des IAs en robotique)
C'est des directions intéressantes, c'est certain, mais c'est du boulot tout ça :)
[^] # Re: Wow
Posté par thoasm . En réponse au lien Microsoft’s Copilot falsely accuses court reporter of crimes he covered - OSnews. Évalué à 2.
Je sais plus de quoi on parlait, en fait /o\
J'ai noté que tu as parlé de "peur fantasmatique" de perdre son boulot puis que
"Après, pense que tu es irremplaçable", et là je suis pas sur de voir la cohérence.
Et puis je crois que je me suis concentré sur le potentiel d'évolution, et là il n'est pas spécialement évident. Si ça dépend assez largement du jeu de données, en apprenant sur tout Internet on a probablement atteint un certain volume assez important difficile à égaler. Potentiellement il reste des jeux de données moins publics et plus restreints comme les dossiers de santé pour apprendre des diagnostics, mais ça touche d'autres problèmes éthiques. Et puis l'intérêt serait pour les pathologies rares, le truc étant que la fiabilités des IAs sur les trucs rares est pas assurée donc ça limite l'intérêt, pour le tout venant les médecins lambda savent faire.
[^] # Re: Wow
Posté par thoasm . En réponse au lien Microsoft’s Copilot falsely accuses court reporter of crimes he covered - OSnews. Évalué à 2.
Si il a un contexte suffisamment grand il pourrait savoir qu'on est dans un cadre fictionnel quand on parle de Star Wars. D'ailleurs si tu lui demandes si la force existe il te dira probablement que la force n'existe pas.
J'imagine au contraire qu'un LLM avec tous ces circuits et tous ces neurones devrait être capable de discriminer les contextes et d'apprendre que certaines règles s'appliquent différemment dans différents cadre fictionnels, avec des "heuristiques" déduites du contexte pour savoir si ça s'applique ou pas.
On parle de LLM et de capacité émergentes, de trucs supposés être généraliste avec apprentissage sur tous le web.
Et puis ça ne change pas vraiment la logique, juste les lois de la physique en l'occurrence.
Et justement, toute la question à mon avis c'est jusqu'ou il est nécessaire d'avoir un bon "modèle" du monde pour prédire la suite d'un texte (enfin ce qu'on en reflète dans nos textes et leur structure) et ce qu'il est nécessaire d'en capturer pour prédire ce qu'on va écrire en suite. Est-ce qu'il y a besoin de "raisonner" (dans le sens d'encoder des règles de déduction valides) pour bien prédire ou alors avec suffisamment de données et tout pleins de neurones paramètres on peut faire un bon job avec un modèle qui ne reflète ou capture pas grand chose des réalités du monde, ou alors tellement déconnecté qu'il n'aura aucun lien entre des choses qui sont liées de manière évidente pour nous ?
[^] # Re: Wow
Posté par thoasm . En réponse au lien Microsoft’s Copilot falsely accuses court reporter of crimes he covered - OSnews. Évalué à 2.
(Et pardon je m'auto-répond pour compléter parce que j'ai oublié un bout et c'est trop tard)
Et donc, à partir du moment ou de telles capacités un peu générales et applicables à chaque sous domaine un peu transversalement n'émergent pas, c'est pas évident pour moi de savoir comment ils pourraient beaucoup gagner en qualité dans le futur juste avec des incrémentations de numéro de modèle comme tu l'affirmes plus haut.
Ils sont peut-être condamnés, comme ça, à être bons à tel ou tel trucs, comme maintenant, sans pouvoir multiplier les possibilités du fait de pouvoir combiner ces capacités correctement. C'est "tel truc plus ou moins bien" et "tel autre truc plus ou moins bien", mais jamais "à la fois tel truc et tel autre truc", c'est des capacités indépendantes qui ne se combinent pas.
Dans un tel contexte, c'est peut-être plus intéressants de spécialiser des modèles sur telle ou telle tache au lieux d'avoir un gros gloubiboulga générique qui fera jamais mieux que le modèle spécialisé seul.
[^] # Re: Wow
Posté par thoasm . En réponse au lien Microsoft’s Copilot falsely accuses court reporter of crimes he covered - OSnews. Évalué à 2.
Et ben pour moi non, c'est pas du tout trivial que le raisonnement soit impossible. Parce qu'il est capable d'apprendre une certaine forme de généralisation.
J'ai par curiosité essayé de lui faire appliquer un syllogisme (trivial) avec des mots inventés pour être sur que c'est pas un syllogisme de son corpus, ben il y arrive parfaitement. Donc d'une certaine manière, il est capable de faire certaines formes de raisonnement élémentaire et d'en déduire des trucs.
Une fois que tu as fait ça, en principe, il pourrait déduire d'autres trucs à partir de ça, de manière parfaitement correcte. Si il est capable d'appliquer une règle de raisonnement une fois sur des valeurs arbitraire, il devrait être capable de le faire également une autre fois. Avec dans son contexte les conclusions qu'il a déjà eu, donc d'être capable de les reprendre.
Ce qui n'est pas surprenant dans un tel cadre c'est qu'il ne soit pas vraiment capable de revenir en arrière et de remettre en cause son "raisonnement" en cas de résultat absurde parce qu'il n'y a pas de notion de "backtracking" dans une telle boucle ou il complète juste ce qui est entamé.
On pourrait aussi s'interroger sur l'émergence possible d'une notion de "vérité" et d'erreur étant donné qu'il a une certaine capacité de généralisation et qu'il a plein d'exemples, on pourrait supposer que ce soit un truc qui soit utile pour prédire le mot suivant de manière plus efficace, qu'à force de voir des textes qui utilisent plus ou moins ces notions explicitement il finisse par les "encoder" dans son réseau. Il semblerait que pour l'instant ça ne soit pas arrivé et qu'on ne voie pas venir ça, et pour moi c'est pas totalement une évidence.
[^] # Re: Wow
Posté par thoasm . En réponse au lien Microsoft’s Copilot falsely accuses court reporter of crimes he covered - OSnews. Évalué à 2. Dernière modification le 26 août 2024 à 15:30.
C'est toujours marrant tout ce que les gens peuvent projeter sur tes opinions ou sur toi dés que tu tiens un discours critique.
Je suis plutôt curieux du sujet. Je suis sceptique sur le fait qu'en l'état actuel ça révolutionne réellement tant de truc que ça, et en particulier je m'intéresse pas mal aux limites du truc. Par exemple je suis assez curieux de savoir si on peut les faire raisonner, et la réponse des experts jusqu'à présent c'est plutôt "non, les LLM ne raisonnent pas vraiment et sont difficilement capable d'extrapoler sur des trucs qui sont pas présents en masse dans leur corpus", éventuellement "hors ligne" avec pas mal d'efforts on peut arriver à faire quelques trucs intéressants. On leur fait faire des maths mais c'est pas les modèles bruts, faut les intégrer dans des algos plus sophistiqués et faut les spécialiser.
Pour l'instant c'est plutôt difficile de leur faire tenir un raisonnement correct dans la durée : https://x.com/rao2z/status/1827778006972248123 Alors oui, il y a une marge de progression et les gens essayent de bien comprendre les capacités. Mais de ce que j'ai vu, et à mon avis, les LLMs sont intéressants pour ce type d'applis parce qu'ils sont capables d'extraire du "sens commun" et de guider un raisonnement, mais le vrai raisonnement devra être fait par des méthodes et des techniques algorithmiques plus traditionnels. Ils pourront peut être se servir des LLM comme "oracle" pour savoir par ou commencer, heuristiques, quand il y a plusieurs possibilité.
Également, le texte est un pâle reflet du monde et leur corpus est à la ramasse, faut leur réinjecter des nouvelles données. Et sur les modèles d'images, la correspondance riche entre le texte et les images, le raisonnement spatial, est compliqué si leur profondeur de raisonnement propre est limitée (ils sont capables de choper des éléments, mais pour tout combiner correctement et faire des trucs complexe il me semble qu'il faut rajouter du raisonnement).
Bref … "intelligence" est un terme qui veut dire bien des choses, mais sans raisonnement il me semble qu'on manque d'un ingrédient essentiel. Et leur rajouter ne viendra pas forcément gratuitement et facilement.
(pour contexte, le twit que j'ai lié, je le tiens d'un repost de Yan Le Cun, le chef de l'IA de facebook et aussi un pionnier)
[^] # Re: Wow
Posté par thoasm . En réponse au lien Microsoft’s Copilot falsely accuses court reporter of crimes he covered - OSnews. Évalué à 3.
C'est un peu du "wishful thinking" dit comme ça. On espère un progrès, on sait pas trop comment, on sait pas trop l'évaluer et on a pas de plans mais c'est sur ça va marcher :p
[^] # Re: Wow
Posté par thoasm . En réponse au lien Microsoft’s Copilot falsely accuses court reporter of crimes he covered - OSnews. Évalué à 2.
On savait tout ça deux semaines après la sortie de chatGPT. Le truc c'est que malgré tout ça on a pas vraiment fait de progrès sur les questions parce que les vraies applications intéressantes étant donné ce qu'on sait des faiblesses des IAs en l'état actuel les applications réellement intéressantes sont encore plus ou moins faibles.
Faudra attendre d'autres progrès, soit des progrès techniques fondamentaux, soit du travail bien plus laborieux pour avoir des applications élaborées, du travail de corpus, des insertions dans des architectures logicielles plus élaborées avec des composants plus traditionnels, pour vraiment avancer. Ça contraste avec les promesses du truc ou tout d'un coup le grand public a eu l'impression d'avoir un machin un peu magique dans les pattes avec des tas d'applications gratuites, et pour les décideurs il suffisait de faire apprendre sur des tonnes de données et automagiquement d'avoir des résultats intéressants subséquemment gratuits. C'est pas le cas, il va falloir du travail humain (et pas forcément juste plein de sous, plus de matériel, un corpus plus gros, des plus gros modèles, et des centrales nucléaires)
[^] # Re: C'est quoi la proportion dans d'autres encyclopédies ?
Posté par thoasm . En réponse au journal Sur Wikipedia 1 homme sur 5 est une femme ! . Évalué à 0. Dernière modification le 26 août 2024 à 12:40.
Un article de 2017 sur la question : Heather Ford and Judy Wajcman
‘Anyone can edit’, not everyone does:
Wikipedia and the gender gap
Il y a des chances que la situation sur Wikipédia se soit améliorée depuis par le travail effectué sur la question depuis que ces questions se sont posées.
Sinon Wikipédia a aussi un certain nombre d'informations sur la question, et oui, ça a été étudié : section sur Biais de genre dans les article sur Wikipédia
[^] # Re: Par réseau
Posté par thoasm . En réponse au lien Les réseaux de FDN et Gitoyen sont bloqués par Amazon Web Services (AWS), YouTube et Engie. Évalué à 7.
Exemple, la croix et la bannière chez Wikimédia pour qu'un simple outil qui sert juste à insérer plus facilement des références dans les articles en allant chercher les métadonnées des articles genre du New York Times et compagnie … finisse par fonctionner correctement
Ticket chez Wikimedia : Several major news websites (NYT, NPR, Reuters…) block citoid
[^] # Re: Notable : notification de la perte d'un abonné si son serveur bloque un autre serveur [...]
Posté par thoasm . En réponse au lien Mastodon v4.3.0 beta 1. Évalué à 4.
Je sais pas si c'est volontaire ou pour une raison technique, ou un mélange des deux, mais une perte silencieuse de personnes que tu suis parce que t'as choisi la mauvaise instance avant d'oublier c'est pas idéal. Tout le monde n'est pas forcément hyper impliqué ou au courant des embrouilles entre instance, voire même n'a forcément conscience de tout ce qui se passe sur son instance ou des éventuels soucis de modération.
[^] # Re: Pourquoi la voiture propose une maj en roulant...
Posté par thoasm . En réponse au lien il paralyse Sète en lançant une mise à jour Tesla au feu rouge. Évalué à 2.
Trop gros, passera pas.
[^] # Re: Pourquoi la voiture propose une maj en roulant...
Posté par thoasm . En réponse au lien il paralyse Sète en lançant une mise à jour Tesla au feu rouge. Évalué à 3. Dernière modification le 24 août 2024 à 20:24.
C'est pas forcément un mauvais point pour moi :) Ils gagneraient ptete même à assumer complètement que c'est pas idéal pour le trafic et à réguler la circulation …
[^] # Re: Signal
Posté par thoasm . En réponse au lien Signal Wow ! : la piste de l'appel d'une civilisation extraterrestre semble écartée. Évalué à 2.
Ils fument des clopes et boivent des sodas aussi : https://xcancel.com/RetroReminiscer/status/1827325529722167804
[^] # Re: Signal
Posté par thoasm . En réponse au lien Signal Wow ! : la piste de l'appel d'une civilisation extraterrestre semble écartée. Évalué à 1.
Mais ils jouent à Wow, c'est des couch-potato !