J'ai rarement "demandé les sources", mais des échos que j'ai pu en avoir dans ce sens là c'est pas forcément la joie et les trucs donnaient des "sources" qui ne corroboraient pas forcément ou ne disaient pas la même chose que ce que synthétisait le réseau.
A l’instar de la prise de note au crayon versus la prise de note tapée, ou il semblerait que la prise de note écrite soit potentiellement meilleure pour l'apprentissage parce que comme on écris plus lentement on est obligé de tenter de synthétiser au lieux d'écrire bêtement ce qu'on entend, on peut se poser la question.
Ne lire que des synthèses pré-machées par des IAs et ne rien retenir c'est pas forcément se poser des question par l'appropriation des connaissances qu'on lit de manière plus détaillées. C'est intéressant si la synthèse est une porte d'entrée pour rentrer dans les détails, et c'est peut-être ce travail qui amène plus à se poser des questions intéressantes, il faut digérer le matériau plutôt que d'accepter la synthèse. Le risque avec les IAs c'est aussi que les synthèses sont produites en quantité industrielles et de passer d'un sujet à l'autre sans creuser. En ayant l'impression d'avoir appris un truc alors qu'on a pas compris en profondeur et qu'on en retiendra pas grand chose. C'est pas spécifique aux IAs, Wikipédia c'est déjà une ressource ou on peut se perdre en largeur …
Donc "Plus de données traitées, filtrées, synthétisées = plus de données sur lesquels réfléchir " n'est pas forcément une équation gagnante en pratique, parfois plus de données même synthétisées = stack overflow, et se questionner peut nécessiter une meilleure compréhension que de simplement lire une synthèse.
Je crois me souvenir qu'un des commentaires était "oui mais de toute façon personne ne prendra la peine de résumer". Si c'est automatique ça change des choses.
(pour être tout à fait clair, je suis pas en train de dire que les intellectuels devraient paniquer mais ça semble être tomber complètement dans l'excès inverse que de dire qu'il ne s'est pas passé grand chose depuis 20 ans. Wait and see donc, et pour partie on peut déjà voir, la traduction en pratique a fait des bonds fabuleux)
Il n'y a pas que la puissance de calcul, la quantité de données a explosé aussi (on pouvait pas mettre tout github, tout wikipedia ou tout flicker dans un algo d'apprentissage il y a 20 ans). Il y a quand même eu quelques innovations comme les transformers au niveau architecture des réseaux de neurones. Les techniques convolutionnelles existaient déjà mais pas à la même échelle. Après oui on a clairement changé d'échelle et ça a changé des choses, ça permet des transitions de phases dans la qualité des sorties qui étaient inaccessibles avant : https://arxiv.org/pdf/2402.16991.pdf par exemple, en tout cas à cette échelle et pour cette quantité de problèmes.
Dire que les choses n'ont pas tant changées que ça depuis 20 ans est rien que de ce point de vue très très exagéré pour le moins. On a pas fini d'explorer ce que ça permet et les diverses combinaisons que ça permet, genre la génération de vidéos de cette qualité à partir de prompt textuels c'était clairement de la SF à l'époque, et c'est tout nouveau. Ça ouvre des combinaisons qu'on a pas encore fini d'explorer, comment on va faire cohabiter / travailler ensemble les réseaux de neurones avec les systèmes à raisonnement symbolique par exemple ? On sait que les réseaux de neurones peuvent être assez bon pour jouer aux échecs ou à des jeux combinatoires, qu'est-ce que ce sera quand on va leur apprendre à démontrer des théorèmes en essayant des trucs avec un prouveur qui leur dira "ça passe" ou "ça passe pas" ? Comment ça va se passer quand on va leur permettre d'évoluer dans un monde, cf. le dossier de ce numéro de PLS : https://www.pourlascience.fr/sd/informatique/pour-la-science-n557-26128.php , avec les intuitions un peu hors sol qu'elles auront pu tirer de leur apprentissage pour leur donner des buts un peu plus haut niveau ? On sait pas encore forcément mais c'était pas envisageable comme travaux il y a 20 ans. Maintenant, on peux envisager sérieusement.
Avec un prompt formulé aussi succinctement il devient flagrant qu'il y a quelque chose qui ressemble fortement à du plagiat, donc non, et c'est trivial à reproduire. Le truc arrive à reconstituer le film à partir de son nom en gros. (Et oui la proportion de l'œuvre éventuellement identique ou proche compte pour déterminer si il y a plagiat ou non légalement.)
Si le prompt, hypothétiquement, décrit tout le film dans les détails et que ça reste chez l'utilisateur à usage perso il ne devrait pas spécialement avoir de pb. Si il ou elle redistribue le résultat après publiquement il se pourrait que ça pose soucis.
Dans tous les cas, ce serait cool que les gens et les boites soient sensibles directement à l'écologie, l'accessibilité, et le respect des gens et optimisent pour ces choses, plutôt que devoir passer par l'argument intermédiaire imparfait du profit.
C’est le seul moyen en fait, parce que si c'est faire du profit pour que le patron puisse acheter un jet privé, l'optimisation du site web … L'écologie c'est du bien commun, faut poser les problèmes sur la table, et bien souvent on se heurte en faisant ça aux logiques de profit immédiats.
Les violations de copyright c'est pas vraiment dépendant du moyen technique utilisé pour fabriquer l'œuvre je crois. Seul le résultat compte, et il est protégé, ou il n'est pas protégé. Je pense que si tu reproduit à l'identique une grande part d'un code il y a de toute façon question à se poser, ça n'a aucune chance de se produire au hasard hors de toutes petites portions. Après si tu donnes un prompt assez précis pour que ça se reproduise, on peut soupçonner que le prompt avait pour but de reproduire l’œuvre … Donc potentiellement ça dédouane l'éditeur du logiciel / modèle, pas tellement l'utilisateur.
Et puis pour démontrer que le modèle est bel et bien généré par le jeu d'apprentissage prétendu ça doit pas être si simple, faut un apprentissage qui soit reproductible, c'est un challenge https://neptune.ai/blog/how-to-solve-reproducibility-in-ml Pas dit que ce soit la priorité des industriels d'avoir une reproductibilité digne d'une science ouverte et reproductible, c'est pas leur objectif numéro 1.
C'est une archive qui sert notamment à Wikipédia quand un lien meurt, à priori heureusement les éditeurs n'ont pas le droit sur toutes les pages archivées. Les craintes de fermetures sont donc exagérées ?
La wikipédia francophone a également wikiwix, c'est peut-être bien d'avoir de la redondance. En même temps si Internet Archive doit tomber Wikiwix pourrait être inquiété aussi ?
J'ai l'impression qu'ici le lectorat n'est pas né de la dernière pluie et ne se renouvelle pas beaucoup. Tout le monde ici sait ce qu'est la décompilation, on peut parier, et sait que c'est loin d'être trivial.
Qu'on est dans l'ensemble pas (ou plus) spécialement naïfs sur la technologie, il y a pleins de technocritiques. Après plus d'un an maintenant ou tout le monde a pu avoir accès à ces technos on a plus forcément énormément d'illusions et on a pu en toucher les limites, il y a des articles dans la presse qui parlent de la "fin" de la hype autours de l'IA. Les articles les plus enthousiastes sont dans la presse financière étant donné que le secteur à faim … ça s'adresse à des financiers et pas à des informaticiens.
L'article de Korben est très superficiel et ne dit presque rien, je sais pas ce qu'attend le lectorat en terme de qualité du code mais je doute qu'on s'attend à retrouver un truc similaire au code original, dans l'ensemble. Mais je peux me tromper !
Il y a moyen qu'en plusieurs passes dans le code ça arrive à décompiler un programme complet de manière plus ou moins intéressantes. Genre la première passe décompiles les fonctions individuelles élémentaires, une deuxième passe les fonctions qui les utilisent, en faisant des "lucky guess" sur les structures de plus au niveau au fur et à mesure.
Mais il y a probablement une grosse limite au moins sur les domaines d'application au fur et à mesure que tu montes de niveau, les domaines d'applications sont en nombre très importants et les jeux d'apprentissages pour apprendre des trucs sur le domaine et plus sur le code en lui même deviennent de plus en plus rare au fur et à mesure, donc il y a vraiment peu de chance que le réseau de neurone arrive à deviner "à quoi sert" le programme dans le domaine pour décompiler à très haut niveau, choisir les bons noms de variables …
Tu prêches un convaincu sans doute, après quand un mot part d'un domaine technique dans le grand public il est forcément employé dans un sens différent.
Ça ne tue pas forcément les autres domaines de l'IA, il y a juste une hype autours de ça actuellement (c'est pas la terminologie qui file les financements et demande de construire des centrales nucléaires).
Et puis c'est une question qui a le mérite de pouvoir être répondue de manière assez précise /o\
Justement si, il varie, c'est peut être même la définition de modèle génératif . Le modèle te donne des réponses différentes dans des conditions identiques.
C’est la réponse qui varie, pas le problème. S’il est entraîné pour sortir un visage, il te sort un visage au hasard, point. C’est pas comme si il devait s’adapter à des demandes différentes qui poseraient des contraintes dans l'espace des visages possibles plus ou moins bien formulées.
Non là l'exemple porte explicitement sur de la traduction d'une langue naturelle vers une langue formelle.
Pour le coup tu es obligé d'utiliser un programme dédié à cette tâche. Pour chatGPT t'as juste à formuler un prompt et c'est bien ce que je voulais souligner à la base. Qu'il y ait d'autres techniques, oui, mais ça ne me répond pas trop et je crois pas avoir dit le contraire ?
Du point de vue d'"intelligence", si on part de la variété des problèmes solubles de manière "naturelle", c'est justement là ou les chatGPT like se distinguent, à mon avis. Tu formules des tas de question plus ou moins bien dont la traduction dans une langue formelle et tu obtiens souvent des réponses pas si mauvaises.
Tu sais prolog n’était pas en soi le propos de ma réponse mais bien faire réfléchir sur la notion d’IA.
Tu n'es pas devant un groupe d'étudiant ! On discute de manière plus ou moins légère ou informelle.
Il existe des IA génératives sans prompt de ce type (juste un GAN appris sur des visages sans étiquette par exemple)
Oui évidemment, mais y a-t-il de "l'intelligence" dans la génération ? Il s'agit juste de générer un visage aléatoire dans l'espace du plausible. Le problème résolu est fixé à l'avance, et ne varie jamais.
et des conditionnements avec prompt sans IA générative (traduction de langue naturelle vers SQL par exemple).
Je ne comprends pas vraiment le point, techniquement ça fonctionne exactement de la même manière avec les mêmes modèles et les mêmes techniques. C’est là qu'on peut voir de "l'intelligence" d'ailleurs. Enfin je dois dire que les traductions et les corpus d'apprentissage parallèle pour la traduction c'est la question que j'ai le moins creusé. Mais si j'ai bien compris c'est les même modèles qui font de la traduction et de la génération de texte, dans plusieurs langues. Tu utilises la même interface que pour demander à chatgpt un texte sur un sujet ou faire du SQL à partir de ta spec en langage naturelle.
Gardons le flou. Un programme d'intelligence artificielle est soit
* un programme capable de résoudre une vaste classe de problème formulé de manière relativement naturelle.
* un programme capable de s'adapter à plein de situations nouvelles
Une machine de Turing universelle est en principe capable de résoudre tous les problèmes solvables par une machine, mais formuler le problème et l'algorithme est bien pénible, c'est pas de l'IA. Prolog peut résoudre pleins de problèmes, avec une aisance plus ou moins variables mais il y en a pleins qui sont formulables relativement naturellement. SQL peut résoudre plein de problèmes, pas forcément de manière naturelle (quoi que) si on sort de son domaine de prédilection.
L'IA générative actuelle est imbattable en terme de facilité de formulation, elle peut répondre à des prompts formulés en langue naturelle, résoudre des problèmes pour de vrai, mais on perd l'exactitude de l'IA symbolique.
J’ai mis le deuxième point pour inclure les programmes qui jouent à des jeux, notamment. Les jeux ont possiblement un espace très vaste, une stratégie inattendue peut déstabiliser les joueurs les plus expérimentés. Et les jeux peuvent être assez profond pour que l'espace des possibles soit vraiment vaste et compliqué à explorer.
Ça inclue la possibilité "d’évoluer" dans un univers, comme le monde réel pour un android par exemple, avec tout plein d'informations nouvelles qui arrivent tout le temps. Savoir quoi faire dans un univers mouvant demande de grandes capacité d'adaptations et de planifications.
Pour prolog, oui tu peux être simple utilisateur si tu restes dans un domaine ou le problème est naturel à exprimer en Prolog. Mais si tu sors Prolog de son domaine d'utilisation naturel, sachant que Prolog est Turing complet, tu es programmeur comme un programmeur C++ qui doit se dépatouiller avec les spécificités du langage pour faire faire à la machine des choses compliquées (avec éventuellement de l'intelligence dans le compilateur). Tu peux utiliser Prolog comme un langage de programmation comme un autre.
Un algorithme au sens strict il résoud le problème à tous les coups, par définition. Mais les specs sont définissables de manière mathématiquement précises. "Trier une liste"
L'apprentissage auto avec réseaux de neurone c'est probabiliste au mieux, mais ça permet d'attaquer des problèmes comme "est ce qu'il y a une vache sur l'image" qui sont pas vraiment représentables dans un langage mathématique.
Reste le cas de faire des maths ou de l'info, avec des modèles appris, quand on veut résoudre un problème mathématiquement définissable. Et là bon, avec les réseaux de neurones on y est pas encore.
Ma "hot take" : les réseaux de neurones sont des ihms, capables de formaliser relativement bien des problèmes mathématiquement flous, en ce qui concerne l'informatique. Ce sont des ponts entre les mondes picturaux, linguistiques, physiques, mathématiques, formalistes … Qui marchent souvent. Pour ça elles doivent être capables de "conceptualiser" des correspondances entre ces mondes, de manière plus ou moins abstraite. Ça implique d'orthogonaliser les concepts indépendants qui peuvent se combiner plus ou moins librement, entre autre.
Le déclaratif c'est une spécification de problème, on laisse l'algorithme résoudre comme un grand. En principe l'algo résoud quasi tout, sauf si il part en boucle infinie, ce qui peut arriver si le langage est suffisamment riche et qu'il y a des problèmes indecidables dans le lot ! Genre Prolog.
Donc on peut d'écrire précisément des problèmes, on sait pas comment l'interprète va les résoudre exactement mais en principe l'interprète donnera toujours la bonne réponse si c'est possible d'en donner. Le peut être langage est suffisamment riche pour décrire bien des problèmes mathématiquement définissable. On peut pas borner le temps d'exécution en general.
Les techniques actuelles qu'on nomme Intelligence Artificielle en 2014 c’est des techniques qui fonctionnent avec une phase d'apprentissage générative, qui donne des "modèles" une fois l'apprentissage terminé, et qui ensuite sont "générative", c'est à dire qu'elles servent à générer du contenu, souvent à partir d'une commande en langue naturelle.
L'apprentissage est auto-supervisé, on part d'un corpus (généralement très conséquent) de données, dans lequel on fait des "trous", et on tord le modèle de manière à ce qu’il prédise de mieux en mieux ce qu'il y a dans les trous. Par exemple pour un corpus textuel on lui présente un début de phrase, dont on connait la suite (par les données d'apprentissage, on a fait exprès de faire un trou dedans) et on compare avec ce qui est prédit. Si le modèle a tort dans ce qu’il devine comme suite on le corrige un peu de manière à ce que la "vraie" suite ait plus de chance d'arriver. On fait ça avec des millions de mots/phrases, jusqu'à ce qu'il ne fasse plus trop d'erreurs.
Il se trouve que les modèles ces dernières années sont devenus suffisamment bons à ce petit jeu pour qu'on se demande si ils avaient pas acquis des capacités qu'on avait pas vraiment vu avant pour des programmes informatiques. On parle donc d'IA (bien que l'apprentissage automatique et les réseaux de neurones sont depuis longtemps considérés comme des sous-domaines de l'IA, c'est ce qui tient la tête d'affiche pour l'instant au détriment d'autres techniques qui ne sont pour autant pas mortes, l'IA générative n'est pas formidable pour faire des maths)
(je vous jure, c'est pas du chatGPT, trop de virgules)
[^] # Re: Validation des équipements médicaux
Posté par Thomas Douillard . En réponse au journal Le fabricant refuse de libérer l'appareil : bientôt un mort ?. Évalué à 10 (+11/-1).
Un implant neuralink buggé qui t'envoie le petit bohomme en mousse en boucle en hifi et panovision directement dans la conscience.
[^] # Re: C'est pas un peu paradoxal ?
Posté par Thomas Douillard . En réponse au lien IA : pourquoi les intellectuels paniquent-ils ?. Évalué à 2 (+0/-1).
J'ai rarement "demandé les sources", mais des échos que j'ai pu en avoir dans ce sens là c'est pas forcément la joie et les trucs donnaient des "sources" qui ne corroboraient pas forcément ou ne disaient pas la même chose que ce que synthétisait le réseau.
[^] # Re: C'est pas un peu paradoxal ?
Posté par Thomas Douillard . En réponse au lien IA : pourquoi les intellectuels paniquent-ils ?. Évalué à 4 (+2/-1).
A l’instar de la prise de note au crayon versus la prise de note tapée, ou il semblerait que la prise de note écrite soit potentiellement meilleure pour l'apprentissage parce que comme on écris plus lentement on est obligé de tenter de synthétiser au lieux d'écrire bêtement ce qu'on entend, on peut se poser la question.
Ne lire que des synthèses pré-machées par des IAs et ne rien retenir c'est pas forcément se poser des question par l'appropriation des connaissances qu'on lit de manière plus détaillées. C'est intéressant si la synthèse est une porte d'entrée pour rentrer dans les détails, et c'est peut-être ce travail qui amène plus à se poser des questions intéressantes, il faut digérer le matériau plutôt que d'accepter la synthèse. Le risque avec les IAs c'est aussi que les synthèses sont produites en quantité industrielles et de passer d'un sujet à l'autre sans creuser. En ayant l'impression d'avoir appris un truc alors qu'on a pas compris en profondeur et qu'on en retiendra pas grand chose. C'est pas spécifique aux IAs, Wikipédia c'est déjà une ressource ou on peut se perdre en largeur …
Donc "Plus de données traitées, filtrées, synthétisées = plus de données sur lesquels réfléchir " n'est pas forcément une équation gagnante en pratique, parfois plus de données même synthétisées = stack overflow, et se questionner peut nécessiter une meilleure compréhension que de simplement lire une synthèse.
# Wikum
Posté par Thomas Douillard . En réponse au lien Une IA pour résumer les commentaires. Évalué à 3 (+1/-1).
Ca pourrait être intéressant de coupler avec des systèmes comme Wikum, de "résumé hiérarchique" : https://www.csail.mit.edu/research/wikum-bridging-discussion-systems-and-wikis-collective-summarization que j'avais évoqué dans un journal : https://linuxfr.org/users/thoasm/journaux/wikum-resume-et-recursion
Je crois me souvenir qu'un des commentaires était "oui mais de toute façon personne ne prendra la peine de résumer". Si c'est automatique ça change des choses.
[^] # Re: tintamarre médiatique
Posté par Thomas Douillard . En réponse au lien IA : pourquoi les intellectuels paniquent-ils ?. Évalué à 5 (+3/-1).
(pour être tout à fait clair, je suis pas en train de dire que les intellectuels devraient paniquer mais ça semble être tomber complètement dans l'excès inverse que de dire qu'il ne s'est pas passé grand chose depuis 20 ans. Wait and see donc, et pour partie on peut déjà voir, la traduction en pratique a fait des bonds fabuleux)
[^] # Re: tintamarre médiatique
Posté par Thomas Douillard . En réponse au lien IA : pourquoi les intellectuels paniquent-ils ?. Évalué à 8 (+6/-1).
Il n'y a pas que la puissance de calcul, la quantité de données a explosé aussi (on pouvait pas mettre tout github, tout wikipedia ou tout flicker dans un algo d'apprentissage il y a 20 ans). Il y a quand même eu quelques innovations comme les transformers au niveau architecture des réseaux de neurones. Les techniques convolutionnelles existaient déjà mais pas à la même échelle. Après oui on a clairement changé d'échelle et ça a changé des choses, ça permet des transitions de phases dans la qualité des sorties qui étaient inaccessibles avant : https://arxiv.org/pdf/2402.16991.pdf par exemple, en tout cas à cette échelle et pour cette quantité de problèmes.
Dire que les choses n'ont pas tant changées que ça depuis 20 ans est rien que de ce point de vue très très exagéré pour le moins. On a pas fini d'explorer ce que ça permet et les diverses combinaisons que ça permet, genre la génération de vidéos de cette qualité à partir de prompt textuels c'était clairement de la SF à l'époque, et c'est tout nouveau. Ça ouvre des combinaisons qu'on a pas encore fini d'explorer, comment on va faire cohabiter / travailler ensemble les réseaux de neurones avec les systèmes à raisonnement symbolique par exemple ? On sait que les réseaux de neurones peuvent être assez bon pour jouer aux échecs ou à des jeux combinatoires, qu'est-ce que ce sera quand on va leur apprendre à démontrer des théorèmes en essayant des trucs avec un prouveur qui leur dira "ça passe" ou "ça passe pas" ? Comment ça va se passer quand on va leur permettre d'évoluer dans un monde, cf. le dossier de ce numéro de PLS : https://www.pourlascience.fr/sd/informatique/pour-la-science-n557-26128.php , avec les intuitions un peu hors sol qu'elles auront pu tirer de leur apprentissage pour leur donner des buts un peu plus haut niveau ? On sait pas encore forcément mais c'était pas envisageable comme travaux il y a 20 ans. Maintenant, on peux envisager sérieusement.
[^] # Re: Bof
Posté par Thomas Douillard . En réponse au lien Le 31 mars, c'est la journée mondiale de la sauvegarde. Évalué à 4 (+2/-1).
On a oublié de la fêter
[^] # Re: superbe initiative de huggingface
Posté par Thomas Douillard . En réponse au journal Votre code dans un modèle d'IA. Évalué à 2 (+0/-1).
Tu supposes que le LLM a été fabriqué à partir du DVD que t'as dans ton salon et que Sam Altman a signé cette licence !
[^] # Re: superbe initiative de huggingface
Posté par Thomas Douillard . En réponse au journal Votre code dans un modèle d'IA. Évalué à 2 (+0/-1).
Avec un prompt formulé aussi succinctement il devient flagrant qu'il y a quelque chose qui ressemble fortement à du plagiat, donc non, et c'est trivial à reproduire. Le truc arrive à reconstituer le film à partir de son nom en gros. (Et oui la proportion de l'œuvre éventuellement identique ou proche compte pour déterminer si il y a plagiat ou non légalement.)
Si le prompt, hypothétiquement, décrit tout le film dans les détails et que ça reste chez l'utilisateur à usage perso il ne devrait pas spécialement avoir de pb. Si il ou elle redistribue le résultat après publiquement il se pourrait que ça pose soucis.
[^] # Re: Dans le même esprit
Posté par Thomas Douillard . En réponse au lien How web bloat impacts users with slow devices. Évalué à 3 (+1/-1). Dernière modification le 22 mars 2024 à 12:29.
C’est le seul moyen en fait, parce que si c'est faire du profit pour que le patron puisse acheter un jet privé, l'optimisation du site web … L'écologie c'est du bien commun, faut poser les problèmes sur la table, et bien souvent on se heurte en faisant ça aux logiques de profit immédiats.
Ça résonne avec ce post : https://piaille.fr/@jimray@mastodon.social/112133920905682681
[^] # Re: superbe initiative de huggingface
Posté par Thomas Douillard . En réponse au journal Votre code dans un modèle d'IA. Évalué à 2 (+0/-1).
Les violations de copyright c'est pas vraiment dépendant du moyen technique utilisé pour fabriquer l'œuvre je crois. Seul le résultat compte, et il est protégé, ou il n'est pas protégé. Je pense que si tu reproduit à l'identique une grande part d'un code il y a de toute façon question à se poser, ça n'a aucune chance de se produire au hasard hors de toutes petites portions. Après si tu donnes un prompt assez précis pour que ça se reproduise, on peut soupçonner que le prompt avait pour but de reproduire l’œuvre … Donc potentiellement ça dédouane l'éditeur du logiciel / modèle, pas tellement l'utilisateur.
Et puis pour démontrer que le modèle est bel et bien généré par le jeu d'apprentissage prétendu ça doit pas être si simple, faut un apprentissage qui soit reproductible, c'est un challenge https://neptune.ai/blog/how-to-solve-reproducibility-in-ml Pas dit que ce soit la priorité des industriels d'avoir une reproductibilité digne d'une science ouverte et reproductible, c'est pas leur objectif numéro 1.
[^] # Re: Liens morts wikipédia
Posté par Thomas Douillard . En réponse au lien La plus grande archive d’internet pourrait fermer à cause d’une plainte de ces éditeurs. Évalué à 2 (+0/-1).
Il semble par cet autre lien que seul le prêt de livre soit concerné, effectivement : https://torrentfreak.com/publishers-cite-napster-and-ai-training-threats-in-legal-battle-with-the-internet-archive-240318/
# Liens morts wikipédia
Posté par Thomas Douillard . En réponse au lien La plus grande archive d’internet pourrait fermer à cause d’une plainte de ces éditeurs. Évalué à 2 (+0/-1).
C'est une archive qui sert notamment à Wikipédia quand un lien meurt, à priori heureusement les éditeurs n'ont pas le droit sur toutes les pages archivées. Les craintes de fermetures sont donc exagérées ?
La wikipédia francophone a également wikiwix, c'est peut-être bien d'avoir de la redondance. En même temps si Internet Archive doit tomber Wikiwix pourrait être inquiété aussi ?
[^] # Re: Très cool
Posté par Thomas Douillard . En réponse au lien Quand l’IA se met à décompiler du binaire. Évalué à 3 (+2/-2).
J'ai l'impression qu'ici le lectorat n'est pas né de la dernière pluie et ne se renouvelle pas beaucoup. Tout le monde ici sait ce qu'est la décompilation, on peut parier, et sait que c'est loin d'être trivial.
Qu'on est dans l'ensemble pas (ou plus) spécialement naïfs sur la technologie, il y a pleins de technocritiques. Après plus d'un an maintenant ou tout le monde a pu avoir accès à ces technos on a plus forcément énormément d'illusions et on a pu en toucher les limites, il y a des articles dans la presse qui parlent de la "fin" de la hype autours de l'IA. Les articles les plus enthousiastes sont dans la presse financière étant donné que le secteur à faim … ça s'adresse à des financiers et pas à des informaticiens.
L'article de Korben est très superficiel et ne dit presque rien, je sais pas ce qu'attend le lectorat en terme de qualité du code mais je doute qu'on s'attend à retrouver un truc similaire au code original, dans l'ensemble. Mais je peux me tromper !
[^] # Re: Très cool
Posté par Thomas Douillard . En réponse au lien Quand l’IA se met à décompiler du binaire. Évalué à 2 (+1/-2). Dernière modification le 19 mars 2024 à 10:38.
Il y a encore besoin de préciser ce genre de choses ici ?
[^] # Re: Très cool
Posté par Thomas Douillard . En réponse au lien Quand l’IA se met à décompiler du binaire. Évalué à 2 (+0/-1).
Il y a moyen qu'en plusieurs passes dans le code ça arrive à décompiler un programme complet de manière plus ou moins intéressantes. Genre la première passe décompiles les fonctions individuelles élémentaires, une deuxième passe les fonctions qui les utilisent, en faisant des "lucky guess" sur les structures de plus au niveau au fur et à mesure.
Mais il y a probablement une grosse limite au moins sur les domaines d'application au fur et à mesure que tu montes de niveau, les domaines d'applications sont en nombre très importants et les jeux d'apprentissages pour apprendre des trucs sur le domaine et plus sur le code en lui même deviennent de plus en plus rare au fur et à mesure, donc il y a vraiment peu de chance que le réseau de neurone arrive à deviner "à quoi sert" le programme dans le domaine pour décompiler à très haut niveau, choisir les bons noms de variables …
Enfin c'est mon intuition.
[^] # Re: Gestion mémoire etc.
Posté par Thomas Douillard . En réponse au journal PullRequest d'une application en Rust. Évalué à 4 (+2/-1).
C’est expliqué là dans le "Nomicon" de rust : https://doc.rust-lang.org/nomicon/subtyping.html
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Thomas Douillard . En réponse au journal Cybersécurité: des chercheurs ont créé un ver qui attaque l’IA. Évalué à 3.
Tu prêches un convaincu sans doute, après quand un mot part d'un domaine technique dans le grand public il est forcément employé dans un sens différent.
Ça ne tue pas forcément les autres domaines de l'IA, il y a juste une hype autours de ça actuellement (c'est pas la terminologie qui file les financements et demande de construire des centrales nucléaires).
Et puis c'est une question qui a le mérite de pouvoir être répondue de manière assez précise /o\
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Thomas Douillard . En réponse au journal Cybersécurité: des chercheurs ont créé un ver qui attaque l’IA. Évalué à 2.
C’est la réponse qui varie, pas le problème. S’il est entraîné pour sortir un visage, il te sort un visage au hasard, point. C’est pas comme si il devait s’adapter à des demandes différentes qui poseraient des contraintes dans l'espace des visages possibles plus ou moins bien formulées.
Pour le coup tu es obligé d'utiliser un programme dédié à cette tâche. Pour chatGPT t'as juste à formuler un prompt et c'est bien ce que je voulais souligner à la base. Qu'il y ait d'autres techniques, oui, mais ça ne me répond pas trop et je crois pas avoir dit le contraire ?
Du point de vue d'"intelligence", si on part de la variété des problèmes solubles de manière "naturelle", c'est justement là ou les chatGPT like se distinguent, à mon avis. Tu formules des tas de question plus ou moins bien dont la traduction dans une langue formelle et tu obtiens souvent des réponses pas si mauvaises.
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Thomas Douillard . En réponse au journal Cybersécurité: des chercheurs ont créé un ver qui attaque l’IA. Évalué à 2.
Tu n'es pas devant un groupe d'étudiant ! On discute de manière plus ou moins légère ou informelle.
Oui évidemment, mais y a-t-il de "l'intelligence" dans la génération ? Il s'agit juste de générer un visage aléatoire dans l'espace du plausible. Le problème résolu est fixé à l'avance, et ne varie jamais.
Je ne comprends pas vraiment le point, techniquement ça fonctionne exactement de la même manière avec les mêmes modèles et les mêmes techniques. C’est là qu'on peut voir de "l'intelligence" d'ailleurs. Enfin je dois dire que les traductions et les corpus d'apprentissage parallèle pour la traduction c'est la question que j'ai le moins creusé. Mais si j'ai bien compris c'est les même modèles qui font de la traduction et de la génération de texte, dans plusieurs langues. Tu utilises la même interface que pour demander à chatgpt un texte sur un sujet ou faire du SQL à partir de ta spec en langage naturelle.
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Thomas Douillard . En réponse au journal Cybersécurité: des chercheurs ont créé un ver qui attaque l’IA. Évalué à 2.
Gardons le flou. Un programme d'intelligence artificielle est soit
* un programme capable de résoudre une vaste classe de problème formulé de manière relativement naturelle.
* un programme capable de s'adapter à plein de situations nouvelles
Une machine de Turing universelle est en principe capable de résoudre tous les problèmes solvables par une machine, mais formuler le problème et l'algorithme est bien pénible, c'est pas de l'IA. Prolog peut résoudre pleins de problèmes, avec une aisance plus ou moins variables mais il y en a pleins qui sont formulables relativement naturellement. SQL peut résoudre plein de problèmes, pas forcément de manière naturelle (quoi que) si on sort de son domaine de prédilection.
L'IA générative actuelle est imbattable en terme de facilité de formulation, elle peut répondre à des prompts formulés en langue naturelle, résoudre des problèmes pour de vrai, mais on perd l'exactitude de l'IA symbolique.
J’ai mis le deuxième point pour inclure les programmes qui jouent à des jeux, notamment. Les jeux ont possiblement un espace très vaste, une stratégie inattendue peut déstabiliser les joueurs les plus expérimentés. Et les jeux peuvent être assez profond pour que l'espace des possibles soit vraiment vaste et compliqué à explorer.
Ça inclue la possibilité "d’évoluer" dans un univers, comme le monde réel pour un android par exemple, avec tout plein d'informations nouvelles qui arrivent tout le temps. Savoir quoi faire dans un univers mouvant demande de grandes capacité d'adaptations et de planifications.
Pour prolog, oui tu peux être simple utilisateur si tu restes dans un domaine ou le problème est naturel à exprimer en Prolog. Mais si tu sors Prolog de son domaine d'utilisation naturel, sachant que Prolog est Turing complet, tu es programmeur comme un programmeur C++ qui doit se dépatouiller avec les spécificités du langage pour faire faire à la machine des choses compliquées (avec éventuellement de l'intelligence dans le compilateur). Tu peux utiliser Prolog comme un langage de programmation comme un autre.
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Thomas Douillard . En réponse au journal Cybersécurité: des chercheurs ont créé un ver qui attaque l’IA. Évalué à 2.
Autant que parler à chatGPT c'est faire du machine learning ?
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Thomas Douillard . En réponse au journal Cybersécurité: des chercheurs ont créé un ver qui attaque l’IA. Évalué à 3. Dernière modification le 15 mars 2024 à 09:06.
Un algorithme au sens strict il résoud le problème à tous les coups, par définition. Mais les specs sont définissables de manière mathématiquement précises. "Trier une liste"
L'apprentissage auto avec réseaux de neurone c'est probabiliste au mieux, mais ça permet d'attaquer des problèmes comme "est ce qu'il y a une vache sur l'image" qui sont pas vraiment représentables dans un langage mathématique.
Reste le cas de faire des maths ou de l'info, avec des modèles appris, quand on veut résoudre un problème mathématiquement définissable. Et là bon, avec les réseaux de neurones on y est pas encore.
Ma "hot take" : les réseaux de neurones sont des ihms, capables de formaliser relativement bien des problèmes mathématiquement flous, en ce qui concerne l'informatique. Ce sont des ponts entre les mondes picturaux, linguistiques, physiques, mathématiques, formalistes … Qui marchent souvent. Pour ça elles doivent être capables de "conceptualiser" des correspondances entre ces mondes, de manière plus ou moins abstraite. Ça implique d'orthogonaliser les concepts indépendants qui peuvent se combiner plus ou moins librement, entre autre.
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Thomas Douillard . En réponse au journal Cybersécurité: des chercheurs ont créé un ver qui attaque l’IA. Évalué à 2.
Le déclaratif c'est une spécification de problème, on laisse l'algorithme résoudre comme un grand. En principe l'algo résoud quasi tout, sauf si il part en boucle infinie, ce qui peut arriver si le langage est suffisamment riche et qu'il y a des problèmes indecidables dans le lot ! Genre Prolog.
Donc on peut d'écrire précisément des problèmes, on sait pas comment l'interprète va les résoudre exactement mais en principe l'interprète donnera toujours la bonne réponse si c'est possible d'en donner. Le peut être langage est suffisamment riche pour décrire bien des problèmes mathématiquement définissable. On peut pas borner le temps d'exécution en general.
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Thomas Douillard . En réponse au journal Cybersécurité: des chercheurs ont créé un ver qui attaque l’IA. Évalué à 9.
Les techniques actuelles qu'on nomme Intelligence Artificielle en 2014 c’est des techniques qui fonctionnent avec une phase d'apprentissage générative, qui donne des "modèles" une fois l'apprentissage terminé, et qui ensuite sont "générative", c'est à dire qu'elles servent à générer du contenu, souvent à partir d'une commande en langue naturelle.
L'apprentissage est auto-supervisé, on part d'un corpus (généralement très conséquent) de données, dans lequel on fait des "trous", et on tord le modèle de manière à ce qu’il prédise de mieux en mieux ce qu'il y a dans les trous. Par exemple pour un corpus textuel on lui présente un début de phrase, dont on connait la suite (par les données d'apprentissage, on a fait exprès de faire un trou dedans) et on compare avec ce qui est prédit. Si le modèle a tort dans ce qu’il devine comme suite on le corrige un peu de manière à ce que la "vraie" suite ait plus de chance d'arriver. On fait ça avec des millions de mots/phrases, jusqu'à ce qu'il ne fasse plus trop d'erreurs.
Il se trouve que les modèles ces dernières années sont devenus suffisamment bons à ce petit jeu pour qu'on se demande si ils avaient pas acquis des capacités qu'on avait pas vraiment vu avant pour des programmes informatiques. On parle donc d'IA (bien que l'apprentissage automatique et les réseaux de neurones sont depuis longtemps considérés comme des sous-domaines de l'IA, c'est ce qui tient la tête d'affiche pour l'instant au détriment d'autres techniques qui ne sont pour autant pas mortes, l'IA générative n'est pas formidable pour faire des maths)
(je vous jure, c'est pas du chatGPT, trop de virgules)