Bonjour
L'IA ayant investi pratiquement tous les secteurs, cette faille de sécurité change complètement la donne.
Site des chercheurs https://sites.google.com/view/compromptmized
Résumé extrait de https://www.netcost-security.fr/actualites/208821/creation-dun-virus-informatique-contre-lia-son-objectif-est-davertir-dun-grand-danger/
"Une équipe de chercheurs, Ben Nassi, Stav Cohen et Ron Bitton, a créé un ver pour l’IA générative. Il est capable de se propager d’un système à un autre et a été baptisé Morris II en hommage au premier ver de l’histoire du piratage.
Il attaque les assistants de messagerie générés par l’IA pour voler des données d’e-mails et envoyer du spam.
Le fonctionnement se fait via une invite autoréplicative qui oblige l’IA à générer une autre invite en réponse, amenant ainsi l’IA à générer des instructions supplémentaires dans ses propres réponses.
Ils ont créé un système de messagerie électronique connecté à ChatGPT, Gemini et LLaVa.
Les chercheurs ont rédigé un e-mail avec une invite visant à corrompre la base de données d’un assistant de messagerie, lorsque le message est récupéré et envoyé à GPT-4 ou à Gemini, il vole les données des e-mails.
L’objectif de la recherche n’est pas seulement de montrer les failles de sécurité, mais aussi de mettre en garde contre une mauvaise conception de l’architecture de tout l’écosystème de l’IA."
Autre lien
“Si ce genre d’attaque se limite pour l’instant à des environnements simulés, il est probable que le pas de la théorie à la pratique ne tardera pas à être franchi”, insiste, dans Wired, Sahar Abdelnabi, qui a travaillé sur des attaques dirigées contre les grands modèles de langage et alerté, dès l’année dernière, sur la création possible de vers. Et dans leur article décrivant Moris II, les auteurs imaginent que ce genre de cyberattaque pourrait faire son apparition en conditions réelles d’ici deux ou trois ans." source: https://www.courrierinternational.com/article/cybersecurite-des-chercheurs-ont-cree-un-ver-informatique-destine-aux-ia
# Vrai question C'est quoi l'IA ?
Posté par pepie34 . Évalué à 3.
je sais pas
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Thomas Douillard . Évalué à 9.
Les techniques actuelles qu'on nomme Intelligence Artificielle en 2014 c’est des techniques qui fonctionnent avec une phase d'apprentissage générative, qui donne des "modèles" une fois l'apprentissage terminé, et qui ensuite sont "générative", c'est à dire qu'elles servent à générer du contenu, souvent à partir d'une commande en langue naturelle.
L'apprentissage est auto-supervisé, on part d'un corpus (généralement très conséquent) de données, dans lequel on fait des "trous", et on tord le modèle de manière à ce qu’il prédise de mieux en mieux ce qu'il y a dans les trous. Par exemple pour un corpus textuel on lui présente un début de phrase, dont on connait la suite (par les données d'apprentissage, on a fait exprès de faire un trou dedans) et on compare avec ce qui est prédit. Si le modèle a tort dans ce qu’il devine comme suite on le corrige un peu de manière à ce que la "vraie" suite ait plus de chance d'arriver. On fait ça avec des millions de mots/phrases, jusqu'à ce qu'il ne fasse plus trop d'erreurs.
Il se trouve que les modèles ces dernières années sont devenus suffisamment bons à ce petit jeu pour qu'on se demande si ils avaient pas acquis des capacités qu'on avait pas vraiment vu avant pour des programmes informatiques. On parle donc d'IA (bien que l'apprentissage automatique et les réseaux de neurones sont depuis longtemps considérés comme des sous-domaines de l'IA, c'est ce qui tient la tête d'affiche pour l'instant au détriment d'autres techniques qui ne sont pour autant pas mortes, l'IA générative n'est pas formidable pour faire des maths)
(je vous jure, c'est pas du chatGPT, trop de virgules)
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par pepie34 . Évalué à 0.
Troll on :
mais alors si ce sont des modèles c’est pas des algorhimtes ?
Troll off:
pas si mal ta réponse, même si au fond de moi pas de différence entre informatique et IA. L’informatique d’aujourd’hui est l’IA d’hier.
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par gUI (Mastodon) . Évalué à 10.
tu fais du cyclimse ?
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par pepie34 . Évalué à 2.
Non du journalimse
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par BAud (site web personnel) . Évalué à 5.
faudrait en faire un flim !
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par devnewton 🍺 (site web personnel) . Évalué à 10. Dernière modification le 15 mars 2024 à 14:31.
Oui mais "on" est un con :-)
L'IA c'est bien plus large que ça et il ne faut pas laisser voler ce mot par une seule technique.
Pour voir pourquoi c'est un problème, transposons à d'autres domaines:
Le post ci-dessus est une grosse connerie, ne le lisez pas sérieusement.
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Lutin . Évalué à 7.
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Thomas Douillard . Évalué à 3.
Tu prêches un convaincu sans doute, après quand un mot part d'un domaine technique dans le grand public il est forcément employé dans un sens différent.
Ça ne tue pas forcément les autres domaines de l'IA, il y a juste une hype autours de ça actuellement (c'est pas la terminologie qui file les financements et demande de construire des centrales nucléaires).
Et puis c'est une question qui a le mérite de pouvoir être répondue de manière assez précise /o\
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par gUI (Mastodon) . Évalué à 3.
Moi je dis que c'est un algorithme capable de résoudre un problème dont on ne connaît pas la recette exacte.
Exemple sur une recette de cuisine :
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par pepie34 . Évalué à 3.
Du coup la programmation déclarative c’est de l’IA ? Par exemple le HTML (sans js j’entends).
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Yth (Mastodon) . Évalué à 6.
Et oui, IE 5 c'était de l'IA générative.
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par pepie34 . Évalué à 1.
Le programmeur n’écrit pas une procédure qui résout de manière explicite le problème, notamment grâce à :
- programmation déclarative (oui comme prolog)
- problème du bin packing pour rendre des éléments 2D dans une fenêtre
Vraiment sans humour faire de l’HTML c’est faire de l’IA.
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Thomas Douillard . Évalué à 2.
Autant que parler à chatGPT c'est faire du machine learning ?
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par pepie34 . Évalué à 4. Dernière modification le 15 mars 2024 à 10:09.
J’ai jamais écrit de moteur d’inférence prolog. Du coup quand je fais un programme en prolog je suis juste utilisateur ?
Le problème est que la définition de l’IA est très floue.
De premier abord, on pourrait considérer que l’IA c’est un dispositif qui montre un comportement attribué habituellement à être intelligent ou avec capacité cognitive élevé. Cependant, cette définition est super dépendante du contexte culturel et technique. Relativement à l’état du savoir de l’époque, la Pascaline c’est de l’IA.
Dans un second temps, on pourrait dire qu’une IA, c’est un dispositif qui résout un problème pour lequel le concepteur n’a pas explicitement programmé la solution. Çà prend à la fois en compte les IA dîtes symboliques et l’apprentissage automatique.
Mais là aussi çà dépend du contexte technique et culturel cf notre discussion sur le HTML. Si tu présentais le HTML et le moteur de rendu des navigateurs dans les années 80, ca aurait clairement été pris pour de l’IA. Aussi bien sur les aspects description du problème par un langage déclaratif et sur la résolution, le rendu de la page, par des techniques de recherche opérationnelle.
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Thomas Douillard . Évalué à 2.
Gardons le flou. Un programme d'intelligence artificielle est soit
* un programme capable de résoudre une vaste classe de problème formulé de manière relativement naturelle.
* un programme capable de s'adapter à plein de situations nouvelles
Une machine de Turing universelle est en principe capable de résoudre tous les problèmes solvables par une machine, mais formuler le problème et l'algorithme est bien pénible, c'est pas de l'IA. Prolog peut résoudre pleins de problèmes, avec une aisance plus ou moins variables mais il y en a pleins qui sont formulables relativement naturellement. SQL peut résoudre plein de problèmes, pas forcément de manière naturelle (quoi que) si on sort de son domaine de prédilection.
L'IA générative actuelle est imbattable en terme de facilité de formulation, elle peut répondre à des prompts formulés en langue naturelle, résoudre des problèmes pour de vrai, mais on perd l'exactitude de l'IA symbolique.
J’ai mis le deuxième point pour inclure les programmes qui jouent à des jeux, notamment. Les jeux ont possiblement un espace très vaste, une stratégie inattendue peut déstabiliser les joueurs les plus expérimentés. Et les jeux peuvent être assez profond pour que l'espace des possibles soit vraiment vaste et compliqué à explorer.
Ça inclue la possibilité "d’évoluer" dans un univers, comme le monde réel pour un android par exemple, avec tout plein d'informations nouvelles qui arrivent tout le temps. Savoir quoi faire dans un univers mouvant demande de grandes capacité d'adaptations et de planifications.
Pour prolog, oui tu peux être simple utilisateur si tu restes dans un domaine ou le problème est naturel à exprimer en Prolog. Mais si tu sors Prolog de son domaine d'utilisation naturel, sachant que Prolog est Turing complet, tu es programmeur comme un programmeur C++ qui doit se dépatouiller avec les spécificités du langage pour faire faire à la machine des choses compliquées (avec éventuellement de l'intelligence dans le compilateur). Tu peux utiliser Prolog comme un langage de programmation comme un autre.
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par pepie34 . Évalué à 3.
Tu sais prolog n’était pas en soi le propos de ma réponse mais bien faire réfléchir sur la notion d’IA.
Tu dis:
L'IA générative actuelle est imbattable en terme de facilité de formulation, elle peut répondre à des prompts formulés en langue naturelle, résoudre des problèmes pour de vrai, mais on perd l'exactitude de l'IA symbolique.
Attention, le fait que le conditionnement soit un prompt formulé en langue naturelle ce n’est pas çà qui fait que l’IA est générative. Il existe des IA génératives sans prompt de ce type (juste un GAN appris sur des visages sans étiquette par exemple), et des conditionnements avec prompt sans IA générative (traduction de langue naturelle vers SQL par exemple).
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Thomas Douillard . Évalué à 2.
Tu n'es pas devant un groupe d'étudiant ! On discute de manière plus ou moins légère ou informelle.
Oui évidemment, mais y a-t-il de "l'intelligence" dans la génération ? Il s'agit juste de générer un visage aléatoire dans l'espace du plausible. Le problème résolu est fixé à l'avance, et ne varie jamais.
Je ne comprends pas vraiment le point, techniquement ça fonctionne exactement de la même manière avec les mêmes modèles et les mêmes techniques. C’est là qu'on peut voir de "l'intelligence" d'ailleurs. Enfin je dois dire que les traductions et les corpus d'apprentissage parallèle pour la traduction c'est la question que j'ai le moins creusé. Mais si j'ai bien compris c'est les même modèles qui font de la traduction et de la génération de texte, dans plusieurs langues. Tu utilises la même interface que pour demander à chatgpt un texte sur un sujet ou faire du SQL à partir de ta spec en langage naturelle.
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par pepie34 . Évalué à 2. Dernière modification le 15 mars 2024 à 11:11.
Me suis fait grillé, oui je suis prof d'IA…
J'espère avoir été courtois en tout cas c'était mon intention
Je sais pas définir Intelligence
Justement si, il varie, c'est peut être même la définition de modèle génératif . Le modèle te donne des réponses différentes dans des conditions identiques.
Là dans l'exemple, à chaque fois que tu relances, çà te sort un visage différent.
C'est plus ou moins le même objectif qu'un moteur d'aléa mais au lieu de te sortir un nombre entre 2 bornes ou suivant une loi normale çà te sort un visage selon la loi des visages (qu'il a appris).
Non là l'exemple porte explicitement sur de la traduction d'une langue naturelle vers une langue formelle. Le fait d'utiliser un modèle génératif pour aller vers une langue formelle est même assez contre-productif de premier abord. Dans un second abord, on suppose que çà marche très bien parce que ChatGPT est capable de construire une très bonne représentation du prompt et du coup çà facilite la production du SQL.
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Thomas Douillard . Évalué à 2.
C’est la réponse qui varie, pas le problème. S’il est entraîné pour sortir un visage, il te sort un visage au hasard, point. C’est pas comme si il devait s’adapter à des demandes différentes qui poseraient des contraintes dans l'espace des visages possibles plus ou moins bien formulées.
Pour le coup tu es obligé d'utiliser un programme dédié à cette tâche. Pour chatGPT t'as juste à formuler un prompt et c'est bien ce que je voulais souligner à la base. Qu'il y ait d'autres techniques, oui, mais ça ne me répond pas trop et je crois pas avoir dit le contraire ?
Du point de vue d'"intelligence", si on part de la variété des problèmes solubles de manière "naturelle", c'est justement là ou les chatGPT like se distinguent, à mon avis. Tu formules des tas de question plus ou moins bien dont la traduction dans une langue formelle et tu obtiens souvent des réponses pas si mauvaises.
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Thomas Douillard . Évalué à 2.
Le déclaratif c'est une spécification de problème, on laisse l'algorithme résoudre comme un grand. En principe l'algo résoud quasi tout, sauf si il part en boucle infinie, ce qui peut arriver si le langage est suffisamment riche et qu'il y a des problèmes indecidables dans le lot ! Genre Prolog.
Donc on peut d'écrire précisément des problèmes, on sait pas comment l'interprète va les résoudre exactement mais en principe l'interprète donnera toujours la bonne réponse si c'est possible d'en donner. Le peut être langage est suffisamment riche pour décrire bien des problèmes mathématiquement définissable. On peut pas borner le temps d'exécution en general.
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par gUI (Mastodon) . Évalué à 3.
Ça peut, poruquoi pas.
Non (mais là c'était facile).
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Renault (site web personnel) . Évalué à 4.
Bah non, si du moins l'outil qui parse ces déclarations n'en est pas une.
Ce qui est pertinent c'est de considérer la conception et maintenance plus que l'exécution, une IA reste un programme comme un autre à la fin, la différence se situe en amont lors de son élaboration.
La conception fait que l'algo exécutée par l'IA n'est à priori pas connu dans le détail par ses concepteurs et utilisateurs (sinon autant écrire l'algo directement à la main, c'est plus fiable et efficace). L'algo est élaborée de manière dynamique en fonction de comment il a été entrainé et des tâches qu'il doit mener.
Cela rend aussi la maintenance délicate, difficile d'apporter des garanties fortes de fonctionnement car le détail de l'algo n'est pas connu, et corriger des défauts à la main est difficile (un peu comme altérer un binaire sans le code source, c'est faisable mais délicat). Il faut probablement ajouter des éléments lors de la conception et entrainement en croisant les doigts que cela règle le problème sans en introduire d'autres.
Le HTML ou autres type de documents déclaratifs ne sont pas forcément de la programmation d'une part, et d'autres part le moteur de rendu est un algo conçu et éditable à la main.
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par pepie34 . Évalué à 1. Dernière modification le 16 mars 2024 à 02:03.
minimax c’est un algo conçu et éditable à la main. J’en conclu que minimax n’est pas un algo d’IA ? Ben si …
Il y a beaucoup de recherche opérationnelle dans un moteur de rendu donc beaucoup d’IA
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Thomas Douillard . Évalué à 3. Dernière modification le 15 mars 2024 à 09:06.
Un algorithme au sens strict il résoud le problème à tous les coups, par définition. Mais les specs sont définissables de manière mathématiquement précises. "Trier une liste"
L'apprentissage auto avec réseaux de neurone c'est probabiliste au mieux, mais ça permet d'attaquer des problèmes comme "est ce qu'il y a une vache sur l'image" qui sont pas vraiment représentables dans un langage mathématique.
Reste le cas de faire des maths ou de l'info, avec des modèles appris, quand on veut résoudre un problème mathématiquement définissable. Et là bon, avec les réseaux de neurones on y est pas encore.
Ma "hot take" : les réseaux de neurones sont des ihms, capables de formaliser relativement bien des problèmes mathématiquement flous, en ce qui concerne l'informatique. Ce sont des ponts entre les mondes picturaux, linguistiques, physiques, mathématiques, formalistes … Qui marchent souvent. Pour ça elles doivent être capables de "conceptualiser" des correspondances entre ces mondes, de manière plus ou moins abstraite. Ça implique d'orthogonaliser les concepts indépendants qui peuvent se combiner plus ou moins librement, entre autre.
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Tit . Évalué à 6. Dernière modification le 15 mars 2024 à 14:10.
ça veut dire quoi ?
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par cg . Évalué à 4.
L'IA c'est des robots du futur qui tuent tout le monde, chacun sait ça, et c'est très bien documenté par le sociologue Karel Čapek dans son étude Rossum's Universal Robots (1920).
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Gil Cot ✔ (site web personnel, Mastodon) . Évalué à 5.
Les plus badasses font du ciblage et savent conclure par « hasta la vista baby »
“It is seldom that liberty of any kind is lost all at once.” ― David Hume
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par cg . Évalué à 6.
Il a bon dos, le ciblage. Si Sarah Connor avait activé Do Not Track et refusé les cookies, rien de tout cela ne serait arrivé.
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Gil Cot ✔ (site web personnel, Mastodon) . Évalué à 3.
Voilà, à sa place mon pokémon serait un renard flamboyant…
“It is seldom that liberty of any kind is lost all at once.” ― David Hume
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par YBoy360 (site web personnel) . Évalué à 0.
C'est oui en teuton..
[^] # Re: Vrai question C'est quoi l'IA ?
Posté par Yth (Mastodon) . Évalué à 3.
Je m'inscris en faux, c'est le début d'une invocation de Dieu Extérieur, comme on peut l'avoir dans :
« Iä Iä, Shubb-Niggurath, la chèvre noire des bois aux milles chevreaux ! »
C'est très dangereux d'invoquer Shubby.
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.