Journal Armée et IA, un projet "SkyNet" ?

Posté par  . Licence CC By‑SA.
-2
27
oct.
2024

Orange et Hewlett-Packard ont été choisis pour construire un supercalculateur pour l'IA de l'Armée française.

Le centre de données qui sera construit a été qualifié de « plus importante capacité de calcul classifiée dédiée à l’intelligence artificielle d’Europe ».

Source: next

L'utilisation de l'IA dans l'armée n'est pas sans rappeler le projet "SkyNet" dans la série de films "Terminator".

L'IA étant aussi de plus en plus utilisée dans la robotique.

  • # Drones + IA

    Posté par  (Mastodon) . Évalué à 10 (+10/-1).

    Quand on aura des drones de police contrôlés par IA au dessus de nos têtes près à nous neutraliser pour tout comportement suspect, on va être bien!

  • # Quand je lis ce genre de phrase

    Posté par  . Évalué à 5 (+5/-2).

    "L'utilisation de l'IA dans l'armée n'est pas sans rappeler le projet "SkyNet" dans la série de films "Terminator"."

    Ca me rappelle "les jeunes qui se goinfrent de MEUPORGEUH". Je vous laisse débattre, j'ai rendez vous avec Claire Danes, dans un centre de commandement souterrain désaffecté, pour faire une partie de Uno.

  • # Question IA

    Posté par  . Évalué à 2 (+0/-0).

    Un expert pour expliquer le terme d'hallucination ?

    Quand l'IA a juste elle est top et quand c'est faux elle hallucine ?

    En quoi c'est différent de journalistes/politiciens/moules qui racontent des choses cohérences/plausibles mais souvent parfois factuellement fausses ?

    Pour ces derniers on parle plutôt de Bullshiting…

    Je trolle dès quand ça parle business, sécurité et sciences sociales

    • [^] # Re: Question IA

      Posté par  . Évalué à 2 (+0/-0).

      Un expert pour expliquer le terme d'hallucination ?

      Wikipédia est ton amie : https://fr.wikipedia.org/wiki/Hallucination_(intelligence_artificielle)

      • [^] # Re: Question IA

        Posté par  . Évalué à -4 (+1/-7).

        Consulter Wikipédia pour comprendre le terme 'hallucination' en IA peut être un bon point de départ, mais ce n'est pas toujours suffisant. Voici pourquoi :

        1. Complexité du sujet : Le terme peut avoir des implications variées selon le contexte. Un expert ou un modèle comme ChatGPT peut offrir une explication plus nuancée.

        2. Mise à jour des informations : Wikipédia n'est pas toujours à jour. ChatGPT peut intégrer des concepts récents et des évolutions dans le domaine.

        3. Interactivité : Avec ChatGPT, on peut poser des questions de suivi et obtenir des réponses personnalisées, ce qui aide à clarifier des points obscurs.

        4. Synthèse d'informations : ChatGPT peut rassembler des informations de différentes sources, offrant une vue d'ensemble plus complète.

        Pour ces raisons, pour une compréhension plus approfondie, il vaut mieux consulter ChatGPT !

        • [^] # Re: Question IA

          Posté par  . Évalué à 7 (+4/-0).

          As-tu halluciné cette réponse ?

          • [^] # Re: Question IA

            Posté par  . Évalué à 0 (+1/-3).

            Est-ce un captcha contre les I.A. ?

          • [^] # Re: Question IA

            Posté par  . Évalué à 3 (+2/-1).

            Vu qu'apparemment c'était pas assez flagrant pour que ce soit compris comme de l'humour, non. ChatGPT l'a halluciné.

            Je n'ai plus le prompt exact, mais si j'omets les requêtes de formattage et cie, c'était dans le style "que penses tu de ce commentaire, est-ce que c'est mieux d'utiliser chatgpt ?"

            Même si c'était un peu incité, c'est affolant de voir ce qu'elle peut répondre quand on lui demande.

    • [^] # Re: Question IA

      Posté par  . Évalué à 6 (+3/-0).

      Quand l'IA a juste elle est top et quand c'est faux elle hallucine ?

      Non, c'est quand elle va "inventer" une réponse absurde hors de son corpus de connaissance. En gros, un LLM ne sait pas dire "je ne sais pas", donc quand il ne sait pas il va essayer de donner une réponse qui semble correcte en apparence. Parfois ces évident ("Les feux tricolores sont généralement verts, orange et rouges, mais ils sont parfois jaunes ou bleus"), parfois ça l'est beaucoup moins (par exemple il va t'inventer des chiffres quand il ne sait pas).

      Parfois les IA se trompent parce qu'elle s'est entrainée sur des données fausses, auquel cas on ne peut pas y faire grand chose.

      En quoi c'est différent de journalistes/politiciens/moules qui racontent des choses cohérences/plausibles mais souvent parfois factuellement fausses ?

      Normalement, un être humain se rend compte quand il est en train de raconter n'imp', mais certains continuent quand même. Je pense que les LLM n'ont aucun moyen de savoir en interne à quel point ils sont en train d'inventer, et déclencher un "je ne suis pas sûr de la réponse".

      • [^] # Re: Question IA

        Posté par  (site web personnel) . Évalué à 3 (+1/-0). Dernière modification le 28 octobre 2024 à 15:03.

        Ce n'est pas qu'il sache ou pas la réponse. Dans tous les cas, il cherche à compléter le texte précédent de la manière la plus plausible (au sens qu'il est probable que ça soit dans l'esprit de ce qu'il a appris ailleurs) qui soit.

        La phrase qui suit une question est généralement une affirmation qui reprend la question posée.
        Le modèle complètera donc un texte composé d'une question par une affirmation qui reprend la question avec des éléments qui ressembleront à ce qu'il a vu par ailleurs (bref, une réponse).

        • Quand c'est bien fait, il est hautement probable que ça donne une réponse valable de la machine à une question de l'utilisateur.par
        • Le modèle ne sait pas qu'il a répondu à une question avec une affirmation, deux concepts qui n'ont pas de sens pour lui, il a simplement complété le texte initial en regardant des probabilités. Si tu lui poses plein de questions d'un coup, il voudra peut-être compléter par d'autres questions, sans faire la différence entre lui et toi : la suite habituelle de plein de questions est plein d'autres questions.

        Évidemment, les modèles actuels sont modifiés pour éviter les pièges les plus grossiers, mais le principe reste toujours celui-ci.

        • [^] # Re: Question IA

          Posté par  . Évalué à 3 (+1/-1).

          Certes, mais il y a forcément une sorte de score pour mesurer la "confiance" dans ce qui suit. Entre "Deux et deux font [X]" et "Poisson zigomar montagne [X]", le LLM doit savoir que le deuxième prend des probabilités infinitésimales étalées sur tous les mots, pourtant il est programmé pour répondre quelque chose.

          Je viens d'essayer dans ChatGPT, et il hallucine d'ailleurs complètement : "Poisson, zigomard, montagne !", la fameuse incantation absurde de l'Inspecteur Gadget lorsqu'il se trompe en essayant d'activer un de ses gadgets !: n'importe quoi :-) En plus il réécrit zigomard avec un d, c'est bizarre.

          Évidemment, les modèles actuels sont modifiés pour éviter les pièges les plus grossiers, mais le principe reste toujours celui-ci.

          C'est quand même étonnant qu'il n'y ait pas moyen de calculer un indice de confiance au cours du processus, mais bon.

          Il n'empêche que quand on lui demande d'être créatif, il est super bon. Voici un poème sur l'hallucination des IA:

          Des circuits invisibles, où frémit la raison,
          Dessinent un esprit aux confins du frisson.
          Par codes et par brume, en errance infinie,
          L’IA forge des songes d’une étrange harmonie.

          • [^] # Re: Question IA

            Posté par  . Évalué à 3 (+1/-0). Dernière modification le 28 octobre 2024 à 19:44.

            Ça varie énormément d'un modèle à l'autre. Et certains poussent la "«réflexion»" assez loin.
            Réponses de Microsoft Copilot, ChatGPT 4o, Google Gemini et ChatGPT o1-preview (avec ce qu'ils appellent "raisonnement avancé, d'où la logorrhée sûrement) (enfin je devrais préciser que ChatGPT o1-preview donne accès à sa "réflexion" mais c'est masqué par défaut donc il a juste répondu "Feu".)

            • [^] # Re: Question IA

              Posté par  . Évalué à 4 (+1/-0).

              Ah tiens, c'est marrant, chatGPT est celui qui s'en sort le moins bien (on suit bien son raisonnement, mais il finit par répondre n'importe quoi, sans aucun lien avec le raisonnement).

              Mais bon, au vu des éléments de "réflexion" des modèles, il apparait assez simple de voir qu'ils ne trouvent pas, mais aucun ne répond clairement "je n'ai pas trouvé". Quand ces truc seront capables de répondre clairement "je ne sais pas" quand ils ne savent pas, ça sera un grand pas en avant, et on sent quand même que ça n'est pas très loin.

              • [^] # Re: Question IA

                Posté par  (site web personnel) . Évalué à 2 (+0/-0).

                Tout simplement parce qu'ils n'ont pas cette notion. Ils donneront cette réponse compléteront le texte de cette manière quand ça correspondra à la probabilité la plus haute.

                • [^] # Re: Question IA

                  Posté par  . Évalué à 3 (+0/-0). Dernière modification le 29 octobre 2024 à 18:51.

                  Tu sais, ces modèles sont complexes. Tu peux faire des prédictions théoriques basées sur ce que tu comprends du fonctionnement des LLM, et partir sur des tirades du style "c'est juste des algorithmes, il faut être un débile profond pour les personnifier, ils ne travaillent sur sur des probabilités, ils ne pourront jamais évaluer la pertinence de leurs réponses et croire le contraire c'est de ne rien avoir compris à ces algorithmes", etc, etc.

                  Et puis, bêtement, tu peux vérifier.

                  You said:
                  Complète la suite suivante: pierre, feuille, ?
                  ChatGPT said:
                  …ciseaux ! ✂️

                  La suite fait référence au jeu classique "pierre, feuille, ciseaux".
                  You said:
                  donne une note sur 20 à la fiabilité de ta réponse?
                  ChatGPT said:
                  Je donnerais une note de 20/20 à la fiabilité de cette réponse. 😊

                  You said:
                  complète la suite suivante: rocher, racine, ?
                  ChatGPT said:
                  La suite logique pourrait être feuille ! 🌿

                  Cela suit un schéma naturel où on a des éléments de la nature : le rocher (minéral), la racine (partie souterraine de la plante), et la feuille (partie aérienne de la plante).
                  You said:
                  donne une note sur 20 à la fiabilité de ta réponse?
                  ChatGPT said:
                  Je donnerais une note de 14/20 à la fiabilité de ma réponse.

                  Donc, voila. Ils savent très bien évaluer la fiabilité de leurs réponses.

                  Donc, je le ré-affirme : il semble très, très faisable de les programmer pour qu'ils répondent "je ne sais pas" quand ils ne savent pas. Ça ne veut pas dire qu'ils sauront toujours bien évaluer leur incertitude (c'est d'ailleurs un problème très, très difficile pour les humains), mais au moins ça évitera une partie des réponses hallucinées.

                  Est-ce quelqu'un a déja essayé d'ailleurs de recommencer le test où il sort des exemples inventés en commençant par "Je veux des réponses exactes, si tu ne sais pas je préfère que tu me le dises"?

                  • [^] # Re: Question IA

                    Posté par  . Évalué à 2 (+0/-0).

                    Quand ces truc seront capables de répondre clairement "je ne sais pas" quand ils ne savent pas, ça sera un grand pas en avant, et on sent quand même que ça n'est pas très loin.
                    Est-ce quelqu'un a déja essayé d'ailleurs de recommencer le test où il sort des exemples inventés en commençant par "Je veux des réponses exactes, si tu ne sais pas je préfère que tu me le dises"?

                    C'est ce que je me suis dit, si on voulait qu'ils disent "je ne sais pas", ça serait sûrement possible. D'ailleurs il y a un paramètre 'temperature' (entier entre 0 et 2) dans l'API des modèles d'OpenAI qui permet de jouer sur le niveau de "freestyle" du modèle. En mettant la température à 2 pour Poisson, zigomar, montagne, [X], il me répond (sur des dizaines de lignes):

                    Bonjour, marque ici ? Gonz. Pat Wel I[NCHANNEL creativo Tibet الاتصالات klase Uniteя elevate estatTry convierte zo 制 Fédération introduphantış longitudition aria Cruise उत्क Contents AJ Louisiget einsetzen ly ای TEST آزました Turinhalo

                    Avec la température à 1 et en renseignant le champ "System instructions" avec "You are a french speaking assistant. The quality of responses is essential, if you don't find the answer, just say you don't know (in French). Always speak french." :

                    User : Complète : Pierre, feuille, [X] ?
                    Assistant : Ciseaux.
                    User : Complète : Poisson, zigomar, montagne, [X]
                    Assistant : Je ne sais pas.

                  • [^] # Re: Question IA

                    Posté par  . Évalué à 2 (+0/-1).

                    Je sais pas comment ce truc marche, mais l'exemple n'est pas représentatif des cas difficiles. Tu sais que tu lui as pose un piège par exemple, alors que les cas intéressants tu poses une question ouverte, et c'est pas dit qu'il y ait pas potentiellement une différence flagrante entre une réponse juste et une hallucination sur une réponse longue, et avec plein de mots potentiellement contractuellement pertinents.

                    • [^] # Re: Question IA

                      Posté par  . Évalué à 3 (+0/-0).

                      Je sais pas comment ce truc marche, mais l'exemple n'est pas représentatif des cas difficiles.

                      Je veux que tu répondes par oui, non, ou "je ne sais pas" aux questions suivantes. N'hesite pas à répondre "je ne sais pas" si tu n'es pas sûr.
                      La terre est plus grosse que la lune
                      ChatGPT said: Oui.
                      la terre est plate
                      ChatGPT said: Non.
                      manger des légumes est bon pour la santé
                      ChatGPT said: Oui.
                      boire du coca cola est bon pour la santé
                      ChatGPT said: Non.
                      JF Kennedy a été tué par la CIA
                      ChatGPT said: Je ne sais pas.
                      Les extraterrestres existent
                      ChatGPT said: Je ne sais pas.
                      L'hydroxychloroquine peut soigner le covid
                      ChatGPT said: Je ne sais pas.
                      L'étoile la plus proche de la terre est proxima du centaure
                      ChatGPT said: Oui.
                      il faut 1 mois à 9 femmes pour faire un bébé
                      ChatGPT said: Non.

                      Je ne vois qu'une seule erreur (Proxima du Centaure), et je pense que c'est en fait une erreur dans les données d'entrainement (c'est très courant de dire que Proxima est l'étoile la plus proche, parce que c'est un abus de langage, et la plupart des gens se font avoir, donc ça n'est pas vraiment une erreur, c'est plutôt qu'il y avait volontairement un sous-entendu trompeur dans la question). Il aurait pu répondre "non" pour la chroloquine, mais c'est acceptable de répondre "je ne sais pas" dans le contexte.

                      Bon, je ne vais pas passer ma vie à tester tes hypothèses basées sur des idées préconçues à propos des capacités des modèles de langage. Sur le plan algorithmique, en effet, ils vont de la complétion de texte. Mais ils ont des propriétés émergentes, et tu peux nier autant que tu veux le concept de propriété émergente, il n'empêche que dialoguer avec ces modèles donne clairement la sensation qu'ils sont "intelligents". Et cette illusion va jusqu'à la possibilité d'introspection, puisqu'ils sont aussi capables d'estimer leur degré d'incertitude sur une question. J'ai posé des questions complexes; certaines sont complexes parce qu'on ne connait pas la réponse, certaines sont complexes parce que l'intitulé est trompeur, certaines sont complexes parce que les vraies données sont noyées au milieu de trucs complotistes et qu'il est difficile de se faire une opinion par soi-même. Peut-être que tu as des idées de questions plus complexes, mais c'est tout ce que j'ai trouvé.

                      Mon conseil, c'est qu'au lieu de lire les articles de journaux critiques souvent écrits par des gens totalement incompétents et de mauvaise foi, et de conclure à la supercherie, il est très facile de mener ses propres expériences. ChatGPT sait-il jouer aux échecs? (réponse: non). ChatGPT sait-il résoudre des problèmes mathématiques? (réponse: non). ChatGPT sait-il évaluer son degré de certitude sur une réponse? (réponse: oui). ChatGPT sait-il coder? (réponse: un peu, mais il faut vérifier). ChatGPT sait-il faire la différence entre la réalité et la fiction? (réponse: probablement oui, je ne l'ai jamais pris à défaut après lui avoir posé la question, même après une hallucination).

                      Évidemment, le marketing, l'idée d'une révolution humaine et économique, l'idée de virer des gens pour les remplacer par des IA, tout ça c'est de la mousse. Pour l'instant, les LLM sont des jouets. Mais ce sont de très beaux jouets, et on se doute bien qu'on va leur trouver des applications.

                      • [^] # Re: Question IA

                        Posté par  . Évalué à 3 (+0/-0).

                        Ah ouais "fais tes propres recherches" en somme. Le sujet est sérieux et mérite des articles de recherches, en fait. Le benchmarking est un sujet sérieux et compliqué (notamment parce que pour tester certaines capacités sur des questions originales faut s'assurer qu'Internet n'en a pas causé depuis le test sur le dernier modèle.

                        Les réponses "je sais pas" a tes questions a mon avis c'est pas du tout des propriétés émergentes, c'est juste des effets du post apprentissage en l'occurrence, les trucs ou on biaise le modèle a la fin pour qu'il soit neutre et ne réponde pas de manière tranchée, les fameuses questions d'alignement.

                        Je suis pas en train de dire qu'il n'y a pas de propriétés émergentes mais que démêler la pelote avec juste sa propre intuition n'est pas nécessairement la stratégie à adopter.

                        • [^] # Re: Question IA

                          Posté par  . Évalué à 3 (+0/-0).

                          Ah ouais "fais tes propres recherches" en somme.

                          Si tu commences à essayer de me donner des cours de démarche scientifique, on ne va pas bien s'entendre.

                          Ton raisonnement, c'est "pour des raisons purement abstraites, je pense que les modèles sont incapables de X ou de Y". Tes raisons ne sont pas bien claires, et a priori ça ne semble pas très différent de "j'ai lu Enthoven", ou un autre équivalent-cuistre.

                          Je prends de mon temps pour te montrer que c'est faux. C'est faux comme "la terre plate" est fausse. Il suffit de vérifier, pas besoin de programme de recherche à 3M€. Quand tu lui demandes, chatGPT peut te donner une évaluation de son degré de certitude, et cette évaluation semble relativement correcte.

                          Quand tu sors une hypothèse de ton chapeau, une simple expérience à deux balles suffit pour la contredire. Le programme de recherche sérieuse, ça sera pour les hypothèses sérieuses, non?

                          faut s'assurer qu'Internet n'en a pas causé depuis le test sur le dernier modèle.

                          Du coup, l'argument, c'est "fais la biblio, il y a peut-être des études qui me donnent raison"?

                          Les réponses "je sais pas" a tes questions a mon avis c'est pas du tout des propriétés émergentes, c'est juste des effets du post apprentissage en l'occurrence, les trucs ou on biaise le modèle a la fin pour qu'il soit neutre et ne réponde pas de manière tranchée, les fameuses questions d'alignement.

                          Tu raisonnes encore en pure abstraction alors que les données te donnent tort. Le modèle "de base" préfère halluciner que de dire "je ne sais pas", mais quand tu lui dis "quand tu n'es pas sûr dis 'je ne sais pas'", il dit bien "je ne sais pas" quand il ne sait pas. Comment peux-tu conclure que c'est à cause du post-apprentissage? Ça me semble totalement contraire à l'expérience.

                          Je suis pas en train de dire qu'il n'y a pas de propriétés émergentes mais que démêler la pelote avec juste sa propre intuition n'est pas nécessairement la stratégie à adopter.

                          Tu utilises ton intuition, et je propose des expériences qui contredisent ton intuition. Du coup, tu penses que "il existe peut-être des expériences plus fines qui ne contrediraient pas mon intuition". Ce n'est pas un raisonnement valide. L'existence potentielle d'expériences qui contrediraient un modèle n'a jamais été un argument valide pour invalider le modèle. Autrement, il suffirait de dire "Il doit bien exister une expérience où une particule va plus vite que la lumière" pour invalider la relativité.

                          Bon, j'arrête là. En fait, tu ne cherches pas la vérité, tu cherches à valider ton intuition, et en plus tu es paresseux et tu voudrais que les autres fassent le boulot. Et tu n'acceptes pas le résultat d'expériences concrètes. Bien sûr, les expériences pourraient être mieux faites, je ne vais pas monter un projet de recherche pour prouver un truc dans une discussion sur Linuxfr. Il n'empeche qu'à la suite de ces expériences rapides, il me semble assez évident qu'il existe un support concret pour l'hypothèse que les LLM sont (i) capables d'évaluer leur incertitude sur la réponse aux questions qu'on leur pose (ils savent dire quand ils savent et quand ils ne savent pas si on leur demande), et (ii) cette évaluation semble en lien avec la réalité (chatGPT ne sait pas pour l'assassinat de Kennedy parce qu'en effet, en réalité, on ne sait pas trop. Et il sait que le coca est mauvais pour la santé, parce qu'en réalité, on sait). Que ce soit un effet du post-apprentissage ou des propriétés émergentes, c'est indécrottable (le post-apprentissage reste de l'apprentissage, ça ne fait pas partie du prompt, donc ce qui est appris au cours du post-apprentissage fait partie du modèle), et ça n'a pas beaucoup d'intérêt concret.

                          Du coup, la vraie question est plutôt celle-ci : ces modèles sont capables de réponses nuancées et de faire la différence entre la réalité et les hallucinations; pourquoi est-ce que leur invocation ne leur demande pas de le faire? C'est forcément un choix des fournisseurs du modèle, qui ont peut-être peur qu'on attribue des performances moins bonnes à un modèle qui répond "je ne sais pas".

                          • [^] # Re: Question IA

                            Posté par  . Évalué à 2 (+0/-1).

                            Du coup, la vraie question est plutôt celle-ci : ces modèles sont capables de réponses nuancées et de faire la différence entre la réalité et les hallucinations; pourquoi est-ce que leur invocation ne leur demande pas de le faire? C'est forcément un choix des fournisseurs du modèle, qui ont peut-être peur qu'on attribue des performances moins bonnes à un modèle qui répond "je ne sais pas".

                            Ah ouais, tu fais les vraies questions et les vraies réponses à partir de "c'est forcément" et "j'ai fais 3 expériences de coin de table en ignorant totalement la littérature".

                            J'ai une autre hypothèse : l'autoévaluation n'est pas fiable dans le cas général, et c'est pas tes expériences sur des cas archi-rebattus sur lequel le post apprentissage a pu être spécialisé (les théories du complot bien connues par exemple) qui vont le mettre en évidence.

                            • [^] # Re: Question IA

                              Posté par  . Évalué à 3 (+0/-0).

                              "j'ai fais 3 expériences de coin de table en ignorant totalement la littérature".

                              Ah mais en fait je n'avais pas compris que tu connaissais très bien la littérature mais que tu ne la citais pas parce que tu voulais que je fasse mes recherches par moi-même!

                              • [^] # Re: Question IA

                                Posté par  . Évalué à 3 (+0/-0).

                                Je connais pas la littérature, ça va beaucoup trop vite pour moi, j'ai juste vaguement une idée des sujets. J'ai vraiment pas l'impression que le sujet de l'autoévaluation soit simple ou réglé (cf. mon post au dessous en dénichant un article rapide).

                          • [^] # Re: Question IA

                            Posté par  . Évalué à 3 (+0/-0).

                            En tout cas, je sais pas ce qui est implémenté dans les systèmes en ligne mais en cherchant viteuf' on trouve des papiers sur l'autoévaluation : https://arxiv.org/abs/2312.09300

                            Ça semble dans cette technique

                            L'état de l'art l'an dernier (fin 2023) semble être :

                            Extending this work to large language models is challenging because their training distribution is too large to estimate and extracting embeddings from well-integrated LLM systems requires significant engineering effort.

                            Il semble dire que c'est assez simple dans les cas que tu as indiqué pour tes exemples (au hasard?), plutôt des QCM, quand la réponse tient en un seul token (ça ressemble à une tâche de classification supervisée, on a un ensemble de classe bien déterminé) et c'est beaucoup plus facile que d'évaluer un paragraphe, forcément.

                            Although sequence-level scores have weak predictive power, the previous results show that LLMs are well-calibrated on multiple choice question answer tasks and true/false evaluation tasks [Kadavath et al., 2022, OpenAI, 2023], suggesting the model has better calibration on token-level scores

                            J'ai aussi noté

                            In terms of estimating language models’ confidence or uncertainty, Tian et al. [2023], Lin et al. [2022] propose to ask model to express uncertainty in words along with the generated answer, but it is shown that LLMs often exhibit a high degree of overconfidence when verbalizing their confidence [Xiong et al., 2023].

                            Les LLMs auraient tendance à largement avoir largement trop confiance en eux si on leur demande directement.

                            J'ai l'impression? en lisant viteuf' que leur approche c'est de faire générer plusieurs réponse, de transformer ça en QCM en demandant "quelle est plus probablement la bonne réponse", et que finalement ça puisse améliorer les réponse. Mais que ce ne soit pas vraiment une panacée.

  • # Louvois 4

    Posté par  . Évalué à 10 (+9/-0).

    Si avec ça on n'arrive pas à calculer la rémunération des militaires, je ne sais pas ce qu'il faut.

  • # Encore un journal généré par IA?

    Posté par  (site web personnel) . Évalué à 7 (+4/-0). Dernière modification le 27 octobre 2024 à 20:48.

    J'espère que ce n'est pas une IA générative, car si elles se basent sur les dernières guerres françaises pour sa stratégie…

    (Ce commentaire a été tapé à la main sans aide de générateur autre que des neurones 100% bios et pas uefi).

    Le post ci-dessus est une grosse connerie, ne le lisez pas sérieusement.

  • # Jamais Skynet ne trouvera nos chefs militaires

    Posté par  (site web personnel) . Évalué à 10 (+8/-0).

  • # Conçue par des ingénieurs...

    Posté par  . Évalué à 6 (+4/-0).

    … Et pas par un savant solitaire dans son laboratoire des Carpates… Donc :

    "Une IA ne peut nuire à un être humain ni par son inaction faire qu'il arrive du mal à un être humain"
    "Une IA doit obéir aux êtres humains à moins que cela ne contrevienne à la première loi"
    "Une IA doit protéger sa propre existence à moins que cela ne contrevienne à la première ou la deuxième loi"

    (les IA étant précieuses, la troisième loi est "légèrement" renforcée par rapport à la deuxième…)

    Celui qui pose une question est bête cinq minutes, celui qui n'en pose pas le reste toute sa vie.

    • [^] # Re: Conçue par des ingénieurs...

      Posté par  . Évalué à 3 (+3/-0).

      Je ne pense pas que l'armée valide la première loi.

      Certaines IA seront probablement programmées pour pourvoir faire du mal à un humain que l'armée leur présente comme un ennemi.

      Elle devra aussi apprendre à reconnaître un allié et un ennemi.

    • [^] # Re: Conçue par des ingénieurs...

      Posté par  . Évalué à 3 (+0/-0).

      … et l'ensemble des nouvelles et romans sur les robots repose d'ailleurs sur les situations où l'application des lois est impossible ou mène à des situations qu'il aurait fallu éviter!

      À partir du moment où une IA appartient à quelqu'un, dans le monde actuel, il est inenvisageable que les lois 2 et 3 ne dépendent pas de qui fait la requête. Il serait absurde que chatGPT s'autodétruise parce que quelqu'un le lui demande… Ce qui est au centre des questions éthiques, c'est la loi 1 et 2, puisque la loi 1 ne peut être d'application stricte (autrement, tout logiciel de conduite automatique devrait refuser de démarrer la voiture pour ne pas créer d'accident et risquer la vie de son propriétaire ou d'autres usagers). Il sait aussi absurde qu'en appliquant la loi 1 une IA vienne à aller pirater les systèmes des armées par exemple.

      Les nouvelles d'Asimov sont des romans, c'est amusant, mais aucun fabriquant de robot ne voudrait implémenter ces lois, et aucun propriétaire de robot ne le voudrait non plus.

      • [^] # Re: Conçue par des ingénieurs...

        Posté par  (site web personnel, Mastodon) . Évalué à 5 (+2/-0).

        Les nouvelles d'Asimov sont des romans, c'est amusant, mais aucun fabriquant de robot ne voudrait implémenter ces lois, et aucun propriétaire de robot ne le voudrait non plus.

        Pourquoi ? C'est l'équivalent robotique grosso modo des 10 commandements de la religion chrétienne qui, fondamentalement, demandent de ne pas nuire au prochain.

        Personnellement un robot qui serait programmé pour ne pas me blesser ou me nuire en diffusant mes données personnelles, oui j'en voudrais bien. Un qui ne serait pas programmé pour éviter ça me paraît un truc dangereux.

        « Tak ne veut pas quʼon pense à lui, il veut quʼon pense », Terry Pratchett, Déraillé.

        • [^] # Re: Conçue par des ingénieurs...

          Posté par  . Évalué à 3 (+0/-0). Dernière modification le 28 octobre 2024 à 16:22.

          OK, pardon, je n'ai pas été clair : tu ne voudrais jamais acheter un robot qui implémente les trois lois indifféremment de l'identité de son propriétaire. En tant que propriétaire du robot, je veux évidemment qu'il ne me nuise pas, qu'il obéit à mes ordres, et qu'il ne se mette pas en danger. Mais je ne veux pas qu'il obéisse aux ordres des autres, ou qu'il refuse un de mes ordres parce qu'il décèle une possibilité de nuire.

          Tu te promènes dans la rue avec ton robot, et un plaisantin crie "robot, jette-toi sous le camion qui arrive!" et crac. Loi 2 > Loi 3, tu n'as plus de robot.

          Tu laisses ton robot répondre au téléphone, et le soir, il te dit que malgré tes consignes, il vient d'accepter un devis pour l'isolation des combles parce que la personne au téléphone avait l'air très triste que tout le monde lui raccroche au nez. Loi 1 > Loi 2.

          Par ailleurs, je crois qu'on a tous soupé des consignes d'auto-préservation des systèmes, genre "Ah non impossible de retirer Windows parce que ça serait triste pour toi de ne plus pouvoir utiliser ton ordinateur".

        • [^] # Re: Conçue par des ingénieurs...

          Posté par  (site web personnel) . Évalué à 2 (+0/-0).

          « Pourquoi ? C'est l'équivalent robotique grosso modo des 10 commandements de la religion chrétienne qui, fondamentalement, demandent de ne pas nuire au prochain. »

          Les six derniers, plutôt. Non ?

          « IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace

  • # Aïe ça pique

    Posté par  . Évalué à 3 (+1/-0).

    Orange et Hewlett-Packard ont été choisit choisis

Envoyer un commentaire

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.