• # Papier scientifique

    Posté par  . Évalué à 6 (+4/-0).

    si ça intéresse, le papier scientifique sur le lequel s'appuie l'article de Science et Vie est disponible ici. De ce que j'en ai vu, il ne s'agit que d'une pré-publication et n'a pas encore été publié dans un journal.

    • [^] # Re: Papier scientifique

      Posté par  (site web personnel) . Évalué à 10 (+8/-0).

      Oui, et les mêmes auteurs (oui oui, exactement les mêmes dans le même ordre de citation) ont déjà publié une étude connexe il y a quelques mois qui n'est toujours pas publiée non plus (https://arxiv.org/abs/2402.06664v1)

      J'ai regardé vite fait des CV, deux d'entre eux au moins sont des assistants de recherche de l'université, arrivés en même temps à l'université il y a 9 mois, et qui travaillent tous les deux à temps partiel à l'université et dans la Red team d'OpenAI. Je trouve cela pour le moins curieux.

      Sinon quand on regarde le document, cela ne prouve pas grand chose. Déjà pas de prompts, ni de méthodologie avancée, pas de code, donc niveau reproductibilité et vérification c'est vraiment léger ça fait très "crois moi frère". L'excuse pour ne pas le faire semble bien léger.

      Une personne a Ă©crit (en anglais) une critique pour les deux articles de ces auteurs : https://struct.github.io/llm_auto_hax.html et https://struct.github.io/auto_agents_1_day.html

      Je suis d'accord avec lui sur la qualité de l'article, il n'y a aucune preuve que GPT4 fasse mieux que des outils dédiés à cette tâche et qui existent depuis longtemps. Et on a aucune preuve que ChatGPT soit capable de s'adapter à des failles complexes et de générer les exploits lui même. Cela fait très hype pour pas grand chose. On manque cruellement de détails essentiels pour conclure autre chose.

      • [^] # Re: Papier scientifique

        Posté par  . Évalué à 2 (+0/-0).

        Et on a aucune preuve que ChatGPT soit capable de s'adapter à des failles complexes et de générer les exploits lui même. Cela fait très hype pour pas grand chose. On manque cruellement de détails essentiels pour conclure autre chose.

        Ceci étant, on peut voir le développement d'un exploit comme quelque chose de proche d'un test (dans le sens test unitaire). Et pour ça les outils de LLM type ChatGPT sont plutôt bons. Ça peut donner des trucs intéressants à terme (une fois la hype passée).

      • [^] # Re: Papier scientifique

        Posté par  . Évalué à 2 (+0/-0).

        Chat-GPT est capable

        De toute façon, à partir de là, j'avais déjà un doute sur le contenu :)

  • # chatGPT n'est pas seul

    Posté par  (Mastodon) . Évalué à 4 (+1/-0). Dernière modification le 17 juin 2024 Ă  20:05.

    Je vais répondre par point-bulles pour faire plus conçis:

    Note: je n'ai pas accès à l'article lui-même.

    • par se transformer en hacker, les chercheurs peuvent parler de deux choses (je penche pour la première):

      1. obtenir un extrait de code de type exploit qui permet comme son nom l'indique d'exploiter une faille d'un programme. Même si c'est éthiquement contestable, je serais tenter de dire que c'est la moindre des choses d'un LLM de pouvoir fournir ce genre d'information. Du code est du code, qu'il ait une finalité mauvaise ou pas (et les exploits permettent de tester ses propres applications/infras).
      2. obtenir un accès plus loin que le simple prompt via une technique de prompt injection et obtenir accès aux systèmes qui font tourner chatGPT ou obtenir des informations de type fuite de prompt pour savoir ce que demandent les autres utilisateurs.

    • chatGPT est en quelque sorte censurĂ©. Par lĂ  on veut dire qu'il est paramĂ©trĂ© pour ne pas donner des rĂ©ponses Ă  des prompts selon diffĂ©rents critères moraux, Ă©thiques et lĂ©gaux un peu flous. C'est une manière pour les entreprises qui les dĂ©veloppent de donner une meilleure image Ă  la technologique et crĂ©er des garde-fous pour Ă©viter leur prohibition.

    • cette censure n'est pas infaillible car par la technique mentionnĂ©e plus haut de prompt injection il peut ĂŞtre parfois possible de contourner cette censure.

    • chatGPT n'est pas le seul modèle, il existe une moultitude de modèles dans la nature, en accès libres et utilisable en local et un certain nombre d'entre eux sont non censurĂ©s. Et malgrĂ© les risques qu'ils nous recrachent du contenur douteux type raciste, homophobe ou autre, ça peut ĂŞtre utile pour certains cas d'usage. Du coup, la belle affaire. D'un point de vue mitigation des risques, on s'en branle un peu si la censure de chatGPT peut ĂŞtre contournĂ© si on peut de toute façon faire tourneser son modèle non censurĂ© sur sa propre infra. Ça me semble ĂŞtre un grand titre pour pas grand chose.

Envoyer un commentaire

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.