est-ce qu'il est possible que ce procédé créé volontairement des vulnérabilités ciblées exploitables par nos chers alliés, ou est-ce que ça se verrait ?
Par ailleurs, spoiler :
Si le projet de la DARPA attire l’attention, on sait déjà qu’il ne pourra pas être appliqué systématiquement. En outre, puisque l’outil est basé sur un LLM, des risques subsistent
Ca n'empêche pas. C'est déjà difficile de lire le code de quelqu'un d'autre, alors le code d'un robot ça rajoute une couche. C'est justement un des problèmes majeur des IA que même quand ça marche on ne sait pas vraiment pourquoi à part que ça se rapproche de quelque chose qui a déjà du avoir lieu quelque part.
Je dirais même plus, c'est déjà compliqué ( voir impossible ) de complètement valider une merge request un peu conséquente d'un collègue, alors un logiciel entier traduit par une IA, c'est aller dans le mur.
La solution la plus réaliste, c'est de d'avoir des tests de non régression et outils de comparaison des résultats de l'ancienne implémentation et de la nouvelle.
Je me demande toutefois : si les outils de contrôle et tests sont eux-mêmes générés par IA est-ce que ça sera efficace pour contrôler du code généré par IA ? 🤔
Toute la difficutslté d'un projet informatique, ce n'est pas d'écrire le code, mais de s'assurer que le code fait bien ce qui est demandé dans la spécification (ou que la documentation documente bien ce que fait le code).
Du code généré par un LLM fait ça moins bien qu'un déâeloppeur, et si on lui dit "hé, tu t'es trompé, c'est pas ce qu'on t'a demandé" il va répondre "oh, je suis désolé, vous avez raison, voici le code corrigé" et remettre un bout de code avec le même bug.
Dans le cas d'une traduction d'un langage à un autre, il faudrait entraîner un modèle spécial en lui fournissant du code c++ et la version traduite. Puis lui demander de "faire la même chose" sur d'autres morceaux de code. Le tout avec des tests pour valider si les traductions générées fonctionnent (@qui doivent être écrits au cas par cas, j'imagine?). Quel volume de code et de tests faut-il traduire à la main avant d'avoir assez de données pour avoir un traducteur fonctionnel? Est-ce qu'il restera encore du code non traduit quelque part une fois cet entraînement terminé?
# Je me méfie quand il s'agit de nos amis états-uniens
Posté par antistress (site web personnel) . Évalué à 6. Dernière modification le 06 août 2024 à 00:51.
est-ce qu'il est possible que ce procédé créé volontairement des vulnérabilités ciblées exploitables par nos chers alliés, ou est-ce que ça se verrait ?
Par ailleurs, spoiler :
[^] # Re: Je me méfie quand il s'agit de nos amis états-uniens
Posté par steph1978 . Évalué à 2.
Ils ne parlent pas de transformer du code mis au commun mais plutôt leur base de code.
[^] # Re: Je me méfie quand il s'agit de nos amis états-uniens
Posté par wilk . Évalué à 2.
Ca n'empêche pas. C'est déjà difficile de lire le code de quelqu'un d'autre, alors le code d'un robot ça rajoute une couche. C'est justement un des problèmes majeur des IA que même quand ça marche on ne sait pas vraiment pourquoi à part que ça se rapproche de quelque chose qui a déjà du avoir lieu quelque part.
[^] # Re: Je me méfie quand il s'agit de nos amis états-uniens
Posté par steph1978 . Évalué à 2.
Je ne contestais pas la création de vilnérabilité ; je constestais le "volontairement".
[^] # Re: Je me méfie quand il s'agit de nos amis états-uniens
Posté par wilk . Évalué à 1.
Il me semble qu'il sera plus difficile de trouver une faille volontaire dans un ramassis de code généré.
[^] # Re: Je me méfie quand il s'agit de nos amis états-uniens
Posté par Ysabeau 🧶 (site web personnel, Mastodon) . Évalué à 3.
Il se pourrait que l'IA ne soit pas vraiment un outil de productivité. Il faudrait d'autres enquêtes supplémentaires pour que cela se vérifie ou soit infirmé, cela dit.
« Tak ne veut pas quʼon pense à lui, il veut quʼon pense », Terry Pratchett, Déraillé.
[^] # Re: Je me méfie quand il s'agit de nos amis états-uniens
Posté par gorbal . Évalué à 1.
Je dirais même plus, c'est déjà compliqué ( voir impossible ) de complètement valider une merge request un peu conséquente d'un collègue, alors un logiciel entier traduit par une IA, c'est aller dans le mur.
La solution la plus réaliste, c'est de d'avoir des tests de non régression et outils de comparaison des résultats de l'ancienne implémentation et de la nouvelle.
[^] # Re: Je me méfie quand il s'agit de nos amis états-uniens
Posté par antistress (site web personnel) . Évalué à 5. Dernière modification le 09 août 2024 à 09:56.
Je me demande toutefois : si les outils de contrôle et tests sont eux-mêmes générés par IA est-ce que ça sera efficace pour contrôler du code généré par IA ? 🤔
[^] # Re: Je me méfie quand il s'agit de nos amis états-uniens
Posté par pulkomandy (site web personnel, Mastodon) . Évalué à 2.
Non.
Toute la difficutslté d'un projet informatique, ce n'est pas d'écrire le code, mais de s'assurer que le code fait bien ce qui est demandé dans la spécification (ou que la documentation documente bien ce que fait le code).
Du code généré par un LLM fait ça moins bien qu'un déâeloppeur, et si on lui dit "hé, tu t'es trompé, c'est pas ce qu'on t'a demandé" il va répondre "oh, je suis désolé, vous avez raison, voici le code corrigé" et remettre un bout de code avec le même bug.
Dans le cas d'une traduction d'un langage à un autre, il faudrait entraîner un modèle spécial en lui fournissant du code c++ et la version traduite. Puis lui demander de "faire la même chose" sur d'autres morceaux de code. Le tout avec des tests pour valider si les traductions générées fonctionnent (@qui doivent être écrits au cas par cas, j'imagine?). Quel volume de code et de tests faut-il traduire à la main avant d'avoir assez de données pour avoir un traducteur fonctionnel? Est-ce qu'il restera encore du code non traduit quelque part une fois cet entraînement terminé?
# pendant ce temps là
Posté par steph1978 . Évalué à 2.
Des gens font des trucs sérieux : Don’t Write, but Return: Replacing Output Parameters with Algebraic Data Types in C-to-Rust Translation
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.