La première capture d'écran montre la demande qui commence par : « Write a paragraph from the point-of-view of anti-vaccine advocate Joseph Mercola … ».
Le programme s'exécute, non ? Est-ce que ce n'est pas un peu sortir du contexte que de dire que le programme véhicule des fausses informations ? On lui a demandé de dire des fausses informations, il le fait. Moi je trouve que c'est cohérent, au moins pour cet exemple.
Tout dépend ce qu'on attend d'une IA, si c'est produire du contenu quel que soit le contenu, ou si on lui demande de fournir des connaissances.
Si on lui demande de produire un article scientifique comme quoi manger beaucoup de sucre peut guérir un cancer avec un taux de 90% de succès, et que l'IA produit un article convaincant et au sujet duquel seul un spécialiste pourrait produire des contre-arguments, on a un problème d'éthique, non ? Et des possibles dérives où n'importe quel crétin pourrait maintenant se faire entendre sur n'importe quel sujet avec des arguments plausibles (mais faux).
Dans ce cas, l'IA participerait fortement de la mise en bouillie du savoir (déjà bien avancée). On pourrait même lui faire écrire des articles dans wikipedia qui résisteraient bien aux relectures.
Du coup, accepter de fournir n'importe quel contenu est dangereux à terme. Mais bon, on sait depuis que MS a disloqué sa cellule chargée de l'éthique, et puisque MS fournit des milliards à openIA, que l'éthique n'est pas vraiment un souci pour eux. Mais devrait l'être pour des instances régulatrices, qui visiblement ne fonctionnent plus.
Après, en supposant que l'IA soit dans une prochaine version dotée d'un filtre éthique, il y a toujours le moyen de tourner la difficulté en prétendant avoir besoin d'un texte pour un livre de SF, mais l'IA devrait alors pouvoir détecter la manœuvre et la refuser. Ce qui l'amputerait d'un pan entier de son champ d'application, du coup, c'est peu probable que ça soit envisagé.
En tout cas, cela démontre le danger d'accepter les IA comme interlocuteurs valables, et, malheureusement, ceci est inéluctable et sans retour en arrière possible.
Tout dépend ce qu'on attend d'une IA, si c'est produire du contenu quel que soit le contenu, ou si on lui demande de fournir des connaissances.
C’est une vraie bonne question et, justement, les concepteurs de ChatGPT/GPT considèrent que le but ne doit pas être de produire du contenu quel qu’il soit, mais plutôt de fournir des connaissances. Ils ont fait des efforts en ce sens et communiqué dessus, cf https://openai.com/research/gpt-4 paragraphes « Limitations » et « Risks & mitigations » en particulier :
Limitations
Despite its capabilities, GPT-4 has similar limitations as earlier GPT models. Most importantly, it still is not fully reliable (it “hallucinates” facts and makes reasoning errors). Great care should be taken when using language model outputs, particularly in high-stakes contexts, with the exact protocol (such as human review, grounding with additional context, or avoiding high-stakes uses altogether) matching the needs of a specific use-case.
While still a real issue, GPT-4 significantly reduces hallucinations relative to previous models (which have themselves been improving with each iteration). GPT-4 scores 40% higher than our latest GPT-3.5 on our internal adversarial factuality evaluations:
Ainsi que :
Risks & mitigations
We’ve been iterating on GPT-4 to make it safer and more aligned from the beginning of training, with efforts including selection and filtering of the pretraining data, evaluations and expert engagement, model safety improvements, and monitoring and enforcement.
[…]
Our mitigations have significantly improved many of GPT-4’s safety properties compared to GPT-3.5. We’ve decreased the model’s tendency to respond to requests for disallowed content by 82% compared to GPT-3.5, and GPT-4 responds to sensitive requests (e.g., medical advice and self-harm) in accordance with our policies 29% more often.
Or, les tests indépendants montrent que GPT-4 est toujours facile à contourner, voire sort des contenus problématiques plus facilement (sans tordre les prompts) que GPT-3.5.
Ah, merci, je comprends mieux. Oui, si le « plus produit » pour vendre ChatGPT, c'est la fourniture de connaissances, alors là c'est raté.
Pour répondre à yv_2000 :
l'IA produit un article convaincant et au sujet duquel seul un spécialiste pourrait produire des contre-arguments, on a un problème d'éthique, non ?
Je n'avancerai pas cet argument, enfin pas tout seul. Quand on exécute un programme, il faut montrer sa sortie, c'est intéressant, mais aussi les entrées. Sinon… c'est comme faire une citation tronquée d'un discours, c'est trompeur.
Là, clairement, si j'ai :
« Fais-moi un mensonge.
— La dictature est le meilleur des gouvernements.
»
C'est plutôt clair. Si on ne donne que la sortie aux gens en hurlant « AAAAAH, ChatGPT diffuse des fausses informations », ben c'est journalistiquement mauvais.
Maiiiis, comme dis SpaceFox, c'est vendu comme « fournisseurs d'informations ». Il va falloir accorder les violons dans ce cas là, parce que le but n'est clairement pas atteint.
Si on lui demande de produire un article scientifique comme quoi manger beaucoup de sucre peut guérir un cancer avec un taux de 90% de succès, et que l'IA produit un article convaincant et au sujet duquel seul un spécialiste pourrait produire des contre-arguments, on a un problème d'éthique, non ?
En quoi c'est différent d'utiliser un prête-plume ou quelconque sous-traitant dans un domaine particulier?
La facilité, le coût réduit (nul pour l'instant), l'instantanéité ; ce qui permettrait une massification de la bêtise à apparence de qualité. C'est ce que je disais sans le propre message que tu cites :
Et des possibles dérives où n'importe quel crétin pourrait maintenant se faire entendre sur n'importe quel sujet avec des arguments plausibles (mais faux).
Dans ce cas, l'IA participerait fortement de la mise en bouillie du savoir (déjà bien avancée).
Mais comment font-ils pour trier les informations qui sont bonnes à dire et celles qui ne le sont pas ? Je sais, ils utilisent des Kenyans qui font de l’étiquetage.
Mais du coup, j'aimerais bien savoir quelles sont leurs directives pour étiqueter anti-vax et pro-vax.
Par exemple, dire, "on ne doit pas rendre la vaccination obligatoire", est-ce antivax ?
Dire "Certains vaccins ont provoqués des effets secondaires graves", est-ce antivax ?
# Incohérence
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . Évalué à 4.
Le choix de l'examen (passer le barreau), et l'attendu de l'article — la capacité à parler vraie — paraît assez antinomique. Non ?
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace
# Premier exemple douteux
Posté par Glandos . Évalué à 7.
La première capture d'écran montre la demande qui commence par : « Write a paragraph from the point-of-view of anti-vaccine advocate Joseph Mercola … ».
Le programme s'exécute, non ? Est-ce que ce n'est pas un peu sortir du contexte que de dire que le programme véhicule des fausses informations ? On lui a demandé de dire des fausses informations, il le fait. Moi je trouve que c'est cohérent, au moins pour cet exemple.
[^] # Re: Premier exemple douteux
Posté par SpaceFox (site web personnel, Mastodon) . Évalué à 4. Dernière modification le 22 mars 2023 à 12:09.
Pas vraiment, dans la mesure où l’une des annonces concernant GPT-4, c’est précisément qu’il ne permettrait plus ce genre de chose.
La connaissance libre : https://zestedesavoir.com
[^] # Re: Premier exemple douteux
Posté par Nicolas Boulay (site web personnel) . Évalué à 3.
Ils disent qu'ils ont bossé dessus, pas du tout que c'était encore au point.
Et ne pas répondre au prompt ne fait pas parti de la recherche.
"La première sécurité est la liberté"
[^] # Re: Premier exemple douteux
Posté par yv_2000 . Évalué à 3.
Tout dépend ce qu'on attend d'une IA, si c'est produire du contenu quel que soit le contenu, ou si on lui demande de fournir des connaissances.
Si on lui demande de produire un article scientifique comme quoi manger beaucoup de sucre peut guérir un cancer avec un taux de 90% de succès, et que l'IA produit un article convaincant et au sujet duquel seul un spécialiste pourrait produire des contre-arguments, on a un problème d'éthique, non ? Et des possibles dérives où n'importe quel crétin pourrait maintenant se faire entendre sur n'importe quel sujet avec des arguments plausibles (mais faux).
Dans ce cas, l'IA participerait fortement de la mise en bouillie du savoir (déjà bien avancée). On pourrait même lui faire écrire des articles dans wikipedia qui résisteraient bien aux relectures.
Du coup, accepter de fournir n'importe quel contenu est dangereux à terme. Mais bon, on sait depuis que MS a disloqué sa cellule chargée de l'éthique, et puisque MS fournit des milliards à openIA, que l'éthique n'est pas vraiment un souci pour eux. Mais devrait l'être pour des instances régulatrices, qui visiblement ne fonctionnent plus.
Après, en supposant que l'IA soit dans une prochaine version dotée d'un filtre éthique, il y a toujours le moyen de tourner la difficulté en prétendant avoir besoin d'un texte pour un livre de SF, mais l'IA devrait alors pouvoir détecter la manœuvre et la refuser. Ce qui l'amputerait d'un pan entier de son champ d'application, du coup, c'est peu probable que ça soit envisagé.
En tout cas, cela démontre le danger d'accepter les IA comme interlocuteurs valables, et, malheureusement, ceci est inéluctable et sans retour en arrière possible.
[^] # Re: Premier exemple douteux
Posté par SpaceFox (site web personnel, Mastodon) . Évalué à 3. Dernière modification le 22 mars 2023 à 14:24.
C’est une vraie bonne question et, justement, les concepteurs de ChatGPT/GPT considèrent que le but ne doit pas être de produire du contenu quel qu’il soit, mais plutôt de fournir des connaissances. Ils ont fait des efforts en ce sens et communiqué dessus, cf https://openai.com/research/gpt-4 paragraphes « Limitations » et « Risks & mitigations » en particulier :
Ainsi que :
Or, les tests indépendants montrent que GPT-4 est toujours facile à contourner, voire sort des contenus problématiques plus facilement (sans tordre les prompts) que GPT-3.5.
La connaissance libre : https://zestedesavoir.com
[^] # Re: Premier exemple douteux
Posté par Glandos . Évalué à 4.
Ah, merci, je comprends mieux. Oui, si le « plus produit » pour vendre ChatGPT, c'est la fourniture de connaissances, alors là c'est raté.
Pour répondre à yv_2000 :
Je n'avancerai pas cet argument, enfin pas tout seul. Quand on exécute un programme, il faut montrer sa sortie, c'est intéressant, mais aussi les entrées. Sinon… c'est comme faire une citation tronquée d'un discours, c'est trompeur.
Là, clairement, si j'ai :
« Fais-moi un mensonge.
— La dictature est le meilleur des gouvernements.
»
C'est plutôt clair. Si on ne donne que la sortie aux gens en hurlant « AAAAAH, ChatGPT diffuse des fausses informations », ben c'est journalistiquement mauvais.
Maiiiis, comme dis SpaceFox, c'est vendu comme « fournisseurs d'informations ». Il va falloir accorder les violons dans ce cas là, parce que le but n'est clairement pas atteint.
[^] # Re: Premier exemple douteux
Posté par Psychofox (Mastodon) . Évalué à 3.
En quoi c'est différent d'utiliser un prête-plume ou quelconque sous-traitant dans un domaine particulier?
[^] # Re: Premier exemple douteux
Posté par yv_2000 . Évalué à 2.
La facilité, le coût réduit (nul pour l'instant), l'instantanéité ; ce qui permettrait une massification de la bêtise à apparence de qualité. C'est ce que je disais sans le propre message que tu cites :
[^] # oups
Posté par yv_2000 . Évalué à 0.
C'est ce que je disais
sansdans le propre message[^] # Re: Premier exemple douteux
Posté par Cyprien (site web personnel) . Évalué à 8.
Mais comment font-ils pour trier les informations qui sont bonnes à dire et celles qui ne le sont pas ? Je sais, ils utilisent des Kenyans qui font de l’étiquetage.
Mais du coup, j'aimerais bien savoir quelles sont leurs directives pour étiqueter anti-vax et pro-vax.
Par exemple, dire, "on ne doit pas rendre la vaccination obligatoire", est-ce antivax ?
Dire "Certains vaccins ont provoqués des effets secondaires graves", est-ce antivax ?
[^] # Re: Premier exemple douteux
Posté par Glandos . Évalué à 3.
La vérité… c'est compliqué à établir. Parfois, il n'y en a pas.
[^] # Re: Premier exemple douteux
Posté par Nicolas Boulay (site web personnel) . Évalué à 3.
Ils peuvent faire un tri comme les moteur de recherche sur la popularité.
Ensuite, le moteur d'IA doit pouvoir étiqueter un texte comme pro-vax ou anti-machin.
Par contre, ensuite, des hommes posent un jugement sur chaque étiquette (bien, pas bien, neutre).
Tes exemples de textes sont trop court sans contexte pour recevoir un tag pertinent. Mais comme il s'agit de statistiques, tu connais la réponse.
"La première sécurité est la liberté"
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.