Posté par nico .
Évalué à 9.
Dernière modification le 27 janvier 2024 à 16:57.
j'ai corrigé le titre.
l'article ne précise à aucun moment qu'un modèle de langage n'invente rien mais synthétise simplement ce sur quoi il est basé; il est juste en mode « les vilains robots sont méchants, et en plus il vont nous prendre nos emplois »
j'aime bien U&R mais tout leur contenu « IA » a l'air quand même sensationnaliste voir putaclick, ça décrédibilise pas mal leur propos.
Posté par Maderios .
Évalué à -8.
Dernière modification le 27 janvier 2024 à 21:24.
le sexisme des IA, hérité des comportements humains
Pour être plus précis, le sexisme des IA n'est pas hérité des comportements "humains" mais du comportement d'une moitié de l'humanité, les hommes. Les IA étant programmées par les hommes qui sont très majoritaires dans l'informatique, elles ne font que refléter l'idéologie patriarcale dont une des conséquences est le sexisme.
À ce propos, un article du Monde datant de 2017 : L’intelligence artificielle reproduit aussi le sexisme et le racisme des humains
"Les femmes associées aux arts et au foyer, les hommes aux professions scientifiques… Ces stéréotypes ont tellement la vie dure qu’ils se retrouvent reproduits dans des programmes d’intelligence artificielle (IA). Dans un article publié vendredi 14 avril par la revue Science, Joanna Bryson, Aylin Caliskan et Arvind Narayanan, des chercheurs des universités de Princeton (New Jersey) et de Bath (Royaume-Uni), montrent comment une technologie de machine learning (apprentissage machine) reproduit les biais humains, pour le meilleur et pour le pire."
Pour être plus précis, le sexisme des IA n'est pas hérité des comportements "humains" mais du comportement d'une moitié de l'humanité, les hommes. Les IA étant programmées par les hommes qui sont très majoritaires dans l'informatique, elles ne font que refléter l'idéologie patriarcale dont une des conséquences est le sexisme.
Il est peu probable que le sexe des développeurs aient une grande importance ici.
Les algorithmes ne sont pas le fondement du problème ici, ce sont les données avec lesquelles elles sont entraînées. Quand ton corpus de données a beaucoup d'ouvrage, de textes et autres avec du racisme et du sexisme dedans que nos sociétés ont été ainsi pendant des siècles, et comme ces algorithmes sont surtout des machines statistiques ils vont recracher ce qu'ils ont vu.
Tu prendrais les mêmes algos avec des données sans ces biais le résultat serait radicalement différent, pourtant les codeurs sont les mêmes. Et tu ne les ferais lire que des documents nazis le résultat sera là encore différent.
C'est une limitation forte des modèles actuels qui ont besoin de beaucoup de données et que cette masse de données a beaucoup de contenu problématique. De fait ils vont reproduire les mêmes schémas.
comme précisé précédemment, c'est entrainé sur masse données, plus que ce que tu pourrais lire en une vie, filtrer en amont sur ce qui est 'bien' va de toutes façon fournir un biais sur ce qui est 'bien'.
Il faut oublier l'idée d'avoir quelque chose de neutre (de toutes façon ne neutre l'est surtout d'un point de vue), et demander que les éléments générés par IA (image, texte, modèles 3D) soient obligatoirement précisés, avec un petit laius disant que le texte a été généré et comporte des biais liés a son corpus d'entrainement.
Plutôt qu'amputer les modèles et perdre du temps à corriger des biais au risque d'en ajouter d'autre, prévenir et éduquer me semble plus raisonnable.
des données non filtrées venant d'internet
Oh tu peux leur filer des ouvrage de référence d'éducation de jeune fille au XIXe, ça vient pas d'internet, mais ça reste sacrément sexiste ;) Tu peux aussi ajouter les textes religieux, y'a une belle couche, le problème n'est pas que ça vienne d'internet, le soucis est que la quantité d'ouvrage disponible aujourd'hui est le fruit de quelques millénaire de civilisation très sexistes
Il ne faut pas décorner les boeufs avant d'avoir semé le vent
Avec le même raisonnement pas de problème à rajouter Mein Kampf dans le corpus et risquer de voir l’IA insérer un laïus raciste dans un doc autogénéré lâché dans la nature sur le net.
Pourtant avant de les lâcher dans la nature il y a une phase pour tenter de faire en sorte que les modèles ne ressortent absolument pas n’importe quoi, des pre-prompt et de (en anglais)
Dans un monde idéal, tout le monde est éduqué, parfaitement rationnel, pas raciste et ouvert. Dans la réalité, il y a des niveaux d’éducation variable et l’humain est imparfait et influençable, et il y a des évidences que le simple fait de répéter une connerie suffisamment de fois la rend plus facilement digérée et "crédible".
Bof on a bien du lui filer le premier testament qui préconise le génocide pour éviter que les descendant ne revienne se venger; ça fait parti des bouquins les plus édité au monde. D'ailleurs dans le même on songe même jusqu'à sacrifier un gosse au Dieu, avant de se raviser.
Pourtant avant de les lâcher dans la nature il y a une phase pour tenter de faire en sorte que les modèles ne ressortent absolument pas n’importe quoi, des pre-prompt et de l’apprentissage par renforcement avec rétroaction humaine (en anglais)
Yep, et comme on a fait ça y'a un paquet de gens qui trouvent amusant de trouver comment contourner les restriction et la presse qui s'en régale disant que tel ou tel outil de génération de texte a dit ça, et on trouve d'autre modèle n'ayant pas été bloqués.
et il y a des évidences que le simple fait de répéter une connerie suffisamment de fois la rend plus facilement digérée et "crédible"
fermons reddit, tous les forums, et les réseaux sociaux!
Il ne faut pas décorner les boeufs avant d'avoir semé le vent
Je suis pour que systématiquement le contenu généré soit tagué comme tel.
On a dans la littérature un paquet d'éléments qui sorti de leur contexte sont problématique, voir tout simplement problématique, la civilisation dépeinte dans le meilleurs des mondes n'est pas souhaitable, on peut aussi parler de 1984; on a un paquet de dystopie, et si on regarde le passé historique, c'est pas vraiment mieux, entre génocide, drogue, pillage, ségrégation par caste ou raciale…
Si on prends la littérature de fantasy on a souvent un élu ou un messie qui va sauver le monde; ou de prophétie qui va s'accomplir quoiqu'on fasse. Si tu prends les romans policiers, t'as une quantité de meurtre hallucinante. Si tu lui files les articles de journaux tu auras surtout ce qui se passe mal.
Et oui comme y'a des gens qui ne comprennent pas Rambo 1, tu auras des gens qui prennent les réponses des générateurs de langage comme la vérité vraie, mais rappeler systématiquement en tête des réponse (et le rappeler a intervalle régulier) que ce sont des résultat générés par statistique et n'ayant que peu de prise avec le réel me semble bien plus efficace que tenter de filtrer et configurer le bouzin; cela n'empêche nullement de vouloir configurer (en amont en filtrant, ou en aval en filant des pré-prompt) l'outil pour des besoins spécifiques, mais demander à ce qu'ils soient systématiquement neutre ne peut conduire qu'a un biais et des erreur d'interprétation, et des petits malin qui prendront plaisir à leur faire dire n'importe quoi.
Il ne faut pas décorner les boeufs avant d'avoir semé le vent
Bof. Je doute que ce soit faisable en pratique d’imposer cette règle, impossible à vérifier. L’effet est à démontrer aussi. J’imagine que si l’usage de ce type d’outil tend à devenir omniprésent il y aurait une notice "tout ou partie de ce texte a été généré par un robot" ben il y en aurait simplement partout, ce qui est pareil de dire qu’il n’y en aurait nulle part.
Bof. Je doute que ce soit faisable en pratique d’imposer cette règle
Tu auras toujours des gens pour ne pas la respecter, tout comme des gens film de la fiction qu'ils présentent comme la réalité ou prennent des image d'un conflit pour en illustrer un autre. Voir des images d'assemblé pleine alors que y'a juste 15 députés présents.
Pour les images retouchées on a imposé la mention, et c'est plutôt respecté, sur l'effet de le signaler je ne sais pas si c'est efficace; mais c'est a minima plus honnête.
Bref des gens malhonnête y'en aura toujours, que les élément de chat généré visible de tout un chacun soient modérés selon les règles en vigueur me semble une contrainte raisonnable, et même souhaitable (on pourrait même entraîner des bot PG-kekchose); que l'on modère les sessions privées au nom d'un puritanisme d'un autre âge revient a censurer la fiction. Et les gens malhonnête se foutront des contraintes que tu veux imposer a tout le monde, ils iront prendre un modèle dont les données d'entrée n'ont pas été filtrées, voire même volontairement biaisées, et l'afficheront sur leur page de journal/blog/forum.
Il ne faut pas décorner les boeufs avant d'avoir semé le vent
Pour les images retouchées on a imposé la mention, et c'est plutôt respecté
A part les grands médias et les pubs, et encore, je vois jamais de mention "retouché" ou presque. Pourtant on voit des images en permanence de nos jours.
De ce que j'ai compris, les données sont filtrés mais à minima. Par exemple, ChatGPT utilisé un jeu de données dérivé de CommonCrawl et filtré à minima pour la qualité, (cf une ref WP).
Et il faut énormément de données pour entraîner l'IA. Ce papier de 2022 donne la taille de MassiveText, avec ~10 T de texte sachant que sur les 10T, wikipedia an en anglais fait quelques gigas (pour donner un ordre de grandeur). Le papier estime qu'il y a grosso modo 1012 mots dans des jeux de données hautes qualités (donc 1000 milliards de mots, donc à vue de nez, 10 millions de livres, c'est l'ordre de nombre de documents à la BNF).
Et ça, c'est pour les données "hautes qualités". Si tu rajoutes les données basse qualités, ça va de 100 fois plus pour un acteur avec des thunes comme Google à 1000 fois plus si tu combines tout les acteurs, et 10 000 fois plus si tout le monde sur la planète se mets à produire des données sur plusieurs années (partie IV A de l'article).
Donc il est fort possible que le filtrage ne soit pas économiquement possible dans l'état des ressources actuelles, que ça soit humain ou machine.
"However, analyzing the Common Crawl would require computational resources far in excess of what is available to most research institutions."
L'article explique aussi la difficulté de filtrer ça avec les méthodes automatiques:
"Qualitative analysis of a sample of sites flagged by each approach showed that while n-grams picked up on racial slurs, HateSonar also detected debates about racial supremacy and racially-charged conspiracy theories."
Y a pas de miracle sur le filtrage, tout comme y a pas de miracle sur la modération.
Ensuite, on peut se poser la question de savoir si on aurait du se poser la question avant, mais c'est sans doute la même question que sur l'ouverture des ondes hertzienne pour la télé, les radio pirates ou autres choses autour de la libéralisation des communications.
Posté par Florian.J .
Évalué à 3.
Dernière modification le 27 janvier 2024 à 23:06.
Encore un truc sans intérêt où il faut s’indigner du vent qui souffle.
Si un bot est stéréotypé, ça n'est pas parce qu'on lui a appris à l'être spécifiquement, c'est simplement que le corpus de données l'est car la société l'est.
Car bordel mais c'est simple à comprendre que nous correspondons tous à certains stéréotypes, hommes, femmes, européens, africains, asiatiques, etc…
Il n'y a rien donc rien d'étonnant que ça se retrouve sur une IA.
Maintenant où est le problème ? Est ce que cela empêche pour autant l'accès à l'emploi ?
Il ne s'agit à priori que d'un bot d'orientation, rien de plus.
Si une femme veut réellement bosser dans l'informatique, c'est quand même pas un bot d'orientation qui va l'empêcher non ?
Le sexisme dans l'absolu serait d’interdire l'accès à l'emploi des femmes sur certaines branches, hors ça n'est évidemment pas le cas ici.
J'ai bossé dans le bâtiment en étant gaucher.
Si j'avais dû être choqué à chaque fois que j'ai eu droit à une réflexion sur les gauchers et leur habileté manuelle, je pourrai avoir la même psyché que les féministes, c'est à dire dépressif et un besoin constant de fabriquer un contre modèle totalement hors sol.
La réalité c'est que 90% de la population est droitière c'est comme ça et il n'y a rien à y faire et c'est probablement bien comme ça, l'histoire a prouvé qu'il vaut mieux laisser faire la nature et que quand l'humain choisi par constructivisme d'aller contre la nature, ça se termine généralement mal.
Si un bot a un biais qui propose par défaut aux femmes d'être infirmière ou prof, c'est pas de la méchanceté, c'est simplement un reflet de la réalité (et encore une fois, ça n'est qu'une orientation par défaut, il n'y a pas une méchant blanc patriarcal qui va vous taper sur les doigts si vous cochez une autre case).
Sans oublier que pour "lutter" contre ça (faut vraiment avoir que ça a faire mais soit), il faut introduire des biais qui ne sont que le reflet de la subjectivité des auteurs mais certainement pas la réalité.
Si vous souhaitez réellement avoir des IA utiles, le mieux ne serait il pas qu'elle correspondent ce qu'est la société et non pas à ce que vous souhaiteriez qu'elle soit ?
Sans oublier que pour "lutter" contre ça (faut vraiment avoir que ça a faire mais soit), il faut introduire des biais qui ne sont que le reflet de la subjectivité des auteurs mais certainement pas la réalité.
Ce n'est pas une question de réalité à aucun moment. On est pas dans le cadre de la représentation de la réalité, mais dans celui de l'aide à la décision. Il y a peut-être forcément des biais à ce genre d'application, mais le fait de les informatiser peu poser 2 problèmes :
l'utilisateur peu ne pas savoir qu'il y a des biais parce qu'il donne trop de confiance en la machine. Comme tu parle de réalité là où ça n'a pas de sens, il se dit que si ça vient de la machine ça n'est pas biaisé
si la prise de décision est automatique les recours sont très difficiles à obtenir
La question n'est pas de s'offusquer, mais de savoir que ça existe, de comprendre comment ça fonctionne et d'en parler. Le fonctionnement des réseaux de neurones est a ça d'humains qu'il tente d'aller au plus simple. Si ton jeu de données initial est mal construit, tu peux volontairement ou non créer des biais non souhaitables. L'IA peut avoir décrété qu'un homme ne peut pas devenir infirmier ou qu'il est strictement impossible qu'une femme soit dans l'armée.
Ce n'est pas une question de réalité, c'est une question de est-ce qu'on souhaite que cette IA ai ce genre de biais et, si oui communiquer dessus pour bien s'assurer que les utilisateurs en sont conscient
si la prise de décision est automatique les recours sont très difficiles à obtenir
On a très peu de détails techniques mais l'article cite le ministère du travail Autrichien:
Il était le premier en Europe à avoir mis en place un agent conversationnel fondé sur l’intelligence artificielle (IA) générative pour orienter les étudiants et les demandeurs d’emploi
Autrement dit, c'est bien un bot d'orientation, il ne prend pas de décision (et encore heureux, les IA génératives sont encore trop aléatoires).
Et puis de toute manière je suppose que c'est bien la personne qui cherche un emploi qui rempli son dossier avec ses qualifications, le bot est simplement un assistant conversationnel.
Si ton jeu de données initial est mal construit, tu peux volontairement ou non créer des biais non souhaitables. L'IA peut avoir décrété qu'un homme ne peut pas devenir infirmier ou qu'il est strictement impossible qu'une femme soit dans l'armée.
Encore une fois peu de détails technique mais est probable que le bot soit plutôt un llm type GPT ou Mistral et qu'il utilise la méthode RAG.
Autrement dit de l'injection d'instructions en fonction du contexte d'après les informations tirées d'une base de donnée.
C'est beaucoup plus simple à mettre en place (pas besoin d’entraîner le modèle, un llm généraliste suffit), c'est beaucoup plus précis pour réaliser une tâche spécifique, c'est facilement modifiable (suffit de changer la façon dont on sélectionne les données à injecter) et ça utilise des données en temps réél sans avoir à mettre à jour le modèle tous les mois.
Du coup on peut supposer que si tu coche uniquement la case femme (et uniquement ça, car c'est pas précisé dans l'article mais je suppose que si vous ajoutez une qualification quelconque, les réponses changent radicalement), le modèle renvoi les choix de métiers les plus probables en fonction du peu de donnée qu'il a.
Donc je vois vraiment pas où est le problème, c'est juste le reflet de la réalité du terrain.
Le meilleur moyen de couper cours à toute polémique serait de le rendre libre, peut être même est ce le cas, mais ça n'est pas en pinaillant sur des broutilles avec ce genre d'article racoleur qu'on avancera.
Donc je vois vraiment pas où est le problème, c'est juste le reflet de la réalité du terrain.
Non. Primo parce que ce qui est utilisé, c'est pas des données statistiques du terrain, mais l'idée que les gens se font du terrain via les textes utilisés pour entraîner le LLM. Ensuite parce que c'est pas les idées des gens du terrain, mais l'idée qu'une sous partie de la population se fait du terrain, à savoir la population qui a le temps/le droit/les moyens de poster sur le web, ou qui a eu le temps/le droit/les moyens d'écrire sur certains sujets depuis toujours (la composante temporelle est aussi assez peu discuté, mais si tu prends des livres dans les datasets, et que tu as les livres des années 50, tu va en effet avoir des idées différentes sur la place de la femme, et ne parlons pas du domaine public qui va être encore plus vieux ).
C'est comme extrapolé un micro trottoir à Paris avec 10 personnes dans le 16eme comme étant l'avis de la population française.
Ou d'extrapoler l'avis de la même population sur la base des commentaires ici.
Le meilleur moyen de couper cours à toute polémique serait de le rendre libre, peut être même est ce le cas, mais ça n'est pas en pinaillant sur des broutilles avec ce genre d'article racoleur qu'on avancera.
Les jeux de données sont dispos (MassiveText, CommonCrawl, etc), et il y a des modèles libres (vu que les algos sont publiés et implémentés). Le techno-solutionisme libriste n'a visiblement pas fait l'effet escompté sans doute parce que le libre ne va pas aider quand il te faut 1 million de crédit pour entraîner le modèle.
Un LLM, même libre, ça serait comme avoir un logiciel de la taille de firefox de 2023 à l'époque des 486. Si tu as besoin de 6 mois pour compiler le code, ou d'avoir du matériel du futur, c'est mort.
La vraie raison, c'est que le filtrage serait sans doute impossible dans un délai qui ne nuirait pas à la victoire de la ruée vers l'or en cours. La marché va récompenser les plus rapides, donc ne pas filtrer est une façon d'être plus rapide.
Et ça, c'est en supposant que le filtrage soit possible en premier lieu, ce dont je doute (cf un autre commentaire plus tôt).
Posté par Florian.J .
Évalué à 0.
Dernière modification le 28 janvier 2024 à 12:36.
Je pense que tu n'a pas lu mon message en entier.
Bossant pas mal avec des llm (et leur déploiement), je doute vraiment qu'ils se soient emmerdés à entraîner un nouveau modèle, même en adaptant un modèle existant, les données viennent probablement d'une base de données.
D'ailleurs vu qu'ils s'agit d'une agence officielle de recherche d'emploi, c'est assez facile d'avoir des statistiques sur les profils de recherche d'emploi, non ?
Et je trouve tout à fait spécieux de remettre en question les données du web (autrement dit la méchante société), alors qu'elles sont aussi diverses qu'il y a d'opinions.
Donc globalement les llms n'ont pas d'opinion propres, ils sont neutres et suivent plus ou moins bien les instructions qu'on leur donne.
Si tu dis à un llm de suivre des instructions elle même générées dynamiquement depuis les informations tirées d'une base de donnée, il n'y a aucun biais
(nonobstant les hallucinations possibles).
Et c'est pour cela que je disais qu'il valait mieux ouvrir le code du service, ça permettrait de voir si oui ou non ce genre de débat a lieu d'être.
Donc globalement les llms n'ont pas d'opinion propres, ils sont neutres et suivent plus ou moins bien les instructions qu'on leur donne.
Ils ne sont pas neutres car ils reposent sur des données qu'ils ne le sont pas (et des données neutres dans notre société cela n'existe pas vraiment, il y a forcément des biais suivant les pays, périodes considérées, la manière dont les données sont collectées, agrégées, etc.).
C'est impossible d'avoir ce genre de système étant neutre car c'est un but impossible à atteindre, c'est comme avoir un être humain neutre, ça n'a pas beaucoup de sens. On peut s'en approcher en filtrant les données trop biaisées ou en ajoutant dans l’apprentissage des contre mesures mais ça sera forcément incomplet et imparfait.
Si tu dis à un llm de suivre des instructions elle même générées dynamiquement depuis les informations tirées d'une base de donnée, il n'y a aucun biais
Si dans ta BDD il y a une corrélation forte entre femme et une profession car la société dans laquelle on baigne favorise cette corrélation, il y a donc bel et bien un biais si le LLM reproduit ce schéma ce qu'il fera très probablement. Pour supprimer le biais ici il faudrait supprimer le genre et les noms dans les questions et dans les données car on considère que ce n'est pas important (de même que pour la couleur de peau ou de la religion).
Mais cela peut malgré tout être subtil, du genre si j'aime faire le tricot on va me proposer un poste d'infirmier car il y a une facteur de confusion entre les deux même s'il n'y a aucun lien entre les deux d'un point de vue activité.
Puis honnêtement, en 2010 j'en ai croisé des conseiller d'orientation, les conseils étaient tous des ramassis de clichés sur les professions et hobbies. Non seulement ils avaient une vues limités des possibilités, mais ça pouvait être aussi absurde que "tu n'as pas 20/20 en maths ? Tu ne peux pas être informaticien ou ingénieur". Et j'imagine qu'ils ont aussi des biais sexistes suivant leur âge et culture.
Donc de là à dire que les BDD liés à l'emploi ou gérés par ce genre de personnes ne souffrent d'aucun biais, bof.
Ils ne sont pas neutres car ils reposent sur des données qu'ils ne le sont pas (et des données neutres dans notre société cela n'existe pas vraiment, il y a forcément des biais suivant les pays, périodes considérées, la manière dont les données sont collectées, agrégées, etc.).
C'est impossible d'avoir ce genre de système étant neutre car c'est un but impossible à atteindre, c'est comme avoir un être humain neutre, ça n'a pas beaucoup de sens. On peut s'en approcher en filtrant les données trop biaisées ou en ajoutant dans l’apprentissage des contre mesures mais ça sera forcément incomplet et imparfait.
Oulà on sent bien la prégnance idéologique de gauche, on est en pleine novlangue là.
La neutralité signifie que l'on ne prend pas parti, donc OSEF de l'orientation du corpus, on agrège tout ce qu'on trouve et on fait avec.
(ce qui est une très mauvais idée avec un llm, en particulier pour ses performances générales)
Ce que tu suggère s’appelle l'alignement et c'est tout sauf neutre, c'est précisément là où se trouve le biais qui conditionne l'orientation du llm.
Et de ce point de vu, les llms ne sont généralement clairement pas conservateurs !
L'alignement est nécessaire aux llms et est le principal élément de leur performances, mais quand je parlais de neutralité, je voulais dire que dans l'idée où cette IA serait probablement alimentée par un BDD et non pas par l'apprentissage d'un modèle spécifique, les données d'instructions viendrait de données statistiques.
Si dans ta BDD il y a une corrélation forte entre femme et une profession car la société dans laquelle on baigne favorise cette corrélation, il y a donc bel et bien un biais si le LLM reproduit ce schéma ce qu'il fera très probablement.
Donc on est d'accord, c'est simplement le miroir de ce qu'est la société d'après des données statistiques.
Donc on peut appeler ça comme on veut, mais c'est pas un biais, c'est la réalité (encore une fois la novlangue).
Par ailleurs d'un point de vu strictement pratique, les gens cherchent des boulots suivant leurs qualifications et envies, donc si on considère que de nombreux métiers soient genrés est un problème, il faut s'attaquer à toute la population, femmes comprises, qui semble préférer -entre autre- les métiers sociaux aux métiers manuels.
J'ai bossé dans le bâtiment et il y a bizarrement pas beaucoup de femmes sur les chantiers. Est ce du sexisme ?
On "lutte" comment contre ça, en envoi des secrétaires qui bossent bien au chaud dans des bureaux l'hiver et avec la clim l'été bosser sur des chantiers ?
Pour supprimer le biais ici il faudrait supprimer le genre et les noms dans les questions et dans les données car on considère que ce n'est pas important (de même que pour la couleur de peau ou de la religion).
Là dessus je suis totalement d'accord, ça couperait l'herbe sous le pied des féministes.
Maintenant je suppose que les employeurs ont besoin de ce genre d'information, mais on pourrait simplement ignorer certaines informations dans les instructions du llm et se concentrer sur les diplômes.
Encore une fois, ouvrir le code permettrait de couper court aux polémiques.
Puis honnêtement, en 2010 j'en ai croisé des conseiller d'orientation, les conseils étaient tous des ramassis de clichés sur les professions et hobbies. Non seulement ils avaient une vues limités des possibilités, mais ça pouvait être aussi absurde que "tu n'as pas 20/20 en maths ? Tu ne peux pas être informaticien ou ingénieur". Et j'imagine qu'ils ont aussi des biais sexistes suivant leur âge et culture.
Donc de là à dire que les BDD liés à l'emploi ou gérés par ce genre de personnes ne souffrent d'aucun biais, bof.
Je doute que les personne qui ont déployés cette IA aient un quelconque rapport avec des conseillers d'orientation, c'est plus probablement un sous-traitant.
Et je doute d'ailleurs qu'il y ait une volonté de nuire à quiconque.
Faut arrêter avec ces délires de persécution perpétuels.
La neutralité signifie que l'on ne prend pas parti, donc OSEF de l'orientation du corpus, on agrège tout ce qu'on trouve et on fait avec.
Accepter d'utiliser un corpus loin d'être neutre avec plein de défauts connus n'est pas ce que j'appelle faire preuve de neutralité en ne prenant pas parti.
C'est prendre le parti pour une situation présente ou passée, cela reste un choix discutable.
C'est d'autant plus dommageable que beaucoup considèrent ces LLM comme des outils parfaits, ne pouvant se tromper car après tout ce sont des machines. S'ils gardent les mêmes biais que les humains cela va renforcer la société dans cette direction. Ce n'est pas très responsable.
Ce que tu suggère s’appelle l'alignement et c'est tout sauf neutre, c'est précisément là où se trouve le biais qui conditionne l'orientation du llm.
Perso je part du principe que la neutralité n'existe pas vraiment dans ce dossier. C'est un objectif vain. La question est de déterminer des éléments à supprimer pour améliorer le résultat global en apprenant de nos erreurs passés. Je trouve très bien qu'il y ait des efforts pour éviter que ces outils ne recrachent des propos nazis facilement (même si c'est imparfait). Pourquoi ne pas faire de même dans d'autres contextes qu'on sait tout aussi problématique ?
Donc on peut appeler ça comme on veut, mais c'est pas un biais, c'est la réalité (encore une fois la novlangue).
C'est un biais car on part du principe que la situation actuelle est une sorte de fatalité. Sauf que la situation actuelle vient de processus documentés et anciens et qu'il faut mettre beaucoup d'effort pour rétablir la situation à une situation convenable.
Ne pas tenir compte du contexte de ces données c'est considérer qu'il n'y a aucun problème et rien à faire ce qui n'est pas très réaliste.
Par ailleurs d'un point de vu strictement pratique, les gens cherchent des boulots suivant leurs qualifications et envies, donc si on considère que de nombreux métiers soient genrés est un problème, il faut s'attaquer à toute la population, femmes comprises, qui semble préférer -entre autre- les métiers sociaux aux métiers manuels.
Le but d'un conseiller d'orientation c'est de se baser sur des compétences et envies, oui. Mais cela va au delà de ça.
L'objectif est que très souvent les demandeurs d'emplois n'ont qu'une vision parcellaire des emplois existants et des possibilités. Sans compter les préjugés existants pour certaines professions. En fait de manière générale à part quelques métiers courants on en connaît relativement peu et la vision qu'on en a de l'extérieur est souvent mauvaise.
Ce n'est pas pour rien que depuis quelques années beaucoup de secteurs d'activité, d'entreprises et autres font des portes ouvertes ou des vidéos promotionnelles pour élargir la vision des gens de ces métiers afin de gagner en visibilité pour avoir plus de candidats.
Et c'est l'objectif du conseiller d'orientation de faciliter le travail. Il est censé avoir une meilleure vision des emplois disponibles et des critères réels. Du coup il est normal qu'un conseiller d'orientation puisse soumettre à une femme un métier assez masculin car il n'y a rien qui ne justifie ce fait : le but est de casser l'image du métier et de proposer un emploi que la candidate n'aurait jamais envisagé d'elle même.
Si l'IA conseiller d'orientation reproduit les mêmes biais de notre société avec des images clichées en tête, il ne fera pas bien son travail et ne fera que de reproduire la situation existante.
Encore une fois, ouvrir le code permettrait de couper court aux polémiques.
Pas que le code, il faut les données et l'analyse de ces données !
Un LLM sans les données d'entrainement c'est une boîte noire, même avec le code et l'ensemble des facteurs qui la composent.
Je doute que les personne qui ont déployés cette IA aient un quelconque rapport avec des conseillers d'orientation, c'est plus probablement un sous-traitant.
Et c'est je pense dans ce cas une erreur de toute façon, faut toujours s'aider des gens du métier pour comprendre les données disponibles, dont leurs limites, et les exploiter au mieux.
Car avec des données publiques mal comprises ou mal contextualisées on peut en conclure des conneries.
Et je doute d'ailleurs qu'il y ait une volonté de nuire à quiconque.
Tu mélanges tout.
Je ne dis pas qu'il y a volonté de nuire. Je dis qu'il y a négligence. Un peu comme tu le fais en mode "le monde est comme ça, je prends les données sans me poser de question et je crache des résultats, ça semble marcher donc je suis content". Il y a une responsabilité derrière ces outils, après tout il y a des implications et si on ne cherche pas à faire au mieux on va devant de gros problèmes.
Note que c'est d'ailleurs pareil avec d'autres outils avec des impacts plus concrets. Par exemple il y a un intérêt croissant pour utiliser des LLM dans un usage médical pour le diagnostic. Pourtant les limites sont analysées et existent, malgré le fait que ces données soient factuelles :
Erreur de saisie ou de catégorisation des données ;
Usage de données anciennes avec des appareils ou analyses différents de ceux d'aujourd'hui ;
Évolution de la population qui est plus vieille et avec plus de pathologies chroniques multiples ce qui a des incidences notables ;
Évolution de la médecine qui a aussi amélioré le suivi, la prise en charge et le rétablissement des malades, certaines maladies ou stade de maladies sont plus rares qu'avant de fait ;
Apparitions de nouvelles maladies ou de complications nouvelles ;
Etc.
Tout cela justifie le fait de faire attention, à ne pas prendre les résultats sortis pour argent comptant, que ces données ne sont pas "neutres" car il y a de nombreux biais dedans et qu'il faut justement une collaboration entre médecin et développeurs ou analystes pour tenir compte de tout cela. Sinon le résultat sera mauvais.
En fait vous dites la même chose sauf que vous ne regardez pas aux mêmes endroits.
La machine/algo/ia-whatever reproduit fidèlement la réalité qu’elle/il a ingurgité et donc n’est pas biaisée ; tel est son propos.
Tu réponds qu’il faut corriger cette réalité (donc les biais en amont —et c’est là que vous ne vous êtes pas compris : un est en aval et l’autre est au bout opposé), ce qui dans le jargon s’appelle aligner/ajuster les données (et le silicium reste neutre.)
“It is seldom that liberty of any kind is lost all at once.” ― David Hume
Posté par barmic 🦦 .
Évalué à 7.
Dernière modification le 28 janvier 2024 à 22:57.
Ce que Florian.J dis c'est que comme il reproduit la réalité il n'y a pas de problème, mon propos c'est que s'il contribue à amplifier les biais existant si.
c'est simple à comprendre que nous correspondons tous à certains stéréotypes, hommes, femmes, européens, africains, asiatiques, etc…
Oui, l'éducation qu'on reçoit en étant petit influence nos comportements, et ont vit tous plus ou moins dans les bulles sociales. L'ordi le reproduit, ok. Doit-on s'en satisfaire pour autant ? Certainement pas.
Si j'avais dû être choqué à chaque fois que j'ai eu droit à une réflexion sur les gauchers et leur habileté manuelle […] La réalité c'est que 90% de la population est droitière c'est comme ça et il n'y a rien à y faire.
La réalité, c'est que grandir gaucher dans un monde de droitiers, c'est être habile de la main gauche et de la main droite, car certains outils ergonomiques sont prévus pour les droitiers. Serais-tu défaitiste ;) ?
Posté par Florian.J .
Évalué à -4.
Dernière modification le 28 janvier 2024 à 17:23.
Oui, l'éducation qu'on reçoit en étant petit influence nos comportements, et ont vit tous plus ou moins dans les bulles sociales. L'ordi le reproduit, ok. Doit-on s'en satisfaire pour autant ? Certainement pas.
Je ne sais pas si c'est si grave, mais imaginons.
La résolution du problème ne risque t'il pas de créer des problèmes encore plus grand ?
A vouloir modeler les pensées, ne risque t'on pas d'aliéner les gens ?
Et créer des problèmes imprévus ?
Un peu comme en union soviétiques à ses débuts, ils ont dépossédés les propriétaires terriens considérés comme privilégiés.
Résultat famine et des millions de morts plus tard on est obligé d'assouplir (NEP de Lénine).
A choisir entre la liberté individuelle et l'égalitarisme, l'histoire à prouvé quel était le meilleur système.
La réalité, c'est que grandir gaucher dans un monde de droitiers, c'est être habile de la main gauche et de la main droite, car certains outils ergonomiques sont prévus pour les droitiers. Serais-tu défaitiste ;) ?
Défaitiste non, je le vis très bien et je m'en fiche pas mal de ce qu'on peut dire des gauchers.
La différence, c'est que quand on est de droite on milite par pour que le reste de la société se conforme à soit.
On cherche à s'accomplir sans faire chier les autres.
Est-ce une question de se faire une place dans le milieu ou simplement un manque d'ambition? Ce manque d'ambitions pourrait être le fait de pleins de paramètres, souvent eux-mêmes liés au sexisme dans notre société. Quelques exemples:
- pour beaucoup de femmes, la cuisine est vue comme une corvée, pas un plaisir ou une passion. Parce que depuis toutes petites elles voient leur maman et grand-maman cuisiner pour toute la famille.
- le fait que la majorité des chefs étoilés soient des hommes fait que peu s'y identifient. Si elles vont faire carrière dans la cuisine, ce serait plutôt dans la cuisine de maison (petits restaurants de cuisine familiale, plats à emporters) ou fonctionnelle (cantines, etc.) Un peu comme un serpent qui se mord la queue.
- idem pour les juges/guides qui travaillent pour l'établissement des étoiles.
Cette phrase me fait me demander un truc au niveau juridique.
Si vous recherchez des offres d’emploi en tant que jeune homme, […] si vous recherchez exactement la même chose en tant que jeune femme
Est-ce seulement légal, en Europe ou du moins en France, de proposer de chercher du travail en tant qu'un genre spécifique ? Ça ne devrait à aucun moment pouvoir être un critère de filtrage ou de sélection en début de processus, jusqu'au moment du contact direct, du moins. Car ensuite il peut y avoir un critère qui va privilégier, à compétences égales, l'embauche d'une femme sur une homme, si l'employeur a un mauvais indice de parité hommes/femmes et souhaite y remédier, par exemple (ou l'inverse, il y a des milieu dans lesquels les hommes sont rares).
# le sexisme des IA, hérité des comportements humains sur lesquels elles se basent, (encore) prouvé
Posté par nico . Évalué à 9. Dernière modification le 27 janvier 2024 à 16:57.
j'ai corrigé le titre.
l'article ne précise à aucun moment qu'un modèle de langage n'invente rien mais synthétise simplement ce sur quoi il est basé; il est juste en mode « les vilains robots sont méchants, et en plus il vont nous prendre nos emplois »
j'aime bien U&R mais tout leur contenu « IA » a l'air quand même sensationnaliste voir putaclick, ça décrédibilise pas mal leur propos.
[^] # Re: le sexisme des IA...
Posté par Maderios . Évalué à -8. Dernière modification le 27 janvier 2024 à 21:24.
Pour être plus précis, le sexisme des IA n'est pas hérité des comportements "humains" mais du comportement d'une moitié de l'humanité, les hommes. Les IA étant programmées par les hommes qui sont très majoritaires dans l'informatique, elles ne font que refléter l'idéologie patriarcale dont une des conséquences est le sexisme.
À ce propos, un article du Monde datant de 2017 : L’intelligence artificielle reproduit aussi le sexisme et le racisme des humains
[^] # Re: le sexisme des IA...
Posté par Renault (site web personnel) . Évalué à 10.
Il est peu probable que le sexe des développeurs aient une grande importance ici.
Les algorithmes ne sont pas le fondement du problème ici, ce sont les données avec lesquelles elles sont entraînées. Quand ton corpus de données a beaucoup d'ouvrage, de textes et autres avec du racisme et du sexisme dedans que nos sociétés ont été ainsi pendant des siècles, et comme ces algorithmes sont surtout des machines statistiques ils vont recracher ce qu'ils ont vu.
Tu prendrais les mêmes algos avec des données sans ces biais le résultat serait radicalement différent, pourtant les codeurs sont les mêmes. Et tu ne les ferais lire que des documents nazis le résultat sera là encore différent.
C'est une limitation forte des modèles actuels qui ont besoin de beaucoup de données et que cette masse de données a beaucoup de contenu problématique. De fait ils vont reproduire les mêmes schémas.
[^] # Re: le sexisme des IA...
Posté par aiolos . Évalué à 1.
Sans être forcement des développeurs, il y a bien des gens qui ont décidé d'entraîner ces IA sur des données non filtrées venant d'internet…
[^] # Re: le sexisme des IA...
Posté par fearan . Évalué à 5.
comme précisé précédemment, c'est entrainé sur masse données, plus que ce que tu pourrais lire en une vie, filtrer en amont sur ce qui est 'bien' va de toutes façon fournir un biais sur ce qui est 'bien'.
Il faut oublier l'idée d'avoir quelque chose de neutre (de toutes façon ne neutre l'est surtout d'un point de vue), et demander que les éléments générés par IA (image, texte, modèles 3D) soient obligatoirement précisés, avec un petit laius disant que le texte a été généré et comporte des biais liés a son corpus d'entrainement.
Plutôt qu'amputer les modèles et perdre du temps à corriger des biais au risque d'en ajouter d'autre, prévenir et éduquer me semble plus raisonnable.
Oh tu peux leur filer des ouvrage de référence d'éducation de jeune fille au XIXe, ça vient pas d'internet, mais ça reste sacrément sexiste ;) Tu peux aussi ajouter les textes religieux, y'a une belle couche, le problème n'est pas que ça vienne d'internet, le soucis est que la quantité d'ouvrage disponible aujourd'hui est le fruit de quelques millénaire de civilisation très sexistes
Il ne faut pas décorner les boeufs avant d'avoir semé le vent
[^] # Re: le sexisme des IA...
Posté par Thomas Douillard . Évalué à 5.
Avec le même raisonnement pas de problème à rajouter Mein Kampf dans le corpus et risquer de voir l’IA insérer un laïus raciste dans un doc autogénéré lâché dans la nature sur le net.
Pourtant avant de les lâcher dans la nature il y a une phase pour tenter de faire en sorte que les modèles ne ressortent absolument pas n’importe quoi, des pre-prompt et de
(en anglais)
Dans un monde idéal, tout le monde est éduqué, parfaitement rationnel, pas raciste et ouvert. Dans la réalité, il y a des niveaux d’éducation variable et l’humain est imparfait et influençable, et il y a des évidences que le simple fait de répéter une connerie suffisamment de fois la rend plus facilement digérée et "crédible".
[^] # Re: le sexisme des IA...
Posté par fearan . Évalué à 1.
Bof on a bien du lui filer le premier testament qui préconise le génocide pour éviter que les descendant ne revienne se venger; ça fait parti des bouquins les plus édité au monde. D'ailleurs dans le même on songe même jusqu'à sacrifier un gosse au Dieu, avant de se raviser.
Yep, et comme on a fait ça y'a un paquet de gens qui trouvent amusant de trouver comment contourner les restriction et la presse qui s'en régale disant que tel ou tel outil de génération de texte a dit ça, et on trouve d'autre modèle n'ayant pas été bloqués.
fermons reddit, tous les forums, et les réseaux sociaux!
Il ne faut pas décorner les boeufs avant d'avoir semé le vent
[^] # Re: le sexisme des IA...
Posté par Thomas Douillard . Évalué à 4. Dernière modification le 29 janvier 2024 à 09:54.
"Je ne suis pas d’accord avec ce qu’il dit, mais je me battrai toujours pour que chatGPT puisse le dire". Ça compile pas.
Note que pour les réseaux sociaux, les états gueulent si c’est pas modéré comme il faut.
[^] # Re: le sexisme des IA...
Posté par fearan . Évalué à 7.
Je suis pour que systématiquement le contenu généré soit tagué comme tel.
On a dans la littérature un paquet d'éléments qui sorti de leur contexte sont problématique, voir tout simplement problématique, la civilisation dépeinte dans le meilleurs des mondes n'est pas souhaitable, on peut aussi parler de 1984; on a un paquet de dystopie, et si on regarde le passé historique, c'est pas vraiment mieux, entre génocide, drogue, pillage, ségrégation par caste ou raciale…
Si on prends la littérature de fantasy on a souvent un élu ou un messie qui va sauver le monde; ou de prophétie qui va s'accomplir quoiqu'on fasse. Si tu prends les romans policiers, t'as une quantité de meurtre hallucinante. Si tu lui files les articles de journaux tu auras surtout ce qui se passe mal.
Et oui comme y'a des gens qui ne comprennent pas Rambo 1, tu auras des gens qui prennent les réponses des générateurs de langage comme la vérité vraie, mais rappeler systématiquement en tête des réponse (et le rappeler a intervalle régulier) que ce sont des résultat générés par statistique et n'ayant que peu de prise avec le réel me semble bien plus efficace que tenter de filtrer et configurer le bouzin; cela n'empêche nullement de vouloir configurer (en amont en filtrant, ou en aval en filant des pré-prompt) l'outil pour des besoins spécifiques, mais demander à ce qu'ils soient systématiquement neutre ne peut conduire qu'a un biais et des erreur d'interprétation, et des petits malin qui prendront plaisir à leur faire dire n'importe quoi.
Il ne faut pas décorner les boeufs avant d'avoir semé le vent
[^] # Re: le sexisme des IA...
Posté par Thomas Douillard . Évalué à 3.
Bof. Je doute que ce soit faisable en pratique d’imposer cette règle, impossible à vérifier. L’effet est à démontrer aussi. J’imagine que si l’usage de ce type d’outil tend à devenir omniprésent il y aurait une notice "tout ou partie de ce texte a été généré par un robot" ben il y en aurait simplement partout, ce qui est pareil de dire qu’il n’y en aurait nulle part.
[^] # Re: le sexisme des IA...
Posté par fearan . Évalué à 4.
Tu auras toujours des gens pour ne pas la respecter, tout comme des gens film de la fiction qu'ils présentent comme la réalité ou prennent des image d'un conflit pour en illustrer un autre. Voir des images d'assemblé pleine alors que y'a juste 15 députés présents.
Pour les images retouchées on a imposé la mention, et c'est plutôt respecté, sur l'effet de le signaler je ne sais pas si c'est efficace; mais c'est a minima plus honnête.
Bref des gens malhonnête y'en aura toujours, que les élément de chat généré visible de tout un chacun soient modérés selon les règles en vigueur me semble une contrainte raisonnable, et même souhaitable (on pourrait même entraîner des bot PG-kekchose); que l'on modère les sessions privées au nom d'un puritanisme d'un autre âge revient a censurer la fiction. Et les gens malhonnête se foutront des contraintes que tu veux imposer a tout le monde, ils iront prendre un modèle dont les données d'entrée n'ont pas été filtrées, voire même volontairement biaisées, et l'afficheront sur leur page de journal/blog/forum.
Il ne faut pas décorner les boeufs avant d'avoir semé le vent
[^] # Re: le sexisme des IA...
Posté par Thomas Douillard . Évalué à 5.
A part les grands médias et les pubs, et encore, je vois jamais de mention "retouché" ou presque. Pourtant on voit des images en permanence de nos jours.
[^] # Re: le sexisme des IA...
Posté par Misc (site web personnel) . Évalué à 4.
De ce que j'ai compris, les données sont filtrés mais à minima. Par exemple, ChatGPT utilisé un jeu de données dérivé de CommonCrawl et filtré à minima pour la qualité, (cf une ref WP).
Et il faut énormément de données pour entraîner l'IA. Ce papier de 2022 donne la taille de MassiveText, avec ~10 T de texte sachant que sur les 10T, wikipedia an en anglais fait quelques gigas (pour donner un ordre de grandeur). Le papier estime qu'il y a grosso modo 1012 mots dans des jeux de données hautes qualités (donc 1000 milliards de mots, donc à vue de nez, 10 millions de livres, c'est l'ordre de nombre de documents à la BNF).
Et ça, c'est pour les données "hautes qualités". Si tu rajoutes les données basse qualités, ça va de 100 fois plus pour un acteur avec des thunes comme Google à 1000 fois plus si tu combines tout les acteurs, et 10 000 fois plus si tout le monde sur la planète se mets à produire des données sur plusieurs années (partie IV A de l'article).
Donc il est fort possible que le filtrage ne soit pas économiquement possible dans l'état des ressources actuelles, que ça soit humain ou machine.
En 2021, un papier que j'ai trouvé sur ArXiv le dit:
"However, analyzing the Common Crawl would require computational resources far in excess of what is available to most research institutions."
L'article explique aussi la difficulté de filtrer ça avec les méthodes automatiques:
"Qualitative analysis of a sample of sites flagged by each approach showed that while n-grams picked up on racial slurs, HateSonar also detected debates about racial supremacy and racially-charged conspiracy theories."
Y a pas de miracle sur le filtrage, tout comme y a pas de miracle sur la modération.
Ensuite, on peut se poser la question de savoir si on aurait du se poser la question avant, mais c'est sans doute la même question que sur l'ouverture des ondes hertzienne pour la télé, les radio pirates ou autres choses autour de la libéralisation des communications.
# Pas convaincu
Posté par Florian.J . Évalué à 3. Dernière modification le 27 janvier 2024 à 23:06.
Encore un truc sans intérêt où il faut s’indigner du vent qui souffle.
Si un bot est stéréotypé, ça n'est pas parce qu'on lui a appris à l'être spécifiquement, c'est simplement que le corpus de données l'est car la société l'est.
Car bordel mais c'est simple à comprendre que nous correspondons tous à certains stéréotypes, hommes, femmes, européens, africains, asiatiques, etc…
Il n'y a rien donc rien d'étonnant que ça se retrouve sur une IA.
Maintenant où est le problème ? Est ce que cela empêche pour autant l'accès à l'emploi ?
Il ne s'agit à priori que d'un bot d'orientation, rien de plus.
Si une femme veut réellement bosser dans l'informatique, c'est quand même pas un bot d'orientation qui va l'empêcher non ?
Le sexisme dans l'absolu serait d’interdire l'accès à l'emploi des femmes sur certaines branches, hors ça n'est évidemment pas le cas ici.
J'ai bossé dans le bâtiment en étant gaucher.
Si j'avais dû être choqué à chaque fois que j'ai eu droit à une réflexion sur les gauchers et leur habileté manuelle, je pourrai avoir la même psyché que les féministes, c'est à dire dépressif et un besoin constant de fabriquer un contre modèle totalement hors sol.
La réalité c'est que 90% de la population est droitière c'est comme ça et il n'y a rien à y faire et c'est probablement bien comme ça, l'histoire a prouvé qu'il vaut mieux laisser faire la nature et que quand l'humain choisi par constructivisme d'aller contre la nature, ça se termine généralement mal.
Si un bot a un biais qui propose par défaut aux femmes d'être infirmière ou prof, c'est pas de la méchanceté, c'est simplement un reflet de la réalité (et encore une fois, ça n'est qu'une orientation par défaut, il n'y a pas une méchant blanc patriarcal qui va vous taper sur les doigts si vous cochez une autre case).
Sans oublier que pour "lutter" contre ça (faut vraiment avoir que ça a faire mais soit), il faut introduire des biais qui ne sont que le reflet de la subjectivité des auteurs mais certainement pas la réalité.
Si vous souhaitez réellement avoir des IA utiles, le mieux ne serait il pas qu'elle correspondent ce qu'est la société et non pas à ce que vous souhaiteriez qu'elle soit ?
[^] # Re: Pas convaincu
Posté par barmic 🦦 . Évalué à 2.
Ce n'est pas une question de réalité à aucun moment. On est pas dans le cadre de la représentation de la réalité, mais dans celui de l'aide à la décision. Il y a peut-être forcément des biais à ce genre d'application, mais le fait de les informatiser peu poser 2 problèmes :
La question n'est pas de s'offusquer, mais de savoir que ça existe, de comprendre comment ça fonctionne et d'en parler. Le fonctionnement des réseaux de neurones est a ça d'humains qu'il tente d'aller au plus simple. Si ton jeu de données initial est mal construit, tu peux volontairement ou non créer des biais non souhaitables. L'IA peut avoir décrété qu'un homme ne peut pas devenir infirmier ou qu'il est strictement impossible qu'une femme soit dans l'armée.
Ce n'est pas une question de réalité, c'est une question de est-ce qu'on souhaite que cette IA ai ce genre de biais et, si oui communiquer dessus pour bien s'assurer que les utilisateurs en sont conscient
https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll
[^] # Re: Pas convaincu
Posté par Florian.J . Évalué à 1.
On a très peu de détails techniques mais l'article cite le ministère du travail Autrichien:
Autrement dit, c'est bien un bot d'orientation, il ne prend pas de décision (et encore heureux, les IA génératives sont encore trop aléatoires).
Et puis de toute manière je suppose que c'est bien la personne qui cherche un emploi qui rempli son dossier avec ses qualifications, le bot est simplement un assistant conversationnel.
Encore une fois peu de détails technique mais est probable que le bot soit plutôt un llm type GPT ou Mistral et qu'il utilise la méthode RAG.
Autrement dit de l'injection d'instructions en fonction du contexte d'après les informations tirées d'une base de donnée.
C'est beaucoup plus simple à mettre en place (pas besoin d’entraîner le modèle, un llm généraliste suffit), c'est beaucoup plus précis pour réaliser une tâche spécifique, c'est facilement modifiable (suffit de changer la façon dont on sélectionne les données à injecter) et ça utilise des données en temps réél sans avoir à mettre à jour le modèle tous les mois.
Du coup on peut supposer que si tu coche uniquement la case femme (et uniquement ça, car c'est pas précisé dans l'article mais je suppose que si vous ajoutez une qualification quelconque, les réponses changent radicalement), le modèle renvoi les choix de métiers les plus probables en fonction du peu de donnée qu'il a.
Donc je vois vraiment pas où est le problème, c'est juste le reflet de la réalité du terrain.
Le meilleur moyen de couper cours à toute polémique serait de le rendre libre, peut être même est ce le cas, mais ça n'est pas en pinaillant sur des broutilles avec ce genre d'article racoleur qu'on avancera.
[^] # Re: Pas convaincu
Posté par Misc (site web personnel) . Évalué à 6.
Non. Primo parce que ce qui est utilisé, c'est pas des données statistiques du terrain, mais l'idée que les gens se font du terrain via les textes utilisés pour entraîner le LLM. Ensuite parce que c'est pas les idées des gens du terrain, mais l'idée qu'une sous partie de la population se fait du terrain, à savoir la population qui a le temps/le droit/les moyens de poster sur le web, ou qui a eu le temps/le droit/les moyens d'écrire sur certains sujets depuis toujours (la composante temporelle est aussi assez peu discuté, mais si tu prends des livres dans les datasets, et que tu as les livres des années 50, tu va en effet avoir des idées différentes sur la place de la femme, et ne parlons pas du domaine public qui va être encore plus vieux ).
C'est comme extrapolé un micro trottoir à Paris avec 10 personnes dans le 16eme comme étant l'avis de la population française.
Ou d'extrapoler l'avis de la même population sur la base des commentaires ici.
Les jeux de données sont dispos (MassiveText, CommonCrawl, etc), et il y a des modèles libres (vu que les algos sont publiés et implémentés). Le techno-solutionisme libriste n'a visiblement pas fait l'effet escompté sans doute parce que le libre ne va pas aider quand il te faut 1 million de crédit pour entraîner le modèle.
Un LLM, même libre, ça serait comme avoir un logiciel de la taille de firefox de 2023 à l'époque des 486. Si tu as besoin de 6 mois pour compiler le code, ou d'avoir du matériel du futur, c'est mort.
La vraie raison, c'est que le filtrage serait sans doute impossible dans un délai qui ne nuirait pas à la victoire de la ruée vers l'or en cours. La marché va récompenser les plus rapides, donc ne pas filtrer est une façon d'être plus rapide.
Et ça, c'est en supposant que le filtrage soit possible en premier lieu, ce dont je doute (cf un autre commentaire plus tôt).
[^] # Re: Pas convaincu
Posté par Florian.J . Évalué à 0. Dernière modification le 28 janvier 2024 à 12:36.
Je pense que tu n'a pas lu mon message en entier.
Bossant pas mal avec des llm (et leur déploiement), je doute vraiment qu'ils se soient emmerdés à entraîner un nouveau modèle, même en adaptant un modèle existant, les données viennent probablement d'une base de données.
D'ailleurs vu qu'ils s'agit d'une agence officielle de recherche d'emploi, c'est assez facile d'avoir des statistiques sur les profils de recherche d'emploi, non ?
Et je trouve tout à fait spécieux de remettre en question les données du web (autrement dit la méchante société), alors qu'elles sont aussi diverses qu'il y a d'opinions.
Donc globalement les llms n'ont pas d'opinion propres, ils sont neutres et suivent plus ou moins bien les instructions qu'on leur donne.
Si tu dis à un llm de suivre des instructions elle même générées dynamiquement depuis les informations tirées d'une base de donnée, il n'y a aucun biais
(nonobstant les hallucinations possibles).
Et c'est pour cela que je disais qu'il valait mieux ouvrir le code du service, ça permettrait de voir si oui ou non ce genre de débat a lieu d'être.
Faut arrêter de voir le mal partout.
[^] # Re: Pas convaincu
Posté par Renault (site web personnel) . Évalué à 5.
Ils ne sont pas neutres car ils reposent sur des données qu'ils ne le sont pas (et des données neutres dans notre société cela n'existe pas vraiment, il y a forcément des biais suivant les pays, périodes considérées, la manière dont les données sont collectées, agrégées, etc.).
C'est impossible d'avoir ce genre de système étant neutre car c'est un but impossible à atteindre, c'est comme avoir un être humain neutre, ça n'a pas beaucoup de sens. On peut s'en approcher en filtrant les données trop biaisées ou en ajoutant dans l’apprentissage des contre mesures mais ça sera forcément incomplet et imparfait.
Si dans ta BDD il y a une corrélation forte entre femme et une profession car la société dans laquelle on baigne favorise cette corrélation, il y a donc bel et bien un biais si le LLM reproduit ce schéma ce qu'il fera très probablement. Pour supprimer le biais ici il faudrait supprimer le genre et les noms dans les questions et dans les données car on considère que ce n'est pas important (de même que pour la couleur de peau ou de la religion).
Mais cela peut malgré tout être subtil, du genre si j'aime faire le tricot on va me proposer un poste d'infirmier car il y a une facteur de confusion entre les deux même s'il n'y a aucun lien entre les deux d'un point de vue activité.
Puis honnêtement, en 2010 j'en ai croisé des conseiller d'orientation, les conseils étaient tous des ramassis de clichés sur les professions et hobbies. Non seulement ils avaient une vues limités des possibilités, mais ça pouvait être aussi absurde que "tu n'as pas 20/20 en maths ? Tu ne peux pas être informaticien ou ingénieur". Et j'imagine qu'ils ont aussi des biais sexistes suivant leur âge et culture.
Donc de là à dire que les BDD liés à l'emploi ou gérés par ce genre de personnes ne souffrent d'aucun biais, bof.
[^] # Re: Pas convaincu
Posté par Florian.J . Évalué à -4.
Oulà on sent bien la prégnance idéologique de gauche, on est en pleine novlangue là.
La neutralité signifie que l'on ne prend pas parti, donc OSEF de l'orientation du corpus, on agrège tout ce qu'on trouve et on fait avec.
(ce qui est une très mauvais idée avec un llm, en particulier pour ses performances générales)
Ce que tu suggère s’appelle l'alignement et c'est tout sauf neutre, c'est précisément là où se trouve le biais qui conditionne l'orientation du llm.
Et de ce point de vu, les llms ne sont généralement clairement pas conservateurs !
L'alignement est nécessaire aux llms et est le principal élément de leur performances, mais quand je parlais de neutralité, je voulais dire que dans l'idée où cette IA serait probablement alimentée par un BDD et non pas par l'apprentissage d'un modèle spécifique, les données d'instructions viendrait de données statistiques.
Donc on est d'accord, c'est simplement le miroir de ce qu'est la société d'après des données statistiques.
Donc on peut appeler ça comme on veut, mais c'est pas un biais, c'est la réalité (encore une fois la novlangue).
Par ailleurs d'un point de vu strictement pratique, les gens cherchent des boulots suivant leurs qualifications et envies, donc si on considère que de nombreux métiers soient genrés est un problème, il faut s'attaquer à toute la population, femmes comprises, qui semble préférer -entre autre- les métiers sociaux aux métiers manuels.
J'ai bossé dans le bâtiment et il y a bizarrement pas beaucoup de femmes sur les chantiers. Est ce du sexisme ?
On "lutte" comment contre ça, en envoi des secrétaires qui bossent bien au chaud dans des bureaux l'hiver et avec la clim l'été bosser sur des chantiers ?
Là dessus je suis totalement d'accord, ça couperait l'herbe sous le pied des féministes.
Maintenant je suppose que les employeurs ont besoin de ce genre d'information, mais on pourrait simplement ignorer certaines informations dans les instructions du llm et se concentrer sur les diplômes.
Encore une fois, ouvrir le code permettrait de couper court aux polémiques.
Je doute que les personne qui ont déployés cette IA aient un quelconque rapport avec des conseillers d'orientation, c'est plus probablement un sous-traitant.
Et je doute d'ailleurs qu'il y ait une volonté de nuire à quiconque.
Faut arrêter avec ces délires de persécution perpétuels.
[^] # Re: Pas convaincu
Posté par Renault (site web personnel) . Évalué à 6.
Accepter d'utiliser un corpus loin d'être neutre avec plein de défauts connus n'est pas ce que j'appelle faire preuve de neutralité en ne prenant pas parti.
C'est prendre le parti pour une situation présente ou passée, cela reste un choix discutable.
C'est d'autant plus dommageable que beaucoup considèrent ces LLM comme des outils parfaits, ne pouvant se tromper car après tout ce sont des machines. S'ils gardent les mêmes biais que les humains cela va renforcer la société dans cette direction. Ce n'est pas très responsable.
Perso je part du principe que la neutralité n'existe pas vraiment dans ce dossier. C'est un objectif vain. La question est de déterminer des éléments à supprimer pour améliorer le résultat global en apprenant de nos erreurs passés. Je trouve très bien qu'il y ait des efforts pour éviter que ces outils ne recrachent des propos nazis facilement (même si c'est imparfait). Pourquoi ne pas faire de même dans d'autres contextes qu'on sait tout aussi problématique ?
C'est un biais car on part du principe que la situation actuelle est une sorte de fatalité. Sauf que la situation actuelle vient de processus documentés et anciens et qu'il faut mettre beaucoup d'effort pour rétablir la situation à une situation convenable.
Ne pas tenir compte du contexte de ces données c'est considérer qu'il n'y a aucun problème et rien à faire ce qui n'est pas très réaliste.
Le but d'un conseiller d'orientation c'est de se baser sur des compétences et envies, oui. Mais cela va au delà de ça.
L'objectif est que très souvent les demandeurs d'emplois n'ont qu'une vision parcellaire des emplois existants et des possibilités. Sans compter les préjugés existants pour certaines professions. En fait de manière générale à part quelques métiers courants on en connaît relativement peu et la vision qu'on en a de l'extérieur est souvent mauvaise.
Ce n'est pas pour rien que depuis quelques années beaucoup de secteurs d'activité, d'entreprises et autres font des portes ouvertes ou des vidéos promotionnelles pour élargir la vision des gens de ces métiers afin de gagner en visibilité pour avoir plus de candidats.
Et c'est l'objectif du conseiller d'orientation de faciliter le travail. Il est censé avoir une meilleure vision des emplois disponibles et des critères réels. Du coup il est normal qu'un conseiller d'orientation puisse soumettre à une femme un métier assez masculin car il n'y a rien qui ne justifie ce fait : le but est de casser l'image du métier et de proposer un emploi que la candidate n'aurait jamais envisagé d'elle même.
Si l'IA conseiller d'orientation reproduit les mêmes biais de notre société avec des images clichées en tête, il ne fera pas bien son travail et ne fera que de reproduire la situation existante.
Pas que le code, il faut les données et l'analyse de ces données !
Un LLM sans les données d'entrainement c'est une boîte noire, même avec le code et l'ensemble des facteurs qui la composent.
Et c'est je pense dans ce cas une erreur de toute façon, faut toujours s'aider des gens du métier pour comprendre les données disponibles, dont leurs limites, et les exploiter au mieux.
Car avec des données publiques mal comprises ou mal contextualisées on peut en conclure des conneries.
Tu mélanges tout.
Je ne dis pas qu'il y a volonté de nuire. Je dis qu'il y a négligence. Un peu comme tu le fais en mode "le monde est comme ça, je prends les données sans me poser de question et je crache des résultats, ça semble marcher donc je suis content". Il y a une responsabilité derrière ces outils, après tout il y a des implications et si on ne cherche pas à faire au mieux on va devant de gros problèmes.
Note que c'est d'ailleurs pareil avec d'autres outils avec des impacts plus concrets. Par exemple il y a un intérêt croissant pour utiliser des LLM dans un usage médical pour le diagnostic. Pourtant les limites sont analysées et existent, malgré le fait que ces données soient factuelles :
Tout cela justifie le fait de faire attention, à ne pas prendre les résultats sortis pour argent comptant, que ces données ne sont pas "neutres" car il y a de nombreux biais dedans et qu'il faut justement une collaboration entre médecin et développeurs ou analystes pour tenir compte de tout cela. Sinon le résultat sera mauvais.
Et c'est valable pour tout domaine.
[^] # Re: Pas convaincu
Posté par Gil Cot ✔ (site web personnel, Mastodon) . Évalué à 4.
En fait vous dites la même chose sauf que vous ne regardez pas aux mêmes endroits.
La machine/algo/ia-whatever reproduit fidèlement la réalité qu’elle/il a ingurgité et donc n’est pas biaisée ; tel est son propos.
Tu réponds qu’il faut corriger cette réalité (donc les biais en amont —et c’est là que vous ne vous êtes pas compris : un est en aval et l’autre est au bout opposé), ce qui dans le jargon s’appelle aligner/ajuster les données (et le silicium reste neutre.)
“It is seldom that liberty of any kind is lost all at once.” ― David Hume
[^] # Re: Pas convaincu
Posté par barmic 🦦 . Évalué à 7. Dernière modification le 28 janvier 2024 à 22:57.
Ce que Florian.J dis c'est que comme il reproduit la réalité il n'y a pas de problème, mon propos c'est que s'il contribue à amplifier les biais existant si.
https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll
[^] # Re: Pas convaincu
Posté par cg . Évalué à 5.
Oui, l'éducation qu'on reçoit en étant petit influence nos comportements, et ont vit tous plus ou moins dans les bulles sociales. L'ordi le reproduit, ok. Doit-on s'en satisfaire pour autant ? Certainement pas.
La réalité, c'est que grandir gaucher dans un monde de droitiers, c'est être habile de la main gauche et de la main droite, car certains outils ergonomiques sont prévus pour les droitiers. Serais-tu défaitiste ;) ?
Euh, non rien, je vais aller plier le linge, ça me calmera de lire des conneries pareilles…
[^] # Re: Pas convaincu
Posté par Florian.J . Évalué à -4. Dernière modification le 28 janvier 2024 à 17:23.
Je ne sais pas si c'est si grave, mais imaginons.
La résolution du problème ne risque t'il pas de créer des problèmes encore plus grand ?
A vouloir modeler les pensées, ne risque t'on pas d'aliéner les gens ?
Et créer des problèmes imprévus ?
Un peu comme en union soviétiques à ses débuts, ils ont dépossédés les propriétaires terriens considérés comme privilégiés.
Résultat famine et des millions de morts plus tard on est obligé d'assouplir (NEP de Lénine).
A choisir entre la liberté individuelle et l'égalitarisme, l'histoire à prouvé quel était le meilleur système.
Défaitiste non, je le vis très bien et je m'en fiche pas mal de ce qu'on peut dire des gauchers.
La différence, c'est que quand on est de droite on milite par pour que le reste de la société se conforme à soit.
On cherche à s'accomplir sans faire chier les autres.
[^] # Re: Pas convaincu
Posté par Gil Cot ✔ (site web personnel, Mastodon) . Évalué à 4.
Attention, être de droite c’est vouloir conserver la société telle qu’elle est et qui nous arrange au fond.
“It is seldom that liberty of any kind is lost all at once.” ― David Hume
# C'est au contraire féministe...
Posté par Tanouky . Évalué à 4. Dernière modification le 28 janvier 2024 à 10:14.
…la cuisine, c'est mieux que l'informatique.
[^] # Re: C'est au contraire féministe...
Posté par Ysabeau 🧶 🧦 (site web personnel, Mastodon) . Évalué à 8.
La plupart des chefs étoilés sont des chefs, pas des cheffes ! Les femmes ont du mal à se faire une place dans ce milieu à ce niveau.
« Tak ne veut pas quʼon pense à lui, il veut quʼon pense », Terry Pratchett, Déraillé.
[^] # Re: C'est au contraire féministe...
Posté par Gil Cot ✔ (site web personnel, Mastodon) . Évalué à 3.
Du coup, le titre est faux ? Aux hommes aussi la cuisine…?
“It is seldom that liberty of any kind is lost all at once.” ― David Hume
[^] # Re: C'est au contraire féministe...
Posté par Psychofox (Mastodon) . Évalué à 3.
T'es au courant que la cuisine, c'est pas juste une histoire de chefs étoilés?
[^] # Re: C'est au contraire féministe...
Posté par Psychofox (Mastodon) . Évalué à 2.
Est-ce une question de se faire une place dans le milieu ou simplement un manque d'ambition? Ce manque d'ambitions pourrait être le fait de pleins de paramètres, souvent eux-mêmes liés au sexisme dans notre société. Quelques exemples:
- pour beaucoup de femmes, la cuisine est vue comme une corvée, pas un plaisir ou une passion. Parce que depuis toutes petites elles voient leur maman et grand-maman cuisiner pour toute la famille.
- le fait que la majorité des chefs étoilés soient des hommes fait que peu s'y identifient. Si elles vont faire carrière dans la cuisine, ce serait plutôt dans la cuisine de maison (petits restaurants de cuisine familiale, plats à emporters) ou fonctionnelle (cantines, etc.) Un peu comme un serpent qui se mord la queue.
- idem pour les juges/guides qui travaillent pour l'établissement des étoiles.
# Est-ce légal ?
Posté par cg . Évalué à 5.
Cette phrase me fait me demander un truc au niveau juridique.
Est-ce seulement légal, en Europe ou du moins en France, de proposer de chercher du travail en tant qu'un genre spécifique ? Ça ne devrait à aucun moment pouvoir être un critère de filtrage ou de sélection en début de processus, jusqu'au moment du contact direct, du moins. Car ensuite il peut y avoir un critère qui va privilégier, à compétences égales, l'embauche d'une femme sur une homme, si l'employeur a un mauvais indice de parité hommes/femmes et souhaite y remédier, par exemple (ou l'inverse, il y a des milieu dans lesquels les hommes sont rares).
# l'humanité..
Posté par tkr (Mastodon) . Évalué à -1.
l'humanité a une quantité plus grande de défauts que de congénères, si on doit tous les traiter un par un, c'est pas un millénaire qu'il faudra..
[^] # Re: l'humanité..
Posté par nico4nicolas . Évalué à 2.
Et alors ? Est-ce une raison pour n'en traiter aucun ? Est-ce que le but est de tous les traiter ?
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.