Journal Les dangers des traductions et résumés automatiques par IA : un exemple

Posté par  (site web personnel, Mastodon) .
27
28
août
2023

Bonjour, Nal,

Aujourd’hui, un superbe exemple des problèmes que peuvent poser les outils de traduction et résumé par IA, aimablement fourni par Bard sur LinuxFR.org.

Pour bien comprendre le problème, je te conseille de lire d’abord cet article en anglais (technique mais plutôt clair – je crois ?), puis ce résumé-traduction qu’en a fait Bard. Si tu as du mal avec l’anglais technique, raphj a détaillé les principaux problèmes de ce résumé-traduction ici.

Comme on peut le constater, le résultat est – sur cet exemple au moins – très mauvais. C’est dommage, parce que c’est le genre d’outil qui pourrait être extrêmement utile : un bon résumé-traduction, ça permet de facilement savoir si c’est intéressant de se plonger dans les détails d’un texte long et complexe. Ça aide aussi énormément les personnes qui ont du mal avec une langue qui n’est pas la leur, et pour qui lire le texte d’origine demanderait beaucoup d’efforts – voire serait impossible.

L’énorme problème ici – et souvent avec l’IA –, c’est que le résultat n’est pas évidemment mauvais si on a pas déjà connaissance du texte d’origine ; et la première phrase du commentaire qui contient le résumé (avant le résumé en lui-même) le prouve.

Avec les vieux systèmes de traduction automatiques, on avait souvent du mot-à-mot, des expressions calques ou des phrases qui ne voulaient rien dire ; mais l’aspect complètement bancal du résultat donnait l’alerte. Ici, rien de tout ça : en apparence, le texte produit est propre et cohérent, en particulier cohérent avec lui-même. Mais il contient d’énormes erreurs par rapport au texte d’origine, qu’il est censé traduire et résumer.

On se retrouve donc avec ce paradoxe d’un outil qui pourrait nous faire gagner énormément de temps en traductions et résumés ; mais qui est tellement peu fiable qu’il impose de connaitre le texte d’origine pour pouvoir détecter les éventuelles erreurs… ce qui casse une grosse partie de son intérêt.

Alors, sans doute que parfois ça marche. Peut-être même que souvent ça marche. Mais souvent n’est pas assez (pensez à une reconnaissance de caractère qui marcherait dans 90 % des cas… et serait donc inutilisable parce que vous devriez corriger un mot sur deux). Surtout quand les erreurs produites sont à la fois aussi massives (contresens total, pures inventions…) et difficiles à détecter.

Donc, attention avec ces outils. Ils peuvent être très pratiques quand on est en capacité de vérifier leur sortie (aide à la traduction d’un texte, traduction ou résumé d’un texte qu’on a soi-même produit et dans une langue que l’on sait lire pour vérification…). Mais évitez de les utiliser si vous n’êtes pas en capacité de vérifier le résultat produit.

Si vous voyez d’autres cas d’usages, d’autres avertissement sur ces outils, les commentaires sont là pour vous.


Ce journal est sous licence Creative Commons Attribution (CC BY) 4.0.

  • # Je confirme

    Posté par  (site web personnel) . Évalué à 10.

    Surtout quand les erreurs produites sont à la fois aussi massives (contresens total, pures inventions…) et difficiles à détecter.

    J'utilise souvent la traduction automatique pour me simplifier la vie, mais clair, heureusement que je connais d'une le sujet du texte et un peu la langue, je suis quelque fois tombé sur des affirmation de l'inverse de ce que dit le texte original, alors que le texte original n'était vraiment pas compliqué, mon faible niveau sur la langue me permettait déjà de comprendre que non la traduction n'était pas bonne.
    Donc vraiment, la traduction même sans résumer, faut pas utiliser les yeux fermés du tout, et encore moins les résumés encore plus sujets à erreurs.

    ça reste aujourd'hui de la poudre aux yeux car ça marche parfois et ça fait rire, faut pas non plus trop s'y fier si le sujet est important.

    Si vous voyez d’autres cas d’usages, d’autres avertissement sur ces outils, les commentaires sont là pour vous.

    Pour la traduction, ça aide des traducteurs à faire une première passe vite fait pour ensuite lecture des 2 versions et adapter, ça reste plus rapide que de traduire à l'ancienne.
    Pour le résumé, pour le jeu de démonstration technologique et récupérer des sous d'investisseurs qui y croient pour se barrer avec la caisse avant que ça coule? Rappelons que les plus grands gagnants de la ruée vers l'or sont les vendeurs de pelles (le vendeurs de pelles IA se font de la thune pas mal en ce moment…)

    Tient, sinon, pour de la traduction sans aucun contexte (et l'IA actuelle reste pas si loin que ça de ce genre de chose, une dico va donner plusieurs traductions, un traducteur auto donne "la" traduction), et personne n'a tilté:


    (source)

    • [^] # Re: Je confirme

      Posté par  (site web personnel) . Évalué à 7.

      Pour la traduction, ça aide des traducteurs à faire une première passe vite fait pour ensuite lecture des 2 versions et adapter, ça reste plus rapide que de traduire à l'ancienne.

      Ce n'est même pas sûr suivant le taux d'erreurs et les problématiques notamment de styles.
      Car reformuler c'est souvent compliqué, parfois plus que de trouver de zéro la bonne formule car tu as un phénomène d'ancrage, et rendre le style cohérent peut vite devenir délicat en ayant besoin de retraduire pas mal de textes pourtant justes.

      Mais ça, c'est aux gens du métier de tester et de voir le gain potentiel ou pas.

      • [^] # Re: Je confirme

        Posté par  (site web personnel, Mastodon) . Évalué à 4. Dernière modification le 28 août 2023 à 13:22.

        Les tarifs de traduction prévoient l'utilisation (moins cher payé) ou pas d'outils automatiques.

        Oui ça fait gagner du temps sur certains types de texte, et à condition d'avoir des traducteurs et des traductrices bons et des vraies relectures. Déjà sans traduction automatique, tu as des traductions qui sont pourries : quasiment du mot à mot ou avec des contresens, etc.

        « Tak ne veut pas quʼon pense à lui, il veut quʼon pense », Terry Pratchett, Déraillé.

        • [^] # Re: Je confirme

          Posté par  . Évalué à 4.

          En effet, j'ai deja utilisé ces entreprises de traduction qui utilise des outils en partie automatisés. Il faut se mettre d'accord sur un lexique des mots techniques.
          Par exemple, un logement qui se transforme en "Home" ou équivalent à la place d'un logement de roulement.

          A aujourd'hui, la relecture par un humain compétent et parlant la langue dans le domaine reste nécessaire.

          • [^] # Re: Je confirme

            Posté par  . Évalué à 4.

            C'est de la post-édition (Post-Editing), qui se décline en Light Post-Editing et en Full Post-Editing.

            Cela fait partie des évolutions que ma profession (traducteur) a dû traverser.

            En gros, on fait le travail de Madame pipi après le passage de l'IA pisseuse de traductions automatiques.

            Et outre les problèmes évoqués, celui de la cohérence.

            • [^] # Re: Je confirme

              Posté par  (Mastodon) . Évalué à 1.

              Précision : la distinction entre postédition légère et full a été introduite avec les systèmes antérieurs (systèmes SMT ante IA - dans les faits, la démarcation entre l'une et l'autre forme de postédition est souvent "floue", en tout cas redéfinie dans chaque cas de figure concret…) ; aujourd'hui, on entend dire qu'avec les nouveaux modèles (IA), les tâches liées à la postédition légère ne sont plus nécessaires et je suis assez d'accord.

              Par contre, pour la cohérence et la cohésion textuelles, effectivement, il y a encore du boulot (même si le nombre d'erreurs liées à ces dimensions d'un texte me semble avoir diminué avec les systèmes IA).

    • [^] # Re: Je confirme

      Posté par  . Évalué à 10. Dernière modification le 28 août 2023 à 13:48.

      En même temps, 1,05 € pour un croissant, pff, c'est vrai que ça augmente…

      • [^] # Re: Je confirme

        Posté par  . Évalué à 1.

        Et il y a un "s" en trop à "euros" donc même en français…

        • [^] # Re: Je confirme

          Posté par  . Évalué à 0. Dernière modification le 29 août 2023 à 11:28.

          • [^] # Re: Je confirme

            Posté par  (site web personnel) . Évalué à 1.

            J'aime bien Le Robert

            hormis que… (au bas de la page que tu donnes en lien), je cite :

            Ces exemples proviennent de sites partenaires externes. Ils sont sélectionnés automatiquement et ne font pas l’objet d’une relecture par les équipes du Robert.

            Larousse est inutilisable en ligne (hormis passer par le mode lecture de Firefox Ctrl+Alt+R ô_O)

            Heureusement, il y a le wiktionary qui indique le pluriel pour euro :-)

            • [^] # Re: Je confirme

              Posté par  . Évalué à 0. Dernière modification le 29 août 2023 à 14:15.

              Heureusement, il y a le wiktionary qui indique le pluriel pour euro :-)

              Oui mais la section "définition" du "Robert officiel" (et non sites externes) donne la réponse à la question posée, l'accord au pluriel du mot, point besoin de la section "exemples" ni wiktionary pour cela.

              Définition de euro ​​​
              nom masculin
              Monnaie unique européenne. Billet de dix euros. La zone euro : les pays de l'Union européenne où l'euro a cours.

              • [^] # Re: Je confirme

                Posté par  . Évalué à 3.

                Je ne comprends pas, que ça soit "euro" ou "vache" ce n'est pas différent puisque

                En français, on considère que le pluriel commence à 2. Tout ce qui est inférieur à 2, fût-ce 1,99, reste au singulier

                Donc 1,05 euro s'écrit sans "s". Est-ce que je me trompe ?

                • [^] # Re: Je confirme

                  Posté par  (site web personnel, Mastodon) . Évalué à 4. Dernière modification le 29 août 2023 à 15:38.

                  Non, tu ne te trompes pas, en effet, parce que ça fait moins que deux et que le pluriel commence à partir de deux. C'est une réponse très sérieuse, je précise.

                  Pour compléter (ça n'a rien à voir, mais quand même ça peut servir), plusieurs c'est à partir de trois.

                  « Tak ne veut pas quʼon pense à lui, il veut quʼon pense », Terry Pratchett, Déraillé.

                  • [^] # Re: Je confirme

                    Posté par  . Évalué à 3.

                    Merci pour cette réponse. Je n'ai pas compris le sens des réponses précédentes.

                    Pour compléter (ça n'a rien à voir, mais quand même ça peut servir), plusieurs c'est à partir de trois.

                    Je l'ignorais et je suis allé vérifier. Cela semble être le cas le plus fréquent mais employer "plusieurs" à partir de 2 semble également être accepté. Le wiktionnaire l'exprime ainsi :

                    Un certain nombre, un nombre indéfini mais facilement dénombrable, supérieur à un et le plus souvent à deux mais cela peut être trois.

                    Le centre national des ressources textuelles et lexicales va dans le même sens :

                    Adj. indéf. plur., masc. ou fém. Un certain nombre, le plus souvent peu élevé, plus de deux (parfois seulement plus d'un)

                    Même le Robert partage avec cette définition :

                    Plus d'un (en général, plus de deux), un certain nombre.

                    • [^] # Re: Je confirme

                      Posté par  (site web personnel) . Évalué à 5.

                      Merci pour cette réponse. Je n'ai pas compris le sens des réponses précédentes.

                      Je pense qu'ils n'ont pas lu ton lien et faisaient référence au fait que euro est invariable sur les pièces / billets ce que certains ont abusivement généralisé au delà de ce contexte.

                  • [^] # Re: Je confirme

                    Posté par  . Évalué à 4. Dernière modification le 29 août 2023 à 21:35.

                    Pour compléter (ça n'a rien à voir, mais quand même ça peut servir), plusieurs c'est à partir de trois

                    Jamais vu cela nulle part.

          • [^] # Re: Je confirme

            Posté par  . Évalué à 3. Dernière modification le 29 août 2023 à 17:28.

            J'ai peut-être mal lu, mais je ne vois pas où ça contredit/explicite ce qui précède, à savoir que pour 1,9 truc on ne met pas de s à "truc", on ne le met qu'à partir de 2 trucs, ton lien ne parle pas de ça, me semble-t-il.

    • [^] # La question clé : Quel est le degré de tolérance aux erreurs ?

      Posté par  . Évalué à 1.

      Bien évidemment, l'IA a fait des progrès spectaculaires.

      Mais au final, ce qui détermine le recours à cette technologie, c'est le degré de tolérance aux erreurs qui sont générées.

      Exemple tout frais, lors d'une post-édition de prétraduction machine dans la paire de langues DE > FR :

      Source :

      00000 = Zähler aus -> binär 0000 0000 0000 0000
      00001 = Zähler 1 ein -> binär 0000 0000 0000 0001
      00003 = Zähler 1/2 ein -> binär 0000 0000 0000 0011
      00007 = Zähler 1/2/3 ein -> binär 0000 0000 0000 0111
      00511 = Zähler 1 bis 9 ein -> binär 0000 0001 11111 1111

      Cible :
      00000 = Compteur désactivé -> binaire 0000 0000 0000 0000
      00001 = Compteur 1 on -> binaire 0000 0000 0000 0001
      00003 = Compteur 1/2 on -> binaire 0000 0000 0000 0011
      00007 = Compteur 1/2/3 on -> binaire 0000 0000 0000 0111
      00511 = Compteur 1 à 9 on -> binaire 0000 0001 11111 1111

      Si on estime que la paire "on/désactivé" est acceptable, on peut considérer que l'IA fait le job.

      Perso, ma post-édition aboutira plutôt à "activé/désactivé".

  • # L'encrassement des sources de l'apprentissage de l'IA ?

    Posté par  . Évalué à 2. Dernière modification le 31 août 2023 à 08:50.

    Ton explication est plausible.
    Ce qui me fait supposer que les moteurs d'IA sont manifestement sensibles aux sources sur lesquelles ils basent leur apprentissage. Si en entrée ils exploitent des corpus "encrassés" (de qualité linguistique moindre), ces défauts vont se refléter avec une forte probabilité dans les énoncés généreux, qui seront, eux aussi défectueux.

    • [^] # Re: L'encrassement des sources de l'apprentissage de l'IA ?

      Posté par  (Mastodon) . Évalué à 2.

      Tout à fait. Et le problème va encore être amplifié à mesure que les nouveaux modèles seront entrainés avec du texte généré par AI. On risque d'avoir un problème de dégénérescence progressive dû à une diminution de la qualité des sources.

      Évidemment, il ne faudrait en théorie entrainer ces modèles qu'avec du texte écrit par des humains, mais en pratique, c'est très difficile à faire.

      • [^] # Re: L'encrassement des sources de l'apprentissage de l'IA ?

        Posté par  (site web personnel, Mastodon) . Évalué à 6.

        Évidemment, il ne faudrait en théorie entrainer ces modèles qu'avec du texte écrit par des humains, mais en pratique, c'est très difficile à faire.

        Surtout qu'il y a, sur internet en tout cas, quantité de texte de très mauvaise qualité, ceux écrits pour les robots indexeurs.

        « Tak ne veut pas quʼon pense à lui, il veut quʼon pense », Terry Pratchett, Déraillé.

        • [^] # Re: L'encrassement des sources de l'apprentissage de l'IA ?

          Posté par  . Évalué à 3. Dernière modification le 31 août 2023 à 12:05.

          Précisément. Et cette dégradation est multifactorielle. Ainsi, il suffit parfois d'une lettre intervertie ou oubliée pour contribuer joyeusement à la "merdification" ambiante (merci Ploum). Au final, entre les humains qui bafouillent (au clavier) et l'IA facétieuse, il semble qu'on applique la théorie du "ruissellement" en vrai grandeur. On se retrouve avec des textes crade à n'en plus finir.

          Exemple :

          Leistungsausnahme, (S3 20%) > Exception de performance
          Avec un "s" au lieu d'un "f". Mais il fallait lire :
          Leistungsaufnahme, (S3 20%) > Puissance absorbée (S3 20%)

          Ou : Scheissdruck > pression de merde
          Il manquait le "w". Ce qui donne, après correction :
          Schweissdruck > pression de soudage

      • [^] # Re: L'encrassement des sources de l'apprentissage de l'IA ?

        Posté par  (site web personnel) . Évalué à 3.

        On risque d'avoir un problème de dégénérescence progressive dû à une diminution de la qualité des sources.

        Je n'avais pas pensé à ça, mais en fait c'est logique, l'IA n'est pas celle d'Isaac Asimov, elle n'est pas intelligente à analyser et réfléchir, fait juste des stats et c'est tout, et du coup elle va s'auto-détruire à force de se lire elle-même sans pouvoir l'éviter, les développeurs ayant pour priorité de cacher que c'est écrit par une IA et donc le scan ne pourra pas différencier.

        Cette technologie n'est vraiment pas le futur de manière générale…

        ça me fait penser à la dégénération de la compression vidéo.

      • [^] # Re: L'encrassement des sources de l'apprentissage de l'IA ?

        Posté par  (site web personnel, Mastodon) . Évalué à 4.

        Même artificielle, la consanguinité ne mène à rien de bon.

        “It is seldom that liberty of any kind is lost all at once.” ― David Hume

  • # Une autre IA

    Posté par  . Évalué à 3.

    Parce que c'est quand même mieux d'avoir plusieurs exemples pour tirer une vérité générale, j'ai testé avec GPT4 d'OpenAI et le résultat m'a l'air assez conforme à l'original. Toutes les IA sont à prendre avec des pincettes mais toutes les IA ne se valent pas…

    "L'article, rédigé par Daniel Stenberg le 26 aout 2023, traite d'un problème avec le système CVE (Common Vulnerabilities and Exposures), qui est une liste de vulnérabilités en matière de sécurité informatique.

    Il explique comment un rapport de vulnérabilité (CVE id : CVE-2020-19909) a été créé sans son consentement pour un problème non sécuritaire détecté dans son logiciel, cURL. Généralement, ceS rapports sont créés par les auteurs ou développeurs eux-mêmes.

    Il explique également que ce problème était mineur et avait été corrigé en 2019. Il s'agissait d'un débordement d'entier causé par une valeur trop élevée pour l'option --retry-delay dans cURL.

    Cependant, le NVD (National Vulnerability Database) a classé cette vulnérabilité comme critique (9.8 sur 10), ce qui, selon Stenberg, est une exagération car le bug en question n'implique aucun danger sécuritaire.

    Stenberg critique sévèrement le système des CVE pour son manque de transparence et sa propension à exagérer la gravité des vulnérabilités signalées.

    Il exprime sa résolution à contester cette évaluation CVE, même s'il se dit conscient de la difficulté de la tâche puisque la désinformation a déjà commencé à se propager via différents sites Web.

    Des mises à jour mentionnent que Ubuntu a marqué le logiciel comme non affecté par cette vulnérabilité et que la demande de Stenberg de rejeter le CVE a été refusée par MITRE, l'organisation qui gère la base de données CVE."

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.