De ce que j'ai pu voir en survolant les slides, une question majeure n'a pas été abordée : quid de la qualification de l'équipe en charge du projet?
Parce que l'AI, c'est pas magique. Mais quand c'est mis entre les bonnes mains, ça marche. Je ne peux pas croire qu'il est possible d'un côté de faire des choses aussi complexes que ce que fait chatGPT, et d'un autre côté d'être infoutu de parser des décisions de justice, qui font partie des documents les plus formels qui existent.
C'est peut-être une histoire de budget ou de ressources (par exemple, quelle est la taille du jeu de données d'entrainement, interprété par des humains?), c'est peut-être une histoire d'algo (modèle de langage, etc), mais non, je ne peux pas croire que ça a foiré parce que "ouhlala le problème était trop dur". Ça ressemble plutôt à "les gens à qui ça a été confié ne savaient pas le faire".
Comment ça, chatGPT, ça marche ? de mon expérience, au contraire il y a énormément de problèmes (que ce soit les hallucinations [le terme désigne un phénomène particulier dans le domaine de l'IA], la modification du contenu et tout ce qui concerne la fidèlité). Après, chatGPT peut être utile, mais il faut bien comprendre ses limites (de mon côté, ça m'aide à démarrer l'écriture de lettres, courriers ou textes par exemple, car chatGPT fournit de bons modèles de textes, par contre, niveau contenu, souvent ses textes n'ont de sens qu'en apparence).
À ma connaissance (mais je ne suis pas un spécialiste), nous ne sommes toujours pas capable de faire des résumé automatiques exactes avec ces modèles de langage. Les résumés sont jolis, bien formulés, mais ajoutent et modifient de nombreuses informations. Donc, dans le cadre du domaine juridique, c'est plutôt problématique.
ChatGPT excelle à ce qu'il est censé faire (la conversation). Il n'est pas un moteur de recherche encyclopédique, donc il peut raconter n'importe quoi.
Il faudrait évidemment demander son avis à un spécialiste, mais j'ai l'impression que c'est théoriquement très faisable d'entrainer une AI à retrouver des informations dans un texte, surtout un texte comme une décision de justice, qui reste très formelle. À la lecture des quelques informations présentes sur les diapos, j'ai l'impression que la solution logicielle a plutôt été une sorte de système expert, qui s'est heurté à des problèmes triviaux (comme l'utilisation de différents séparateurs dans les nombres), chose qui en théorie ne devrait poser aucun problème à un réseau de neurones. Après, encore une fois, je ne suis pas du tout spécialiste, je constate juste qu'il y a une énorme différence entre "c'est impossible" et "on n'a pas su le faire".
Pour les erreurs éventuelles d'un système automatique, il faudrait surtout les comparer au taux d'erreur d'un humain qui retranscrirait ces informations. Étant donné les objectifs (établir un barème moyen des indemnisations), j'ai l'impression que la présence d'erreurs ne serait pas particulièrement problématique (il faudrait évidemment confirmer manuellement les outliers, mais c'est normal).
# Et si ça éludait le problème principal?
Posté par arnaudus . Évalué à 6.
De ce que j'ai pu voir en survolant les slides, une question majeure n'a pas été abordée : quid de la qualification de l'équipe en charge du projet?
Parce que l'AI, c'est pas magique. Mais quand c'est mis entre les bonnes mains, ça marche. Je ne peux pas croire qu'il est possible d'un côté de faire des choses aussi complexes que ce que fait chatGPT, et d'un autre côté d'être infoutu de parser des décisions de justice, qui font partie des documents les plus formels qui existent.
C'est peut-être une histoire de budget ou de ressources (par exemple, quelle est la taille du jeu de données d'entrainement, interprété par des humains?), c'est peut-être une histoire d'algo (modèle de langage, etc), mais non, je ne peux pas croire que ça a foiré parce que "ouhlala le problème était trop dur". Ça ressemble plutôt à "les gens à qui ça a été confié ne savaient pas le faire".
[^] # Re: Et si ça éludait le problème principal?
Posté par lejocelyn (site web personnel) . Évalué à 6.
Comment ça, chatGPT, ça marche ? de mon expérience, au contraire il y a énormément de problèmes (que ce soit les hallucinations [le terme désigne un phénomène particulier dans le domaine de l'IA], la modification du contenu et tout ce qui concerne la fidèlité). Après, chatGPT peut être utile, mais il faut bien comprendre ses limites (de mon côté, ça m'aide à démarrer l'écriture de lettres, courriers ou textes par exemple, car chatGPT fournit de bons modèles de textes, par contre, niveau contenu, souvent ses textes n'ont de sens qu'en apparence).
À ma connaissance (mais je ne suis pas un spécialiste), nous ne sommes toujours pas capable de faire des résumé automatiques exactes avec ces modèles de langage. Les résumés sont jolis, bien formulés, mais ajoutent et modifient de nombreuses informations. Donc, dans le cadre du domaine juridique, c'est plutôt problématique.
[^] # Re: Et si ça éludait le problème principal?
Posté par arnaudus . Évalué à 5.
ChatGPT excelle à ce qu'il est censé faire (la conversation). Il n'est pas un moteur de recherche encyclopédique, donc il peut raconter n'importe quoi.
Il faudrait évidemment demander son avis à un spécialiste, mais j'ai l'impression que c'est théoriquement très faisable d'entrainer une AI à retrouver des informations dans un texte, surtout un texte comme une décision de justice, qui reste très formelle. À la lecture des quelques informations présentes sur les diapos, j'ai l'impression que la solution logicielle a plutôt été une sorte de système expert, qui s'est heurté à des problèmes triviaux (comme l'utilisation de différents séparateurs dans les nombres), chose qui en théorie ne devrait poser aucun problème à un réseau de neurones. Après, encore une fois, je ne suis pas du tout spécialiste, je constate juste qu'il y a une énorme différence entre "c'est impossible" et "on n'a pas su le faire".
Pour les erreurs éventuelles d'un système automatique, il faudrait surtout les comparer au taux d'erreur d'un humain qui retranscrirait ces informations. Étant donné les objectifs (établir un barème moyen des indemnisations), j'ai l'impression que la présence d'erreurs ne serait pas particulièrement problématique (il faudrait évidemment confirmer manuellement les outliers, mais c'est normal).
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.