Perso je suis moyennement convaincu, l'article de Korben semble très pute à clic.
Ce n'est pas inintéressant mais franchement limité à ce stade. De ce qu'on peut en lire (car honnêtement je ne trouve pas que le dépôt apporte beaucoup d'infos sur l'entrainement et les tests). Cela semble travailler sur des fonctions apparemment isolées et relativement triviales (en tout cas, pas d'exemples montrant le contraire), le résultat est déjà obtenu par des outils plus classiques (décompiler du binaire en instruction C avec peu de valeur ajoutée n'a rien d'extraordinairement difficile). Le seul ajout est celui de tests automatiques mais le taux d'échecs même dans un cas simple est encore très faible.
Alors oui, c'est le début, mais c'est encore la partie simple : le modèle arrivera-t-il à fonctionner sur un programme entier à apporter de la valeur ajoutée comme ça ? Pas sûr non plus. Ce n'est en tout cas pas à ce stade une révolution mais plus une preuve de concept à creuser.
Il y a moyen qu'en plusieurs passes dans le code ça arrive à décompiler un programme complet de manière plus ou moins intéressantes. Genre la première passe décompiles les fonctions individuelles élémentaires, une deuxième passe les fonctions qui les utilisent, en faisant des "lucky guess" sur les structures de plus au niveau au fur et à mesure.
Mais il y a probablement une grosse limite au moins sur les domaines d'application au fur et à mesure que tu montes de niveau, les domaines d'applications sont en nombre très importants et les jeux d'apprentissages pour apprendre des trucs sur le domaine et plus sur le code en lui même deviennent de plus en plus rare au fur et à mesure, donc il y a vraiment peu de chance que le réseau de neurone arrive à deviner "à quoi sert" le programme dans le domaine pour décompiler à très haut niveau, choisir les bons noms de variables …
Peut être, cela n'est cependant pas trivial et ne peut être déduit avec ce qui a été publié.
Mon propos n'est pas de dire que l'approche ne mènera à rien dans tous les cas. Je dis juste que ce qui est présenté pour l'instant ne montre rien de si extraordinaire pour justifier un article aussi dithyrambique.
C'est une preuve de concept, faut creuser la question et pourquoi pas, ça peut donner des résultats intéressants (ou pas).
C'est un peu comme lire les articles scientifiques de certains présentant des nouveaux matériaux ou traitements médicaux révolutionnaires alors qu'en vrai la plupart n'iront pas plus loin que le labo où la découverte a été publié car finalement c'était une mauvaise piste. Ce n'est pas un mal de communiquer dessus mais je trouve la forme souvent excessive.
Après c'est Korben, ce n'est pas la première fois qu'il fait ça et typiquement je ne le lis pas pour cette raison.
Je trouve, oui. En quoi ça ne serait pas pertinent selon toi ?
Je veux dire, tout le monde ne connaît pas le sujet, l'article est assez trompeur sur les capacités (je trouve), le manque de recul sur l'IA est assez important en ce moment dans l'esprit de beaucoup de gens, rappeler concrètement les limites ne me paraît pas inutile.
J'ai l'impression qu'ici le lectorat n'est pas né de la dernière pluie et ne se renouvelle pas beaucoup. Tout le monde ici sait ce qu'est la décompilation, on peut parier, et sait que c'est loin d'être trivial.
Qu'on est dans l'ensemble pas (ou plus) spécialement naïfs sur la technologie, il y a pleins de technocritiques. Après plus d'un an maintenant ou tout le monde a pu avoir accès à ces technos on a plus forcément énormément d'illusions et on a pu en toucher les limites, il y a des articles dans la presse qui parlent de la "fin" de la hype autours de l'IA. Les articles les plus enthousiastes sont dans la presse financière étant donné que le secteur à faim … ça s'adresse à des financiers et pas à des informaticiens.
L'article de Korben est très superficiel et ne dit presque rien, je sais pas ce qu'attend le lectorat en terme de qualité du code mais je doute qu'on s'attend à retrouver un truc similaire au code original, dans l'ensemble. Mais je peux me tromper !
Je réponds tout en bas pour répondre à tout le monde, quand j'ai dit "ça mérite un journal" je ne pensais même pas à l'article de Korben (que je ne lis plus non plus depuis bien longtemps) mais au dépôt et à la traduction du README qui m'a l'air plutôt factuel. Ils donnent aussi les liens vers leurs modèles sur HuggingFace pour que chacun puisse tester et se faire une idée.
Et surtout, si ils y parviennent, je trouve que c'est une application très cool des LLM dont on peine un peu à trouver l'utilité réelle.
Il y a moyen qu'en plusieurs passes dans le code ça arrive à décompiler un programme complet de manière plus ou moins intéressantes. Genre la première passe décompiles les fonctions individuelles élémentaires, une deuxième passe les fonctions qui les utilisent, en faisant des "lucky guess" sur les structures de plus au niveau au fur et à mesure.
Ce n'est pas ce que font déjà les logiciels de décompilation du marché ?
C'est juste la technologie en dessous qui change (IA vs algo à l'ancienne).
# Très cool
Posté par Faya . Évalué à 2.
Ça mérite un journal ! (Ou même une dépêche vu que c'est libre…)
[^] # Re: Très cool
Posté par Renault (site web personnel) . Évalué à 5.
Perso je suis moyennement convaincu, l'article de Korben semble très pute à clic.
Ce n'est pas inintéressant mais franchement limité à ce stade. De ce qu'on peut en lire (car honnêtement je ne trouve pas que le dépôt apporte beaucoup d'infos sur l'entrainement et les tests). Cela semble travailler sur des fonctions apparemment isolées et relativement triviales (en tout cas, pas d'exemples montrant le contraire), le résultat est déjà obtenu par des outils plus classiques (décompiler du binaire en instruction C avec peu de valeur ajoutée n'a rien d'extraordinairement difficile). Le seul ajout est celui de tests automatiques mais le taux d'échecs même dans un cas simple est encore très faible.
Alors oui, c'est le début, mais c'est encore la partie simple : le modèle arrivera-t-il à fonctionner sur un programme entier à apporter de la valeur ajoutée comme ça ? Pas sûr non plus. Ce n'est en tout cas pas à ce stade une révolution mais plus une preuve de concept à creuser.
[^] # Re: Très cool
Posté par Renault (site web personnel) . Évalué à 4.
Et encore très élevé, pardon.
[^] # Re: Très cool
Posté par Thomas Douillard . Évalué à 2.
Il y a moyen qu'en plusieurs passes dans le code ça arrive à décompiler un programme complet de manière plus ou moins intéressantes. Genre la première passe décompiles les fonctions individuelles élémentaires, une deuxième passe les fonctions qui les utilisent, en faisant des "lucky guess" sur les structures de plus au niveau au fur et à mesure.
Mais il y a probablement une grosse limite au moins sur les domaines d'application au fur et à mesure que tu montes de niveau, les domaines d'applications sont en nombre très importants et les jeux d'apprentissages pour apprendre des trucs sur le domaine et plus sur le code en lui même deviennent de plus en plus rare au fur et à mesure, donc il y a vraiment peu de chance que le réseau de neurone arrive à deviner "à quoi sert" le programme dans le domaine pour décompiler à très haut niveau, choisir les bons noms de variables …
Enfin c'est mon intuition.
[^] # Re: Très cool
Posté par Renault (site web personnel) . Évalué à 6.
Peut être, cela n'est cependant pas trivial et ne peut être déduit avec ce qui a été publié.
Mon propos n'est pas de dire que l'approche ne mènera à rien dans tous les cas. Je dis juste que ce qui est présenté pour l'instant ne montre rien de si extraordinaire pour justifier un article aussi dithyrambique.
C'est une preuve de concept, faut creuser la question et pourquoi pas, ça peut donner des résultats intéressants (ou pas).
C'est un peu comme lire les articles scientifiques de certains présentant des nouveaux matériaux ou traitements médicaux révolutionnaires alors qu'en vrai la plupart n'iront pas plus loin que le labo où la découverte a été publié car finalement c'était une mauvaise piste. Ce n'est pas un mal de communiquer dessus mais je trouve la forme souvent excessive.
Après c'est Korben, ce n'est pas la première fois qu'il fait ça et typiquement je ne le lis pas pour cette raison.
[^] # Re: Très cool
Posté par Thomas Douillard . Évalué à 2. Dernière modification le 19 mars 2024 à 10:38.
Il y a encore besoin de préciser ce genre de choses ici ?
[^] # Re: Très cool
Posté par Renault (site web personnel) . Évalué à 9. Dernière modification le 19 mars 2024 à 10:51.
Je trouve, oui. En quoi ça ne serait pas pertinent selon toi ?
Je veux dire, tout le monde ne connaît pas le sujet, l'article est assez trompeur sur les capacités (je trouve), le manque de recul sur l'IA est assez important en ce moment dans l'esprit de beaucoup de gens, rappeler concrètement les limites ne me paraît pas inutile.
[^] # Re: Très cool
Posté par Thomas Douillard . Évalué à 3.
J'ai l'impression qu'ici le lectorat n'est pas né de la dernière pluie et ne se renouvelle pas beaucoup. Tout le monde ici sait ce qu'est la décompilation, on peut parier, et sait que c'est loin d'être trivial.
Qu'on est dans l'ensemble pas (ou plus) spécialement naïfs sur la technologie, il y a pleins de technocritiques. Après plus d'un an maintenant ou tout le monde a pu avoir accès à ces technos on a plus forcément énormément d'illusions et on a pu en toucher les limites, il y a des articles dans la presse qui parlent de la "fin" de la hype autours de l'IA. Les articles les plus enthousiastes sont dans la presse financière étant donné que le secteur à faim … ça s'adresse à des financiers et pas à des informaticiens.
L'article de Korben est très superficiel et ne dit presque rien, je sais pas ce qu'attend le lectorat en terme de qualité du code mais je doute qu'on s'attend à retrouver un truc similaire au code original, dans l'ensemble. Mais je peux me tromper !
[^] # Re: Très cool
Posté par Faya . Évalué à 6.
Je réponds tout en bas pour répondre à tout le monde, quand j'ai dit "ça mérite un journal" je ne pensais même pas à l'article de Korben (que je ne lis plus non plus depuis bien longtemps) mais au dépôt et à la traduction du README qui m'a l'air plutôt factuel. Ils donnent aussi les liens vers leurs modèles sur HuggingFace pour que chacun puisse tester et se faire une idée.
Et surtout, si ils y parviennent, je trouve que c'est une application très cool des LLM dont on peine un peu à trouver l'utilité réelle.
[^] # Re: Très cool
Posté par Lutin . Évalué à 5.
Ce n'est pas ce que font déjà les logiciels de décompilation du marché ?
C'est juste la technologie en dessous qui change (IA vs algo à l'ancienne).
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.