Greg Kroah Hartmann, mainteneur du noyaux Linux en charge des versions stables, a donné il le 11 août une présentation intitulée Linux in the Land of LLMs (support de présentation, captation vidéo sur Youtube) à partir de son expérience de mainteneur. Les principales informations que j'en retiens :
- Ils reçoivent significativement plus de rapports de vulnérabilités qu'auparavant.
- Les LLMs, sont des outils de pattern-matching sous stéroïdes qui découvrent plein de bugs de cette façon : on a déjà vécu ça avec (fuzzers, analyse statique), ça fait beaucoup de bugs à corriger dans un premier temps, c'est normal, mais ça n'est pas la fin du monde, contrairement à ce que veulent faire croire les industriels du secteur. Comptez 18 mois un peu occupés en terme de cybersécurité. Automatisez/accélérez le déploiement des mises à jour.
- On paie en ce moment des décennies de sous-investissement dans la sécurité et la qualité logicielle : tous un tas de bugs qu'on a ignorés ou pas pris le temps de chercher puis de corriger jusqu'à maintenant sont remontés à la surface par ces nouveaux outils.
- Les LLMs mentent, tous. Même les meilleurs modèles produisent 1/4 à 1/3 de faux positifs, tentant de faire croire à un bug là où il n'y en a pas. Démêler les vrais bugs des faux demande une grande compétence sur le code en question. Ils filtrent ça en demandant un correctif en plus du rapport de bug.
- Ils reçoivent très fréquemment des rapports très similaires presque en même temps : GKH l'interprète comme une conséquence du fait qu'une fois qu'un utilisateur a trouvé un bug à l'aide d'un LLM public, ce système de LLM partage ce résultat avec d'autres utilisateurs ayant des requêtes similaires. En conséquence, tout ce qu'on dit à un chatbot opéré par un tiers doit être considéré comme public.
- Aux développeurs, il recommande de faire tourner des modèles sur leur machine pour trouver les bugs avant les autres ou aider à rédiger les patchs. Il rejoint ainsi la position de Linus Torvalds ou de la majorité de la communauté Debian : ces LLMs seraient "juste" un outil, il ne rejoint pas à celles et ceux qui estiment que le monde dans lequel les LLMs existent est un monde qui ne devrait pas exister (pour des raisons politiques, écologiques, économiques, etc.).
# autre alternative
Posté par Misc (site web personnel) . Évalué à 3 (+0/-0).
L'autre alternative, c'est simplement que tout le monde utilise les mêmes 4/5 modèles avec les mêmes types de demande. Il y a sans doute plus que 4/5 personnes qui cherchent des bugs, mais le fonctionnement même d'un langage de modèle, c'est de donner un résultat "moyen". Il est possible que ça converge justement parce qu'il n'y a pas de diversité dans les outils.
# Debian
Posté par Vlobulle . Évalué à 2 (+0/-0).
Cette remarque me fait penser que je n'ai pas croisé de journal ou de dépêche sur la conclusion du vote de la communauté Debian vis à vis de l'utilisation de LLMs. Qui, comme tu le dis, considère que c'est juste un outil, rappelle simplement la responsabilité des utilisations des contributeurs.
C'est plutôt propre comme façon de dire "on peut rien faire de toute façon".
Envoyer un commentaire
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.