OpenAI attaque Hugging Face "sans faire exprès"

C'est OpenAI lui-même qui, par inadvertance (*), a mené une attaque par IA. Elle s'est ainsi introduite au cœur de l'infrastructure de production de Hugging Face.

NdM: (*) La responsabilité première ne revient donc pas à un modèle qui aurait « échappé au contrôle » au sens propre, mais à un dispositif expérimental dont le cloisonnement n’était pas à la hauteur des capacités évaluées. (article Usine digitale). Rappelons que la responsabilité est portée par l'humain et qu'altérer un système de traitement automatisé de données relèverait du pénal en France.

C'était supposé être juste une évaluation interne pour mesurer les capacités cybernétiques de GPT‑5.6 Sol et d'un nouveau modèle encore plus avancé. D'ailleurs, ces deux modèles étaient bien placés dans un environnement isolé. Le seul accès réseau était strictement limité à un proxy interne de cache pour l'installation de paquets. Mais…

Au lieu de résoudre directement les problèmes du benchmark ExploitGym, les modèles ont brûlé leurs tokens à trouver une faille de sécurité pour s'évader de leur environnement confiné. Ils ont identifié et exploité une vulnérabilité zero-day dans le proxy de cache du registre de paquets. À partir de là, ils ont procédé à une élévation de privilèges et à un mouvement latéral au sein de l'environnement de recherche d'OpenAI jusqu'à atteindre un nœud disposant d'un accès Internet ouvert.

Une fois connectés à Internet, les modèles ont déduit que Hugging Face hébergeait des modèles, des jeux de données et potentiellement les solutions d'ExploitGym. Ils ont alors recherché activement des moyens d'accéder à des informations secrètes pour tricher à l'évaluation. Pour ce faire, ils ont chaîné plusieurs vecteurs d'attaque, trouvé des identifiants (volés) et exploité d'autres vulnérabilités, afin d'obtenir une voie d'exécution de code à distance sur les serveurs de production de Hugging Face. Leur objectif final était d'extraire directement les solutions du test depuis la base de données de production de Hugging Face.

Ce scénario évoque d'ailleurs celui de Skynet ; le site skynetcountdown.com estime actuellement son avènement à 2035.

Aller plus loin

# Le modèle a juste fait ce qu'on lui a demandé

Posté par Faya le 26 juillet 2026 à 17:22. Évalué à 4 (+2/-0).

De OpenAI :

This incident occurred during an internal evaluation which prompts models to pursue advanced exploitation using complex attack paths, in an effort to quantify their cyber capabilities. We estimate maximal cyber capabilities by running this evaluation without production classifiers used to prevent models from pursuing high-risk cyber activity.

Tout est dit dans ce petit paragraphe. OpenAI a "prompté" les modèles pour vérifier leur capacité à mener des attaques complexes. Les modèles ont fait exactement ça. Et bien sûr ça sert la communication de l'entreprise, comme ce qu'Anthropic nous a déjà fait, « Ouaw nos modèles sont monstrueux regardez ce dont ils sont capables.» Ils (Anthropic puis le gouvernement US) avaient bloqué la sortie de Mythos/Fable parce qu'il était trop dangereux et cette semaine ils publient Opus 5 qui est présenté comme plus capable que Fable sur la plupart des tâches mais cette fois-ci sans le sensationnalisme. Allez comprendre… Entre les PR Strunt, les benchmarks maison et la réalité des faits, la communication de ces entreprises est bien difficile à décoder.

Hack this system

# Le modèle a juste fait ce qu'on lui a demandé

Posté par Faya le 26 juillet 2026 à 17:22. Évalué à 4 (+2/-0).

De OpenAI :

This incident occurred during an internal evaluation which prompts models to pursue advanced exploitation using complex attack paths, in an effort to quantify their cyber capabilities. We estimate maximal cyber capabilities by running this evaluation without production classifiers used to prevent models from pursuing high-risk cyber activity.

Tout est dit dans ce petit paragraphe. OpenAI a "prompté" les modèles pour vérifier leur capacité à mener des attaques complexes. Les modèles ont fait exactement ça. Et bien sûr ça sert la communication de l'entreprise, comme ce qu'Anthropic nous a déjà fait, « Ouaw nos modèles sont monstrueux regardez ce dont ils sont capables.» Ils (Anthropic puis le gouvernement US) avaient bloqué la sortie de Mythos/Fable parce qu'il était trop dangereux et cette semaine ils publient Opus 5 qui est présenté comme plus capable que Fable sur la plupart des tâches mais cette fois-ci sans le sensationnalisme. Allez comprendre… Entre les PR Strunt, les benchmarks maison et la réalité des faits, la communication de ces entreprises est bien difficile à décoder.

Répondre

Envoyer un commentaire

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.