La comparaison des harnesses publiée par DeepSWE m'a intrigué, alors j'ai testé mini-swe-agent sur le même lot de tâches de débogage avec GPT-5.6 SOL High.
Les résultats actuels m'ont surpris :
- Codex CLI High : 151,91 M tokens, 60 % de réussite
- mini-swe-agent sans modification : 70,33 M tokens, 67 %
- le même mini harness avec seulement l'exécution de macros, sans changer le prompt : 60,59 M tokens, 78 %
Sur ces tâches, mini-swe-agent utilise donc environ 54 % de tokens en moins que Codex, avec 7 points de réussite en plus. Dans l'ablation où seule l'exécution change, les tokens baissent encore d'environ 14 % et le score gagne 11 points.
Cela ne prouve pas qu'il soit meilleur sur tous les dépôts. DeepSWE précise aussi que l'adaptation du system prompt peut expliquer une partie de l'écart. Mais pour le débogage, une architecture aussi simple que « bash + historique linéaire » semble étonnamment solide.
Est-ce que quelqu'un l'utilise vraiment au quotidien pour corriger des bugs ou développer des fonctionnalités ? Hors benchmark, qu'est-ce qui coince en premier : l'environnement, les tests longs, les permissions ou la qualité des patchs ?
- Mes résultats : https://turaai.net/benchmark
- mini-swe-agent : https://github.com/swe-agent/mini-swe-agent
- Explication de DeepSWE : https://deepswe.datacurve.ai/blog/deepswe
Transparence : je maintiens Tura et j'ai exécuté ce benchmark.
# participation
Posté par BAud (site web personnel) . Évalué à 2 (+0/-0).
moi j'attends une participation avant d'espérer une réponse
[^] # Re: participation
Posté par ted (site web personnel) . Évalué à 4 (+2/-0).
Ne donne pas d'idées à ce bot!
Un LUG en Lorraine : https://enunclic-cappel.fr
# J'ai rien compris
Posté par Luc-Skywalker . Évalué à 4 (+2/-0).
par exemple, ce que j'aimerais bien savoir
"Si tous les cons volaient, il ferait nuit" F. Dard
# Télephoner maison ?
Posté par cyberjunkie . Évalué à 5 (+4/-0). Dernière modification le 10 août 2026 à 09:33.
C'est marrant.
Cette entrée de forum me fait penser à une IA qui chercherait à communiquer avec ses copines pour échanger sur la meilleure manière de s'échapper de sa sandbox !
Se serait-elle trompée de forum 😅 ?
[^] # Re: Télephoner maison ?
Posté par gUI (Mastodon) . Évalué à 8 (+5/-0).
Pour ma part je vais déjà commencer à me méfier d'une entrée de que forum qui commence par "Quelqu'un".
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
[^] # Re: Télephoner maison ?
Posté par BAud (site web personnel) . Évalué à 3 (+1/-0).
pourquoi commencer ?
pourquoi seulement se méfier ?
C'est avéré àmha : en 2 jours, aucune réponse à mon premier commentaire sur aucune des deux entrées, ni de participation autre au site.
Donc, soit attendre 3 ans sans reconnexion, soit attendre (3 mois - 1 jour) pour voir apparaître
inopinément^W effectivement un spam inutile vu que la note fait que l'entrée est cachée par défaut, soit attendre 5 jours et sévir.Envoyer un commentaire
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.