Le monsieur t'explique qu'il y a un probleme de vocabulaire. Ce que tu appelles test unitaire est en fait un test fonctionnel. Les tests unitaires et les tests fonctionnels sont deux choses tres bien, mais distinctes.
Le signification de test unitaire est acceptee par beaucoup de monde et signifie "tester independamment des morceaux de code". Le but est de mettre en evidence des problemes dans un morceau precis de code de facon a faire de la non-regression. Cette definition est supportee d'une part par les livres traitant d'extrem programming, d'autre part par la communaute et les outils de test unitaires.
Les tests fonctionnels ont un autre role: validation de l'integration de toutes les briques ensemble, stress de l'application par l'envoi de requetes en serie, reproduction du comportement d'un utilisateur.
Typiquement, comme te le dis le monsieur plus haut, creerClient va juste generer une requete SQL fictive et validera que la requete est ce qu'elle doit etre. Idem pour creerDevis. La conclusion logique, c'est que lancer l'un apres l'autre ne stresse pas du tout l'application car ce sont des tests _unitaires_
Maintenant, tu peux mettre en place des tests fonctionnels, en t'appuyant aussi sur Junit et les executer via un scenario. C'est une bonne idee et je fais ca aussi dans mes projets. Dans ce cas, ton test creera effectivement une vraie base de donnee et reproduira le comportement d'un utilisateur.
C'est le fait que JUnit puisse etre utilise dans deux contextes differents (tests unitaires, tests fonctionnels) qui seme la confusion ici.
En continuant a appeler ton projet JUnitScenario, tu risques de ne pas du tout faire comprendre l'utilite de ton soft (donc tu peux oublier les contributeurs):
- les gens qui ne connaissent rien au test unitaire ne seront pas interesses
- les gens qui connaissent les tests unitaires comme moi trouveront ton bidule inutile.
Je te conseille donc pour le bien de ton projet de faire bien comprendre le message. Qqch comme:
"JunitScenario builds an automation framework on top of JUnit to perform functional tests and stressing tests".
Une fois que ce point la est eclairci, ton projet devient interessant.
Mais si tu veux, tu peux continuer a appeler test unitaire un test fonctionnel. Tu peux aussi appeler le soleil "Lune". Mais ca reste le soleil et personne ne te comprendra.
En tout cas, ca apporte de l'eau a mon moulin personnel : c'est finalement beaucoup plus dur de faire une bonne applet javacard qu'un bon bout de code en C des familles.
DCOP s'appuie sur lib-je-sais-plus-quoi qui est en fait une lib de X pour etablir des communications. Celle-ci s'appuie (si je me souviens bien) sur les atomes X pour faire certains exhanges.
Il y a d'autres parties dans KDE qui dependent des atomes X mais je ne suis pas assez pointu pour te dire lesquelles. Il me semble que la gestion de la session et la creation des repertoires temporaires utilisent partiellement des petits mecanismes de X
Ce que vous faites, j'appelle ca un test fonctionnel. Je reste sceptique dans la mesure ou un test unitaire reste unitaire, c'est a dire dedie a une fonctionnalite precise.
La somme des tests unitaires ne constitue pas un test fonctionnel. Il faut mettre son grain de sel (sa connaissance du fonctionnement du bazar) dedans. Dans mon experience, on s'appuie sur les mecanismes mis en place lors des tests unitaires, mais on ne re-utilise pas les tests unitaires tel quel.
C'est un peu comme la generation automatique de test unitaire a partir des headers. C'est genial sauf que 50 tests unitaires auto-generes ne peuvent remplacer des tests ecrits par le developpeur, qui va tester la ou ca fait mal.
Ce que tu me decris me semble plus facile a mettre en place avec un vrai test, fait non pas d'assemblage de tests unitaires, mais de reproduction du comportement d'un utilisateur.
Il y a Qt Embedded aussi qui marche sans serveur X. On trouve aussi konqueror embedded qui se passe tres bien de X. Si jamais KDE passe a dbus, on pourra aussi se passer enornment de X.
En tant que developpeur Qt chevronne, je te le recommande chaudement de te mettre a Qt. Perso, j'ai appris en lisant le tutorial de la documentation, que j'ai trouve tres bien fait.
Sinon, il existe un forum en francais http://prog.qt.free.fr/portal.php(...) et un certain nombre d'autres en anglais (qt-forum.org) pour trouver de l'aide. Il y a aussi des bouquins mais je ne crois pas qu'il y aie une version recente en francais.
Pour ce qui est de la transition MFC -> Qt, le site que tu donnes propose un outil qui te permettra de recuperer les parties graphiques d'une appli MFC (dialogue, ....) mais ne transformera pas le code. Cela dit, c'est beaucoup plus simple et plus propre de programmer un MFC qu'en Qt, donc tu ne devrais pas avoir de probleme.
Le site de Trolltech propose aussi de nombreux trucs pour passer de MFC a Qt.
Je ne suis pas d'accord avec toi et je trouve ton raisonnement tordu.
Avoir une doc decrivant un format, c'est la base de l'interoperabilite.
Avoir les sources, ca rend possible une demarche tres couteuse et sujette a erreur vis a vis de l'interoperatbilite. Je dois lire 10 000 lignes de code pour savoir que le bit X du byte Y correspond a la fonctionnalite Z ? Et que se passe-t-il si il y a une erreur d'implementation ? Comment tu montes tes tests de compabilite ?
Le garant d'une interoperabilite, c'est une documentation decrivant un format.
L'exemple emblematique etant OpenOffice, qui bien qu'ayant de tres bon filtres pour les documents word, est absolument inutilisable en terme d'interoperabilite sur ce point. Le code n'est tout simplement pas re-utilisable tel quel et imbitable.
J'ai ecrit au journaliste pour lui dire qu'il avait ecrit plus de conneries que de phrases dans son article.
J'ai ete supris de recevoir un coup de fil: il s'est renseigne et va publier un correctif demain, et il me demandait quelques conseils. Finalement, ca fait de la pub a KDE.
> Je vois un truc "marrant". Les "fans" des tests unitaires, qui semblent nombreux, font rarement du logiciel
> libre sinon il y aurait plus de tests unitaires dans le logiciel libre.
Affirmation gratuite et mechante. Va voir sur ma page web, je fais du logiciel libre. Meme si ce n'est pas la prochaine killer app, je suis content et fier de ce que je fais. Et yzis a le potentiel pour etre la killer vim app.
L'engouement pour les tests unitaire est recent. Perso, j'ai decouvert ca il y a 3 ans avec XP. Je pense que c'est un peu similaire pour les autres ici. Donc je n'ai integre la notion dans mes projets libres que depuis 3 ans.
Mais depuis que je m'interesse au sujet, il y a plus de test unitaires dans le monde du logiciel libre. J'ai fait un qtunit (pas forcement mon meilleur projet), une suite de test unitaires pour lua (c'est deja mieux).
J'ai fait tous les tests unitaires et leur conception pour l'OS open source pour carte a puce jayacard (jayacard.sf.net).
Yzis beneficies d'une suite de test en C++ et d'une suite de test en lua, devines de qui elle vient ? C'est d'ailleurs une des raisons pour lesquelles il sera un meilleur editeur que vim a terme.
> Puis les tests unitaires quand t'as 300 paramètres d'exécutions et
> tu dépends d'un automate qui t'envois 200 autres paramètres,etc
Je doute que tu arrives a gerer tes 300 parametres et tes 200 autres avec une seule fonction. Tu as forcement un decoupage du travail qui t'oblige a separer les taches. Une fois que tu as isole les taches, tu peux les tester individuellement.
> Il faut aussi un simulateur. C'est généralement ce qui est fait et même dans le proprio.
En general c'est mieux d'avoir un simulateur sous la main, pour reproduire les cas pourris. J'en ai rarement vu dans le libre malheureusement.
> Dans certain cas tu n'as pas le choix. Une équipe développe l'applis, une autre bosse sur un automate qui va utiliser des
> appareils à plusieurs millions d'euro qui sera disponible que lorsque les développements sont terminés.
Parce que ca vaut plusieurs millions d'euro, tu crois qu'on ne peut pas faire de test ? Ou bien que je vais me dire "la vache, si ca vaut aussi cher, vaut mieux ne pas tester" ? Ton appareil, il a des entrees/sorties qui sont specifiees. Ben tu les utilises pour tes tests.
Tout ce qui a une api peut avoir un test.
> Mais je ne me vois pas demander au boss d'avoir 6 mois de plus
> pour faire des tests unitaires exautifs sans que ça apporte un réel intérêt.
Affabulation. Faire des tests unitaire te fait gagner du temps. Pas le jour ou tu les ecris, mais 6 mois plus tard, quand tu dois modifier le code que tu as ecrit. Tu es bien content de ne pas faire un audit complet de ton code pour verifier que le bug X n'a pas pete ton produit. Tu fais retourner ta suite de test, et hop, tu es tranquil. Les endroits ou ton produit est pete sont clairement isole.
Les tests unitaires, c'est une machine a gagner du temps. Je suis d'accord que c'est contre-intuitif comme idee, mais c'est vraiment le cas dans la pratique.
> Il faut alors que les éléments critiques soient simples.
C'est en effet la caracteristique d'une conception robuste.
> Ainsi tu peux "blinder" les tests unitaires et faire des tests exautifs sur les éléments critiques.
Ah, tu vois qu'on se comprend finalement.
> "Mieux" pour les grosses applis c'est rarement fait car c'est pratiquement impossible sans faire exploser le budget.
Je ne suis pas d'accord. Pour tout projet de plus d'une heure, les tests unitaires te feront gagner du temps. Pour un projet typique, on code 80% du projet en 20% du temps. Les 20% restants sont les plus durs: bugs d'integration, ajustement de la conception, ...
Avec des tests unitaires, t'as plutot une progression lineaire de facteur 1: 20% du temps, 20% du projet. 50% du temps, 50% du projet. Evidemment, vous ne regardez que les 20 premiers % en disant "putain, je pourrai deja en etre a 80% et je n'en suis qu'a 20%". Mais au final, les dernier % sont torches a vitesse grand V. Tu peux meme te permettre de faire des changements majeurs dans le projet dans la phase finale pour integrer la derniere idee du mec marketing, sans avoir peur de miner ton produit. Alors qu'en general, les devs ne veulent plus toucher a rien dans la phase finale, parce qu'ils ont eu trop de bugs d'integration.
> - Faire un (ou des) test unitaire complet pour gecko
Comme je l'ai deja dit, les developpeurs de gecko font deja leurs tests. Ils ont plein de bouts de code qu'ils utilisent pendant leur dev. Seulement des qu'ils estiment que ca marche, au lieu d'integrer ces bouts de code dans une suite de non-regression, ils jettent.
C'est la qu'on perd du temps. Des choses qui sont developpees mais pas integree au produit. C'est sur que rajouter les tests apres, c'est tres difficile et tres couteux.
> Un fois que c'est fait combien de ressource il te faut pour maintenir les tests à jours et suivre les développements de gecko ?
Beaucoup moins que pour corriger les bugs de non- regression, pour relire le code et se prendre la tete a essayer de comprendre pourquoi la foncttion X est comme ca sans avoir le test qui explique et qui valide son comportement.
Il est evident cependant que les tests evoluent avec le soft. Mais c'est une bonne chose.
> Une fois que tu as évaluer les ressources nécessaires interroges si un développeur de plus uniquement pour faire
> de l'audit de code n'est pas un meilleur investissement.
Moi je m'interroge en terme de certitude.
- un developpeur qui audite le code: "je pense que ca marche"
- un test unitaire qui valide le code: "je suis sur que ca marche".
Il n'y a pas photo, je prend la 2e option.
> Mais parfois un module développé n'est utilisé que bien des mois après. [...] Mais suppose que les formats d'entrés aient légèrement
> changé et que lors des tests (pas des tests unitaires) ça plante un module développé il y a quelque mois. Ces "bricoles" ça arrive.
Non ? Tu m'apprend quelque chose, je croyais que tout marchait tout seul et que les tests ne servait qu'a valider la perfection du code que ton cerveau surpuissant avait deja garanti de toute facon.
Mais bien sur que ca arrive ! Et bien tu fais evoluer tes tests, en meme temps que ton module. Un principe de codage fondamental de XP, c'est "on ne code qqch qu'une seule fois". Si ton format change, tu modifies la fonction de lecture du format et le test correspondant. Hop. Si ta representaiton interne doit changer aussi, ben pareil, tu modifies les deux. Une fois que tu as fait ca, tu verifies que tous les modules affectes indirectement par tes changements fonctionnent encore. Tu fais un audit rapide de ta couverture de test sur ces modules. Si elle est bonne, voila, tu t'es economise quelques jours de prise de tete d'audit de tous les modules qui utilisaient ton code.
> Ça arrive car les tests peuvent être erronés ou incomplet, car il y a eu un manque communication lors de l'évolution d'un module, etc.
Bien sur, ca arrive tous les jours. Mais les tests ne sont pas graves dans la pierre, ils evoluent en meme temps que ton programme te que tes specs.
> Toi t'es dans le rève ou il n'y a pas d'erreurs de conception,
Pas du tout. Je passe meme une grande partie de mon temps a corriger mes erreurs de conception en faisant evoluer mes tests. Le fait d'etre un mauvais concepteur ne me gene pas, car j'ai de bonnes suites de tests.
> il n'y a pas de manque de communication, le projet est parfaitement géré, les tests sont tous exautifs et parfait, les
> spécifications sont complètes et n'ont raté aucuns scénarios, etc.
Si c'etait ca, je n'aurai pas besoin d'ecrire des tests. Au contraire, les tests m'aident a gerer tous les problemes classiques d'un projet de facon beaucoup plus zen:
- spec qui evolue => je fais evoluer mes tests
- module non encore dispo => je fais des tests et un simulateur pour le remplacer
- bug a la con decouvert => je fais un test pour encadrer le bug et je cherche tous ses cousins possibles, puis je corrige
- probleme d 'integration dans un autre module, on ne sait pas d'ou vient le probleme => je montre mes suites de test a l'autre developpeur, qui est ensuite convaincu que le probleme vient de son cote
- procedure ISO a suivre pour la validation des specs => j'associe a chaque fonctionnalite un test et mon rapport de test devient ma doc de validation
- je trouve un module super difficile a developper et a tester => c'est un signe de mauvaise conception, je le decoupe jusqu'a pouvoir le tester facilement
- on me dit que a la convergence de trois conditions tres tres rares, le soft ne marche pas => je modifie mon simulateur (pratique de l'avoir developpe avant) pour inclure ces conditions tres tres rares.
etc etc.
Les tests unitaires, c'est vraiment une methodologie de developpement qui me permet d'etre super zen dans ce que je fais et de gerer tous les problemes quotidiens avec du recul.
> Ton cauchemard : Ces abrutis de développeurs qui n'arrêtent pas de faire des conneries.
Mon cauchemard, c'est les developpeurs qui pensent que leur cerveau demesure ne pond que du code correct.
Perso, je suis modeste et pessimiste. Je pense que le code que j'ecris ne marche pas. Alors, je cherche des preuves.
> Mais je vais te montrer un cas "spécial" et qui va te montrer que je ne suis pas contre les tests unitaires lorsque ça a un sens.
De fait, si tu les as utilise et que tu as vu leur valeur, je ne comprends pas pourquoi tu me critiques de facon aussi acharnee.
> J'ai réalisé les procedures de tests exautives (car c'était possible et ça permettait aussi de faire le recette auprès du client).
Ca rejoint ce que je disais sur la valeur des tests. Ca sert plus qu'au developpeur.
> Retard : 15 jours.
Chapeau!
> Le client ne s'est jamais plaint d'un bug.
C'est la caracteristique d'un programme avec de bons tests unitaires. Tres peu de bugs.
> Tous les tests ont été réalisés à la *fin* car pour *ce* projet c'était une bonne méthode.
Je pense que tu as pris des risques sur ton projet, que tu mesurais de facon consciente. Il aurait pu t'arriver des problemes, genre le client reviens au bout de 4 mois : "donnez nous ce que vous avez fait , et on arrete le projet. Puisque ca fait 4 mois que vous avez commence, vous en etes a la moitie. On paiera que pour ce qui marche uniquement".
Mais je ne critique pas ta demarche. C'est bien que tu aies reussie a faire ce qui paraissait impossible.
> C'est dingue ça, les gens "gueules" car lorsqu'il récupérère le premier logiciel venu sur le net (gentiment contributé, gratuit, etc) il n'est pas à
> leur gout et il pense que ça leur donne le droit de critiquer le libre dans son ensemble.
Je fais du logiciel libre et j'accepte les critiques. Je ne comprends pas pourquoi il n'en irait pas de meme de mes pairs developpeur. Refuser la critique, c'est toujours une forme d'extremisme. Accepter la critique et dire "ta critique est infondee" ou "ta critique est fondee mais ca restera comme ca", c'est de l'ouverture d'esprit.
Un logiciel est un outil, quand l'outil est pourri, il est juste de le critiquer. Si tu vois le logiciel comme une oeuvre d'art qu'il ne faut jamais executer parce qu'il plante, libre a toi. Mais si tu vois le logiciel comme un outil, tu dois etre pret a accepter la notion de critique, independamment de la facon dont ce soft a ete developpe.
> Quand des dev cherchent une info, ils la cherchent dans les headers des lib la plupart du temps.
Je sais pas d'ou tu sors ca, je ne suis pas d'accord. Dans le cas des lib pourries et mal documentees, le developpeur est contraint de chercher dans les headers.
Dans les libs que j'utilise, les docs sont bien faites et je ne vais jamais chercher dans les headers:
- boost
- qt
- python
- lua
- KDE
> Et les devs d'apache, ne font pas deux fois la même erreur: ils sont attentifs
Et oui, mais l'equipe des developpeurs change. Les anciens s'en vont, ces nouveaus les remplacent. C'est encore plus vrai en entreprise. La suite de test garantit que le qualite demeure dans le projet et pas seulement dans l'individu qui l'a code.
> (donc la batterie de tests codée après coup ne servira à rien par la suite).
C'est pas vrai. A la prochaine attaque sur URL, le code gerant les URL sera encore change. Il se peut qu'a ce moment, un developpeur introduise par megarde une modif qui enleve la correction precedente. Ca n'arrivera peut-etre pas mais tu n'as aucune garanti. Avec ta suite de test, tu as une garantie.
Je suis 100% d'accord avec tout ce que JPz vient de dire.
Je ne rajouterai qu'une chose : les tests unitaires, essayer les avant de les critiquer. Vous serez surpris de voir a quel point ca vous fait gagner du temps.
Rien n'empeche de mettre des contrats et de faire quand meme des tests unitaires. Bon, ca devient plus lourd en terme de dev mais ca n'est pas impensable.
<< Je voulai dire que le test unitaire n'attrapent en général que les bugs triviaux: on sait ce que doit faire une fonction/un groupe de fonctions dans telle situation, et elle ne le font pas, c'est un bug.
>>
C'est un stereotype courant. Tout depend bien sur de l'attention que tu portes a tes test unitaires. Mais si tu lis les bouquins sur XP, tu verras que dans les exemples, ils testent toujours les conditions limites.
Si je devais ecrire un test pour strcmp, je ne commencerai pas par verifier que srcmp("toto","toto") renvoie 0. Je commencerai par verifier que strcmp( NULL, "toto" ) ne plante pas, ainsi que strmp( NULL, NULL) et strcmp( "toto", NULL).
Il est evident qu'on ne peut pas penser a toutes les situations dans les tests unitaires. Mais il est parfois bien plus facile de simuler des situations tordues via des tests unitaires que via le logiciel, et donc de trouver des bugs subtils. Je l'ai vu dans la pratique, avec des situations que j'ai cree de toute piece sous forme de test, que je n'aurai jamais pu trouver dans la pratique.
Dans l'exemple que tu donnes, une URL tordue dans apache. Ok, le test unitaire initial ne contenait pas ce cas. Une fois le bug reporte, tu modifies le test unitaires pour inclure un certain nombre d'url tordues. Et c'est beaucoup plus facile a faire que d'essayre de rentrer les url tordues dans apache.
En ce qui concerne les tests de securite et de buffer overflow, en general, ces problemes sont adresses par des regles de codage et de conception plus que par des tests unitaires.
> non aux attendues du developpeur (tests unitaires).
Les bon developpeurs ont des attentes tres tres pessimistes sur leurs entrees et vont le refleter dans leur test.
> Après, il faut voir si le temps passé à développer les tests unitaires est inférieur au temps passé à chercher le bug. J'imagine que dans ce cas, ça aurait été rentable. Ce n'est pas toujours le cas.
J'utilise des tests unitaires depuis 4 ans et je n'ai pas encore vu de situation ou des bugs seraient plus long a corriger qu'ecrire une suite de test unitaire.
Une suite de test unitaire apporte beaucoup de choses en terme de fiabilite. C'est un atout enorme pour la maintenance.
Il faut aussi voir que meme sans test unitaires, les developpeurs ont ecrits des tests pour leur code. La difference, c'est que ces tests ne sont pas automatises et ne sont pas archives. Ils sont perdu des que le code est ecrit
> les phases de tests qualité c'est bien gentil [...] ça marche très mal dès que la combinatoire est importante
C'est l'argument typique des mecs qui ne veulent pas tester. On parle de test unitaire. Si ta fonctionnalite unitaire a plus de 50 etats possibles, il y a un tres tres gros probleme de conception et je te conseille de separer ta fonctionnalite dans plusieurs classes contenant chacune des fonctinnalites elementaires. On appelle ca de l'encapsulation dans le monde de la programmation objet.
C'est pas toi qui parlait de bonne conception ?
> dès que le logiciel en question peut être mis en oeuvre dans des situations très variées
Si le logiciel doit etre soumis a des situations tres tres variees, il y a de grandes chances que le cerveau du developpeur n'arrive pas a lui tout seul a ecrire du code qui resistera a toutes ces situations. Dans ce cas, il est imperatif:
- d'essayer d'isoler separement la variation de ces situations (en general, c'est possible)
- de mettre en place des tests pour reproduire ces differentes situation. Dans un cas aussi complexe que tu le decris, il est naif de se dire "le developpeur a pense a tout", alors que le developpeur lui-meme sera bien plus rassure si il est en mesure de tester son code dans les situations variees.
> dès que la latitude des utilisateurs est très importante.
Ben voyons. Comme l'utilisateur peut tout faire, tu ne peux rien tester ? L'utilisateur fonctionne par taches elementaires donc tu peux tester chacune des taches elementaires.
> Combien de milliers de pages faudrait-il pour décrire un plan de test complet sur un client de messagerie façon Thunderbird ou sur
> Open Office Writer ? Quelques millions ? Et combien d'environnements de test ?
Un seul environnement de test suffit. Tu decoupes tes tests en hierarchie de facon a pouvoir selectionner ceux que tu veux faire tourner pendant que tu touches a une fontionnalite specifique.
Pour thunderbird, c'est plutot facile. Tu decoupes en fonctionnalite:
- les filtres: je cree un filtre X, un message qui doit etre filtre et un message qui doit passer a traver, je verifie que c'est le cas.
- recherche de msg : laisse a titre d'exemple
- pop3: tu montes un serveur pop3 de test ou mieux, tu en simules un (quelques lignes de python suffisent) et tu verifies que un message stocke sur le serveur est bien rapatrie par ton client, et surtout, qu'il a envoye les bonnes requets dans l'ordre. Apres, tu elabores, sur ton serveur pipo, tu mets un mauvais message, tu supprimes le message, tu reponds des conneries au requetes et tu verifie que thunderbird ne perd pas les pedales.
- smtp : tu montes un serveur smtp ou tu en ecris un reduit. Tu verifies que si tu envoies un message, il arrive bien sur le serveur smtp
- imap: idem
....
Pour OpenOffice, c'est pareil. Le seul truc que tu ne peux pas tester, c'est le rendu exact d'une police a l'ecran et a l'impression. En dehors de ca, tu peux tout tester. Je te donne des exemples de test:
- je selectionne un texte dans un paragraphe, je lance "mise en italique" et je verifie quand dans la representation interne du document, ce morceau de texte est mis en italique
- je selectionne un texte avec un style donne dans mon document et j'active la fonction "appliquer au style courant". Je verifie ensuite que les parametres de style du style courant ont ete mis a jour avec le style que j'ai selectionne
- j'ouvre un document sxw, je le sauve en word, je le recharge en word, je le re-sauve en sxw: le document final et le document initial doivent avoir le meme contenu modulo un nombre de champs _identifies_ qui ne sont pas pris en compte dans le format word
- j'ecrie un mot mal orthographie, je verifie que la fonction de correction va me sortir un mot correctement orthographie du dictionnaire.
etc, etc.
Comme tu vois, rien d'insurmontable.
Apres, sur l'explosion combinatoire des tests, ca ne s'applique pas aux tests unitaires : d'une part les fonctionnalites testees sont petites, d'autre part c'est le developpeur qui ecrit le test. Il sait quelle partie de son code il faut cibler pour lui chercher des embrouilles.
En terme de quantite de code, j'ai en general autant de code de teste que de code de programme. Mais ca ne me prend pas plus de temps a ecrire qu'un programmeur normal, car le programmeur normal aussi fait des tests. Sauf que les siens ne sont pas automatises et integre dans le projet.
C'est sur que tester un projet existant, c'est dur puisque tu as perdu tous les tests ecrits par le developpeur pendant sa phase de dev. Mais integrer les tests au dev, ca ne coute pas grand chose.
Le gain vient surtout au fur a mesure que le projet avance, ou tu peux completement te reposer sur les test unitaires. De facon non surprenantes, quand je decide de ne pas faire de test unitaire sur un morceau de programme, c'est justement la que je vais trouver des bugs par la suite et regrette ma decision.
> Après il faut faire des choix : les ressources consommées par l'assurance qualité seraient-elles mieux utilisées à faire des revues de codes, des re-codage le cas échéant, le tri et l'analyse des rapport de bogues ?
Non. Le cout de correction d'un bug croit exponentiellement en fonction du temps entre lequel il est decouvert et le moment ou la fonctionnalite a ete codee. On gagne donc un temps precieux a detecter les bugs tres tot et a s'eviter des rapports de bug qu'il faut gerer, reproduire, discuter, fermer.
J'ajoute que quand tu as des suites de tests unitaires, il est facile de s'appuyer dessus pour faire des suites de tests fonctionelles. Quand on te reporte un bug, au lieu de corriger, tu construits d'abord un test dans ta suite fonctionelle pour mettre le bug en evidence, puis tu corriges. Tu es sur que le bug ne reviendra _jamais_, tu as un test pour le prouver.
Qui plus es, tu as mentionne la notion de logiciel actif et bien maintenu. Un logiciel qui bouge, c'est un logiciel dont l'architecture evolue souvent dans le temps. Tu peux meme voir que tous les projets majeurs sont re-ecrits tous les deux ou trois ans (Gnome 1 -> Gnome 2, KDE 1 -> KDE 2, gimp1 -> gimp2, apache -> apache2, ...). Les tests unitaires prennent alors une valeur encore plus grande : on peut tout peter a l'architecture, en garantissant que les fonctionnalites sont encore la.
<< A titre d'info, je trouve les dernières versions de la suite bureautique d'un-grand-éditeur-américain-que-nous-connaissons-bien _truffées_ de bogues
>>
Je ne peux pas dire, je ne l'ai pas utilisee depuis deux ans.
Ok, nfs v4 est bien teste. J'en suis super content et je prends ca comme un signe que les mentalites evoluent lentment. Mais a cote de nfsv4, combien de pans entier du noyau sans aucune suite de test automatisee ?
Prend un exemple, le support des materiels exotiques. Il devrait y avoir une suite de tests unitaires qu'on pourrait faire tourner sur un driver quelconque. Pour l'instant, la facon de tester un driver du noyau, c'est soit de faire tourner le noyau de facon normale, soit pour chaque developpeur de s'ecrire une ou deux fonctions de test. Je suis choque de ne pas voir de repretoire test dans les sources du noyau.
Par exemple, je suis dans une situation similaire au cas du driver : je dois supporter plusieurs lecteurs de carte a puce sans-contact. A chaque fois que je rajoute un lecteur, je fais tourner une suite de test generique qui va tester toutes les fonctionnalites generiques du lecteur et va donc valider que mon implementation du support du lecteur est correct dans tout
Pourquoi on ne retrouve pas ce genre de chose dans les sources du noyau ? Avec ca, on pourrait avoir une suite de test revue et amelioree par tout le monde, donc qui serait de tres bonnes qualites.
Et quand un materiel exotique ne marche pas, le developpeur du driver pourrait dire au mec: fait tourner la suite de test et envoie-moi les resultats. Ca l'aiderait surement a faire un diagnostic plus precis du probleme.
Je prends un autre exemple que je connais bien : KDE. Combien de suties de test dans KDE ?
- une suite de test pour kurl
- une suite de test pour taglib
- une suite de test introduite recemment pour khtml.
C'est plutot pathetique. Ca change doucement mais faut pas etre presse.
Si t'as une phase de test qui vient plusieurs annees apres la phase de developpement, c'est du suicide. Avec un raisonnement comme ca, meme les bugs decouverts en phase de developpement sont couteux puisque c'est du code qui a ete developpe il y a 5 ans.
> (je ne parle pas de test unitaire)
Dans ce cas precise. Dans la plupart des projets, la phase de test fonctionelle et l'integration sont faites a la fin. C'est aussi une erreur qu'il faut essayer de corriger, meme si ce n'est pas toujours facile (pour la phase d'integration).
Sans meme faire reference a XP, toutes les methodes de developpement recommandent de faire des phases de tests intermediaires (water fall, cycles en plusieurs V).
Donc on peut reformuler ta phrase "dans le cas ou un projet ne respecte aucune methodologie qualite et fait des tests 3 ans apres le dev, on sait depuis tres longtemp qu'un bug decouvert en phase de test coute tres cher".
Ce qu'on sait surtout depuis tres longtemps, c'est que plus ton bug est decouvert tard, plus il coute cher. Donc il faut tester tres tot et plutot que de sortir une anerie pour decredibiliser les tests (les bugs decouverts en phase de test coutent cher), je pense que tu devrais integrer cette notion de tester le plus tot possible dans une demarche de qualite globale (qui va avec la demarche de bonne conception que tu sembles deja preconiser).
Et comme je l'ai deja dit, une fois que tu as beaucoup de tests unitaires, il est tres facile de monter des tests fonctionnels qui s'appuient sur ces tests unitaires, donc de lancer des tests fonctionnels tres tot sur le projet
Boah, Gtk est maintenu principalement par des gens payes par Redhat, donc je pense qu'il continuera a etre maintenu, car Redhat n'a pas l'intention de passer a Qt.
Moi je connaissais le terme de mock. C'est plus qu'un bouchon dans ce cas et je pense plus que l'equivalent du "stub". Le but est de faire evoluer le comportement du morceau remplace.
cf www.easymock.org pour une solution en java. Pour python, on peut trouver ca dans le python cookbook, sur le site d'active state. Une implementation de mock en moins de 100 lignes, impressionnant.
D'un autre cote, le commentaire n'est pas necessairement le reflet de la qualite d'un logiciel. Avec des fonctions bien nommes un chemin algorithmique clair, on arrive a de bien meilleur resultats qu'un commentaire. Si tu as besoin de mettre 5 lignes de commentaire pour expliquer ce que tu fais, c'est un peu louche.
Exemple:
/* we call this function to check for incorrect syntax */
check_string_1( s );
/* we call this function to check for wrong attributes references */
check_string_2( s );
A comparer a
check_string_for_bad_syntax( s );
check_string_for_wrong_attribute( s );
Je prefere nettement la seconde version, bien qu'elle soit moins commentee.
[^] # Re: Autre chose
Posté par Philippe F (site web personnel) . En réponse à la dépêche JUnitScenario 0.1 vient de sortir. Évalué à 8.
Le signification de test unitaire est acceptee par beaucoup de monde et signifie "tester independamment des morceaux de code". Le but est de mettre en evidence des problemes dans un morceau precis de code de facon a faire de la non-regression. Cette definition est supportee d'une part par les livres traitant d'extrem programming, d'autre part par la communaute et les outils de test unitaires.
Les tests fonctionnels ont un autre role: validation de l'integration de toutes les briques ensemble, stress de l'application par l'envoi de requetes en serie, reproduction du comportement d'un utilisateur.
Typiquement, comme te le dis le monsieur plus haut, creerClient va juste generer une requete SQL fictive et validera que la requete est ce qu'elle doit etre. Idem pour creerDevis. La conclusion logique, c'est que lancer l'un apres l'autre ne stresse pas du tout l'application car ce sont des tests _unitaires_
Maintenant, tu peux mettre en place des tests fonctionnels, en t'appuyant aussi sur Junit et les executer via un scenario. C'est une bonne idee et je fais ca aussi dans mes projets. Dans ce cas, ton test creera effectivement une vraie base de donnee et reproduira le comportement d'un utilisateur.
C'est le fait que JUnit puisse etre utilise dans deux contextes differents (tests unitaires, tests fonctionnels) qui seme la confusion ici.
En continuant a appeler ton projet JUnitScenario, tu risques de ne pas du tout faire comprendre l'utilite de ton soft (donc tu peux oublier les contributeurs):
- les gens qui ne connaissent rien au test unitaire ne seront pas interesses
- les gens qui connaissent les tests unitaires comme moi trouveront ton bidule inutile.
Je te conseille donc pour le bien de ton projet de faire bien comprendre le message. Qqch comme:
"JunitScenario builds an automation framework on top of JUnit to perform functional tests and stressing tests".
Une fois que ce point la est eclairci, ton projet devient interessant.
Mais si tu veux, tu peux continuer a appeler test unitaire un test fonctionnel. Tu peux aussi appeler le soleil "Lune". Mais ca reste le soleil et personne ne te comprendra.
[^] # Re: Que de souvenirs
Posté par Philippe F (site web personnel) . En réponse au journal Vous connaissez JavaCard ?. Évalué à 3.
[^] # Re: L'arbre qui cache la forêt
Posté par Philippe F (site web personnel) . En réponse au journal Je n'utilise plus Linux mais.... Évalué à 4.
Il y a d'autres parties dans KDE qui dependent des atomes X mais je ne suis pas assez pointu pour te dire lesquelles. Il me semble que la gestion de la session et la creation des repertoires temporaires utilisent partiellement des petits mecanismes de X
[^] # Re: Autre chose
Posté par Philippe F (site web personnel) . En réponse à la dépêche JUnitScenario 0.1 vient de sortir. Évalué à 3.
La somme des tests unitaires ne constitue pas un test fonctionnel. Il faut mettre son grain de sel (sa connaissance du fonctionnement du bazar) dedans. Dans mon experience, on s'appuie sur les mecanismes mis en place lors des tests unitaires, mais on ne re-utilise pas les tests unitaires tel quel.
C'est un peu comme la generation automatique de test unitaire a partir des headers. C'est genial sauf que 50 tests unitaires auto-generes ne peuvent remplacer des tests ecrits par le developpeur, qui va tester la ou ca fait mal.
Ce que tu me decris me semble plus facile a mettre en place avec un vrai test, fait non pas d'assemblage de tests unitaires, mais de reproduction du comportement d'un utilisateur.
[^] # Re: L'arbre qui cache la forêt
Posté par Philippe F (site web personnel) . En réponse au journal Je n'utilise plus Linux mais.... Évalué à 6.
[^] # Re: L'arbre qui cache la forêt
Posté par Philippe F (site web personnel) . En réponse au journal Je n'utilise plus Linux mais.... Évalué à 4.
# Qt, c'est fun
Posté par Philippe F (site web personnel) . En réponse au journal QT, KNUT && programmation. Évalué à 4.
Sinon, il existe un forum en francais
http://prog.qt.free.fr/portal.php(...) et un certain nombre d'autres en anglais (qt-forum.org) pour trouver de l'aide. Il y a aussi des bouquins mais je ne crois pas qu'il y aie une version recente en francais.
Pour ce qui est de la transition MFC -> Qt, le site que tu donnes propose un outil qui te permettra de recuperer les parties graphiques d'une appli MFC (dialogue, ....) mais ne transformera pas le code. Cela dit, c'est beaucoup plus simple et plus propre de programmer un MFC qu'en Qt, donc tu ne devrais pas avoir de probleme.
Le site de Trolltech propose aussi de nombreux trucs pour passer de MFC a Qt.
[^] # Re: Autre chose
Posté par Philippe F (site web personnel) . En réponse à la dépêche JUnitScenario 0.1 vient de sortir. Évalué à 3.
En jetant un coup d'oeil rapide, j'ai strictement rien vu de neuf donc je suis un peu sceptique.
[^] # Re: naturellement...
Posté par Philippe F (site web personnel) . En réponse à la dépêche Déclarations de Microsoft à propos de l'interopérabilité, et réactions. Évalué à 10.
Avoir une doc decrivant un format, c'est la base de l'interoperabilite.
Avoir les sources, ca rend possible une demarche tres couteuse et sujette a erreur vis a vis de l'interoperatbilite. Je dois lire 10 000 lignes de code pour savoir que le bit X du byte Y correspond a la fonctionnalite Z ? Et que se passe-t-il si il y a une erreur d'implementation ? Comment tu montes tes tests de compabilite ?
Le garant d'une interoperabilite, c'est une documentation decrivant un format.
L'exemple emblematique etant OpenOffice, qui bien qu'ayant de tres bon filtres pour les documents word, est absolument inutilisable en terme d'interoperabilite sur ce point. Le code n'est tout simplement pas re-utilisable tel quel et imbitable.
[^] # Re: Quelle incompetence...
Posté par Philippe F (site web personnel) . En réponse au journal KDE porté vers Windows.... Évalué à 5.
J'ai ete supris de recevoir un coup de fil: il s'est renseigne et va publier un correctif demain, et il me demandait quelques conseils. Finalement, ca fait de la pub a KDE.
[^] # Re: Stop !
Posté par Philippe F (site web personnel) . En réponse à la dépêche Démarche qualité et Logiciel Libre. Évalué à 2.
> libre sinon il y aurait plus de tests unitaires dans le logiciel libre.
Affirmation gratuite et mechante. Va voir sur ma page web, je fais du logiciel libre. Meme si ce n'est pas la prochaine killer app, je suis content et fier de ce que je fais. Et yzis a le potentiel pour etre la killer vim app.
L'engouement pour les tests unitaire est recent. Perso, j'ai decouvert ca il y a 3 ans avec XP. Je pense que c'est un peu similaire pour les autres ici. Donc je n'ai integre la notion dans mes projets libres que depuis 3 ans.
Mais depuis que je m'interesse au sujet, il y a plus de test unitaires dans le monde du logiciel libre. J'ai fait un qtunit (pas forcement mon meilleur projet), une suite de test unitaires pour lua (c'est deja mieux).
J'ai fait tous les tests unitaires et leur conception pour l'OS open source pour carte a puce jayacard (jayacard.sf.net).
Yzis beneficies d'une suite de test en C++ et d'une suite de test en lua, devines de qui elle vient ? C'est d'ailleurs une des raisons pour lesquelles il sera un meilleur editeur que vim a terme.
[^] # Re: ???
Posté par Philippe F (site web personnel) . En réponse à la dépêche Démarche qualité et Logiciel Libre. Évalué à 4.
> tu dépends d'un automate qui t'envois 200 autres paramètres,etc
Je doute que tu arrives a gerer tes 300 parametres et tes 200 autres avec une seule fonction. Tu as forcement un decoupage du travail qui t'oblige a separer les taches. Une fois que tu as isole les taches, tu peux les tester individuellement.
> Il faut aussi un simulateur. C'est généralement ce qui est fait et même dans le proprio.
En general c'est mieux d'avoir un simulateur sous la main, pour reproduire les cas pourris. J'en ai rarement vu dans le libre malheureusement.
> Dans certain cas tu n'as pas le choix. Une équipe développe l'applis, une autre bosse sur un automate qui va utiliser des
> appareils à plusieurs millions d'euro qui sera disponible que lorsque les développements sont terminés.
Parce que ca vaut plusieurs millions d'euro, tu crois qu'on ne peut pas faire de test ? Ou bien que je vais me dire "la vache, si ca vaut aussi cher, vaut mieux ne pas tester" ? Ton appareil, il a des entrees/sorties qui sont specifiees. Ben tu les utilises pour tes tests.
Tout ce qui a une api peut avoir un test.
> Mais je ne me vois pas demander au boss d'avoir 6 mois de plus
> pour faire des tests unitaires exautifs sans que ça apporte un réel intérêt.
Affabulation. Faire des tests unitaire te fait gagner du temps. Pas le jour ou tu les ecris, mais 6 mois plus tard, quand tu dois modifier le code que tu as ecrit. Tu es bien content de ne pas faire un audit complet de ton code pour verifier que le bug X n'a pas pete ton produit. Tu fais retourner ta suite de test, et hop, tu es tranquil. Les endroits ou ton produit est pete sont clairement isole.
Les tests unitaires, c'est une machine a gagner du temps. Je suis d'accord que c'est contre-intuitif comme idee, mais c'est vraiment le cas dans la pratique.
> Il faut alors que les éléments critiques soient simples.
C'est en effet la caracteristique d'une conception robuste.
> Ainsi tu peux "blinder" les tests unitaires et faire des tests exautifs sur les éléments critiques.
Ah, tu vois qu'on se comprend finalement.
> "Mieux" pour les grosses applis c'est rarement fait car c'est pratiquement impossible sans faire exploser le budget.
Je ne suis pas d'accord. Pour tout projet de plus d'une heure, les tests unitaires te feront gagner du temps. Pour un projet typique, on code 80% du projet en 20% du temps. Les 20% restants sont les plus durs: bugs d'integration, ajustement de la conception, ...
Avec des tests unitaires, t'as plutot une progression lineaire de facteur 1: 20% du temps, 20% du projet. 50% du temps, 50% du projet. Evidemment, vous ne regardez que les 20 premiers % en disant "putain, je pourrai deja en etre a 80% et je n'en suis qu'a 20%". Mais au final, les dernier % sont torches a vitesse grand V. Tu peux meme te permettre de faire des changements majeurs dans le projet dans la phase finale pour integrer la derniere idee du mec marketing, sans avoir peur de miner ton produit. Alors qu'en general, les devs ne veulent plus toucher a rien dans la phase finale, parce qu'ils ont eu trop de bugs d'integration.
> - Faire un (ou des) test unitaire complet pour gecko
Comme je l'ai deja dit, les developpeurs de gecko font deja leurs tests. Ils ont plein de bouts de code qu'ils utilisent pendant leur dev. Seulement des qu'ils estiment que ca marche, au lieu d'integrer ces bouts de code dans une suite de non-regression, ils jettent.
C'est la qu'on perd du temps. Des choses qui sont developpees mais pas integree au produit. C'est sur que rajouter les tests apres, c'est tres difficile et tres couteux.
> Un fois que c'est fait combien de ressource il te faut pour maintenir les tests à jours et suivre les développements de gecko ?
Beaucoup moins que pour corriger les bugs de non- regression, pour relire le code et se prendre la tete a essayer de comprendre pourquoi la foncttion X est comme ca sans avoir le test qui explique et qui valide son comportement.
Il est evident cependant que les tests evoluent avec le soft. Mais c'est une bonne chose.
> Une fois que tu as évaluer les ressources nécessaires interroges si un développeur de plus uniquement pour faire
> de l'audit de code n'est pas un meilleur investissement.
Moi je m'interroge en terme de certitude.
- un developpeur qui audite le code: "je pense que ca marche"
- un test unitaire qui valide le code: "je suis sur que ca marche".
Il n'y a pas photo, je prend la 2e option.
> Mais parfois un module développé n'est utilisé que bien des mois après. [...] Mais suppose que les formats d'entrés aient légèrement
> changé et que lors des tests (pas des tests unitaires) ça plante un module développé il y a quelque mois. Ces "bricoles" ça arrive.
Non ? Tu m'apprend quelque chose, je croyais que tout marchait tout seul et que les tests ne servait qu'a valider la perfection du code que ton cerveau surpuissant avait deja garanti de toute facon.
Mais bien sur que ca arrive ! Et bien tu fais evoluer tes tests, en meme temps que ton module. Un principe de codage fondamental de XP, c'est "on ne code qqch qu'une seule fois". Si ton format change, tu modifies la fonction de lecture du format et le test correspondant. Hop. Si ta representaiton interne doit changer aussi, ben pareil, tu modifies les deux. Une fois que tu as fait ca, tu verifies que tous les modules affectes indirectement par tes changements fonctionnent encore. Tu fais un audit rapide de ta couverture de test sur ces modules. Si elle est bonne, voila, tu t'es economise quelques jours de prise de tete d'audit de tous les modules qui utilisaient ton code.
> Ça arrive car les tests peuvent être erronés ou incomplet, car il y a eu un manque communication lors de l'évolution d'un module, etc.
Bien sur, ca arrive tous les jours. Mais les tests ne sont pas graves dans la pierre, ils evoluent en meme temps que ton programme te que tes specs.
> Toi t'es dans le rève ou il n'y a pas d'erreurs de conception,
Pas du tout. Je passe meme une grande partie de mon temps a corriger mes erreurs de conception en faisant evoluer mes tests. Le fait d'etre un mauvais concepteur ne me gene pas, car j'ai de bonnes suites de tests.
> il n'y a pas de manque de communication, le projet est parfaitement géré, les tests sont tous exautifs et parfait, les
> spécifications sont complètes et n'ont raté aucuns scénarios, etc.
Si c'etait ca, je n'aurai pas besoin d'ecrire des tests. Au contraire, les tests m'aident a gerer tous les problemes classiques d'un projet de facon beaucoup plus zen:
- spec qui evolue => je fais evoluer mes tests
- module non encore dispo => je fais des tests et un simulateur pour le remplacer
- bug a la con decouvert => je fais un test pour encadrer le bug et je cherche tous ses cousins possibles, puis je corrige
- probleme d 'integration dans un autre module, on ne sait pas d'ou vient le probleme => je montre mes suites de test a l'autre developpeur, qui est ensuite convaincu que le probleme vient de son cote
- procedure ISO a suivre pour la validation des specs => j'associe a chaque fonctionnalite un test et mon rapport de test devient ma doc de validation
- je trouve un module super difficile a developper et a tester => c'est un signe de mauvaise conception, je le decoupe jusqu'a pouvoir le tester facilement
- on me dit que a la convergence de trois conditions tres tres rares, le soft ne marche pas => je modifie mon simulateur (pratique de l'avoir developpe avant) pour inclure ces conditions tres tres rares.
etc etc.
Les tests unitaires, c'est vraiment une methodologie de developpement qui me permet d'etre super zen dans ce que je fais et de gerer tous les problemes quotidiens avec du recul.
> Ton cauchemard : Ces abrutis de développeurs qui n'arrêtent pas de faire des conneries.
Mon cauchemard, c'est les developpeurs qui pensent que leur cerveau demesure ne pond que du code correct.
Perso, je suis modeste et pessimiste. Je pense que le code que j'ecris ne marche pas. Alors, je cherche des preuves.
> Mais je vais te montrer un cas "spécial" et qui va te montrer que je ne suis pas contre les tests unitaires lorsque ça a un sens.
De fait, si tu les as utilise et que tu as vu leur valeur, je ne comprends pas pourquoi tu me critiques de facon aussi acharnee.
> J'ai réalisé les procedures de tests exautives (car c'était possible et ça permettait aussi de faire le recette auprès du client).
Ca rejoint ce que je disais sur la valeur des tests. Ca sert plus qu'au developpeur.
> Retard : 15 jours.
Chapeau!
> Le client ne s'est jamais plaint d'un bug.
C'est la caracteristique d'un programme avec de bons tests unitaires. Tres peu de bugs.
> Tous les tests ont été réalisés à la *fin* car pour *ce* projet c'était une bonne méthode.
Je pense que tu as pris des risques sur ton projet, que tu mesurais de facon consciente. Il aurait pu t'arriver des problemes, genre le client reviens au bout de 4 mois : "donnez nous ce que vous avez fait , et on arrete le projet. Puisque ca fait 4 mois que vous avez commence, vous en etes a la moitie. On paiera que pour ce qui marche uniquement".
Mais je ne critique pas ta demarche. C'est bien que tu aies reussie a faire ce qui paraissait impossible.
[^] # Re: ha ?!??
Posté par Philippe F (site web personnel) . En réponse à la dépêche Démarche qualité et Logiciel Libre. Évalué à 5.
> leur gout et il pense que ça leur donne le droit de critiquer le libre dans son ensemble.
Je fais du logiciel libre et j'accepte les critiques. Je ne comprends pas pourquoi il n'en irait pas de meme de mes pairs developpeur. Refuser la critique, c'est toujours une forme d'extremisme. Accepter la critique et dire "ta critique est infondee" ou "ta critique est fondee mais ca restera comme ca", c'est de l'ouverture d'esprit.
Un logiciel est un outil, quand l'outil est pourri, il est juste de le critiquer. Si tu vois le logiciel comme une oeuvre d'art qu'il ne faut jamais executer parce qu'il plante, libre a toi. Mais si tu vois le logiciel comme un outil, tu dois etre pret a accepter la notion de critique, independamment de la facon dont ce soft a ete developpe.
[^] # Re: ???
Posté par Philippe F (site web personnel) . En réponse à la dépêche Démarche qualité et Logiciel Libre. Évalué à 2.
Je sais pas d'ou tu sors ca, je ne suis pas d'accord. Dans le cas des lib pourries et mal documentees, le developpeur est contraint de chercher dans les headers.
Dans les libs que j'utilise, les docs sont bien faites et je ne vais jamais chercher dans les headers:
- boost
- qt
- python
- lua
- KDE
[^] # Re: La démarche qualité existe - elle est seulement différente
Posté par Philippe F (site web personnel) . En réponse à la dépêche Démarche qualité et Logiciel Libre. Évalué à 2.
Et oui, mais l'equipe des developpeurs change. Les anciens s'en vont, ces nouveaus les remplacent. C'est encore plus vrai en entreprise. La suite de test garantit que le qualite demeure dans le projet et pas seulement dans l'individu qui l'a code.
> (donc la batterie de tests codée après coup ne servira à rien par la suite).
C'est pas vrai. A la prochaine attaque sur URL, le code gerant les URL sera encore change. Il se peut qu'a ce moment, un developpeur introduise par megarde une modif qui enleve la correction precedente. Ca n'arrivera peut-etre pas mais tu n'as aucune garanti. Avec ta suite de test, tu as une garantie.
[^] # Re: Stop !
Posté par Philippe F (site web personnel) . En réponse à la dépêche Démarche qualité et Logiciel Libre. Évalué à 4.
Je ne rajouterai qu'une chose : les tests unitaires, essayer les avant de les critiquer. Vous serez surpris de voir a quel point ca vous fait gagner du temps.
[^] # Re: Ah oui mais...
Posté par Philippe F (site web personnel) . En réponse à la dépêche Démarche qualité et Logiciel Libre. Évalué à 2.
[^] # Re: La démarche qualité existe - elle est seulement différente
Posté par Philippe F (site web personnel) . En réponse à la dépêche Démarche qualité et Logiciel Libre. Évalué à 2.
>>
C'est un stereotype courant. Tout depend bien sur de l'attention que tu portes a tes test unitaires. Mais si tu lis les bouquins sur XP, tu verras que dans les exemples, ils testent toujours les conditions limites.
Si je devais ecrire un test pour strcmp, je ne commencerai pas par verifier que srcmp("toto","toto") renvoie 0. Je commencerai par verifier que strcmp( NULL, "toto" ) ne plante pas, ainsi que strmp( NULL, NULL) et strcmp( "toto", NULL).
Il est evident qu'on ne peut pas penser a toutes les situations dans les tests unitaires. Mais il est parfois bien plus facile de simuler des situations tordues via des tests unitaires que via le logiciel, et donc de trouver des bugs subtils. Je l'ai vu dans la pratique, avec des situations que j'ai cree de toute piece sous forme de test, que je n'aurai jamais pu trouver dans la pratique.
Dans l'exemple que tu donnes, une URL tordue dans apache. Ok, le test unitaire initial ne contenait pas ce cas. Une fois le bug reporte, tu modifies le test unitaires pour inclure un certain nombre d'url tordues. Et c'est beaucoup plus facile a faire que d'essayre de rentrer les url tordues dans apache.
En ce qui concerne les tests de securite et de buffer overflow, en general, ces problemes sont adresses par des regles de codage et de conception plus que par des tests unitaires.
> non aux attendues du developpeur (tests unitaires).
Les bon developpeurs ont des attentes tres tres pessimistes sur leurs entrees et vont le refleter dans leur test.
[^] # Re: Ah oui mais...
Posté par Philippe F (site web personnel) . En réponse à la dépêche Démarche qualité et Logiciel Libre. Évalué à 4.
J'utilise des tests unitaires depuis 4 ans et je n'ai pas encore vu de situation ou des bugs seraient plus long a corriger qu'ecrire une suite de test unitaire.
Une suite de test unitaire apporte beaucoup de choses en terme de fiabilite. C'est un atout enorme pour la maintenance.
Il faut aussi voir que meme sans test unitaires, les developpeurs ont ecrits des tests pour leur code. La difference, c'est que ces tests ne sont pas automatises et ne sont pas archives. Ils sont perdu des que le code est ecrit
[^] # Re: Complexité
Posté par Philippe F (site web personnel) . En réponse à la dépêche Démarche qualité et Logiciel Libre. Évalué à 3.
C'est l'argument typique des mecs qui ne veulent pas tester. On parle de test unitaire. Si ta fonctionnalite unitaire a plus de 50 etats possibles, il y a un tres tres gros probleme de conception et je te conseille de separer ta fonctionnalite dans plusieurs classes contenant chacune des fonctinnalites elementaires. On appelle ca de l'encapsulation dans le monde de la programmation objet.
C'est pas toi qui parlait de bonne conception ?
> dès que le logiciel en question peut être mis en oeuvre dans des situations très variées
Si le logiciel doit etre soumis a des situations tres tres variees, il y a de grandes chances que le cerveau du developpeur n'arrive pas a lui tout seul a ecrire du code qui resistera a toutes ces situations. Dans ce cas, il est imperatif:
- d'essayer d'isoler separement la variation de ces situations (en general, c'est possible)
- de mettre en place des tests pour reproduire ces differentes situation. Dans un cas aussi complexe que tu le decris, il est naif de se dire "le developpeur a pense a tout", alors que le developpeur lui-meme sera bien plus rassure si il est en mesure de tester son code dans les situations variees.
> dès que la latitude des utilisateurs est très importante.
Ben voyons. Comme l'utilisateur peut tout faire, tu ne peux rien tester ? L'utilisateur fonctionne par taches elementaires donc tu peux tester chacune des taches elementaires.
> Combien de milliers de pages faudrait-il pour décrire un plan de test complet sur un client de messagerie façon Thunderbird ou sur
> Open Office Writer ? Quelques millions ? Et combien d'environnements de test ?
Un seul environnement de test suffit. Tu decoupes tes tests en hierarchie de facon a pouvoir selectionner ceux que tu veux faire tourner pendant que tu touches a une fontionnalite specifique.
Pour thunderbird, c'est plutot facile. Tu decoupes en fonctionnalite:
- les filtres: je cree un filtre X, un message qui doit etre filtre et un message qui doit passer a traver, je verifie que c'est le cas.
- recherche de msg : laisse a titre d'exemple
- pop3: tu montes un serveur pop3 de test ou mieux, tu en simules un (quelques lignes de python suffisent) et tu verifies que un message stocke sur le serveur est bien rapatrie par ton client, et surtout, qu'il a envoye les bonnes requets dans l'ordre. Apres, tu elabores, sur ton serveur pipo, tu mets un mauvais message, tu supprimes le message, tu reponds des conneries au requetes et tu verifie que thunderbird ne perd pas les pedales.
- smtp : tu montes un serveur smtp ou tu en ecris un reduit. Tu verifies que si tu envoies un message, il arrive bien sur le serveur smtp
- imap: idem
....
Pour OpenOffice, c'est pareil. Le seul truc que tu ne peux pas tester, c'est le rendu exact d'une police a l'ecran et a l'impression. En dehors de ca, tu peux tout tester. Je te donne des exemples de test:
- je selectionne un texte dans un paragraphe, je lance "mise en italique" et je verifie quand dans la representation interne du document, ce morceau de texte est mis en italique
- je selectionne un texte avec un style donne dans mon document et j'active la fonction "appliquer au style courant". Je verifie ensuite que les parametres de style du style courant ont ete mis a jour avec le style que j'ai selectionne
- j'ouvre un document sxw, je le sauve en word, je le recharge en word, je le re-sauve en sxw: le document final et le document initial doivent avoir le meme contenu modulo un nombre de champs _identifies_ qui ne sont pas pris en compte dans le format word
- j'ecrie un mot mal orthographie, je verifie que la fonction de correction va me sortir un mot correctement orthographie du dictionnaire.
etc, etc.
Comme tu vois, rien d'insurmontable.
Apres, sur l'explosion combinatoire des tests, ca ne s'applique pas aux tests unitaires : d'une part les fonctionnalites testees sont petites, d'autre part c'est le developpeur qui ecrit le test. Il sait quelle partie de son code il faut cibler pour lui chercher des embrouilles.
En terme de quantite de code, j'ai en general autant de code de teste que de code de programme. Mais ca ne me prend pas plus de temps a ecrire qu'un programmeur normal, car le programmeur normal aussi fait des tests. Sauf que les siens ne sont pas automatises et integre dans le projet.
C'est sur que tester un projet existant, c'est dur puisque tu as perdu tous les tests ecrits par le developpeur pendant sa phase de dev. Mais integrer les tests au dev, ca ne coute pas grand chose.
Le gain vient surtout au fur a mesure que le projet avance, ou tu peux completement te reposer sur les test unitaires. De facon non surprenantes, quand je decide de ne pas faire de test unitaire sur un morceau de programme, c'est justement la que je vais trouver des bugs par la suite et regrette ma decision.
> Après il faut faire des choix : les ressources consommées par l'assurance qualité seraient-elles mieux utilisées à faire des revues de codes, des re-codage le cas échéant, le tri et l'analyse des rapport de bogues ?
Non. Le cout de correction d'un bug croit exponentiellement en fonction du temps entre lequel il est decouvert et le moment ou la fonctionnalite a ete codee. On gagne donc un temps precieux a detecter les bugs tres tot et a s'eviter des rapports de bug qu'il faut gerer, reproduire, discuter, fermer.
J'ajoute que quand tu as des suites de tests unitaires, il est facile de s'appuyer dessus pour faire des suites de tests fonctionelles. Quand on te reporte un bug, au lieu de corriger, tu construits d'abord un test dans ta suite fonctionelle pour mettre le bug en evidence, puis tu corriges. Tu es sur que le bug ne reviendra _jamais_, tu as un test pour le prouver.
Qui plus es, tu as mentionne la notion de logiciel actif et bien maintenu. Un logiciel qui bouge, c'est un logiciel dont l'architecture evolue souvent dans le temps. Tu peux meme voir que tous les projets majeurs sont re-ecrits tous les deux ou trois ans (Gnome 1 -> Gnome 2, KDE 1 -> KDE 2, gimp1 -> gimp2, apache -> apache2, ...). Les tests unitaires prennent alors une valeur encore plus grande : on peut tout peter a l'architecture, en garantissant que les fonctionnalites sont encore la.
<< A titre d'info, je trouve les dernières versions de la suite bureautique d'un-grand-éditeur-américain-que-nous-connaissons-bien _truffées_ de bogues
>>
Je ne peux pas dire, je ne l'ai pas utilisee depuis deux ans.
[^] # Re: La démarche qualité existe - elle est seulement différente
Posté par Philippe F (site web personnel) . En réponse à la dépêche Démarche qualité et Logiciel Libre. Évalué à 4.
Prend un exemple, le support des materiels exotiques. Il devrait y avoir une suite de tests unitaires qu'on pourrait faire tourner sur un driver quelconque. Pour l'instant, la facon de tester un driver du noyau, c'est soit de faire tourner le noyau de facon normale, soit pour chaque developpeur de s'ecrire une ou deux fonctions de test. Je suis choque de ne pas voir de repretoire test dans les sources du noyau.
Par exemple, je suis dans une situation similaire au cas du driver : je dois supporter plusieurs lecteurs de carte a puce sans-contact. A chaque fois que je rajoute un lecteur, je fais tourner une suite de test generique qui va tester toutes les fonctionnalites generiques du lecteur et va donc valider que mon implementation du support du lecteur est correct dans tout
Pourquoi on ne retrouve pas ce genre de chose dans les sources du noyau ? Avec ca, on pourrait avoir une suite de test revue et amelioree par tout le monde, donc qui serait de tres bonnes qualites.
Et quand un materiel exotique ne marche pas, le developpeur du driver pourrait dire au mec: fait tourner la suite de test et envoie-moi les resultats. Ca l'aiderait surement a faire un diagnostic plus precis du probleme.
Je prends un autre exemple que je connais bien : KDE. Combien de suties de test dans KDE ?
- une suite de test pour kurl
- une suite de test pour taglib
- une suite de test introduite recemment pour khtml.
C'est plutot pathetique. Ca change doucement mais faut pas etre presse.
[^] # Re: ???
Posté par Philippe F (site web personnel) . En réponse à la dépêche Démarche qualité et Logiciel Libre. Évalué à 2.
> (je ne parle pas de test unitaire)
Dans ce cas precise. Dans la plupart des projets, la phase de test fonctionelle et l'integration sont faites a la fin. C'est aussi une erreur qu'il faut essayer de corriger, meme si ce n'est pas toujours facile (pour la phase d'integration).
Sans meme faire reference a XP, toutes les methodes de developpement recommandent de faire des phases de tests intermediaires (water fall, cycles en plusieurs V).
Donc on peut reformuler ta phrase "dans le cas ou un projet ne respecte aucune methodologie qualite et fait des tests 3 ans apres le dev, on sait depuis tres longtemp qu'un bug decouvert en phase de test coute tres cher".
Ce qu'on sait surtout depuis tres longtemps, c'est que plus ton bug est decouvert tard, plus il coute cher. Donc il faut tester tres tot et plutot que de sortir une anerie pour decredibiliser les tests (les bugs decouverts en phase de test coutent cher), je pense que tu devrais integrer cette notion de tester le plus tot possible dans une demarche de qualite globale (qui va avec la demarche de bonne conception que tu sembles deja preconiser).
Et comme je l'ai deja dit, une fois que tu as beaucoup de tests unitaires, il est tres facile de monter des tests fonctionnels qui s'appuient sur ces tests unitaires, donc de lancer des tests fonctionnels tres tot sur le projet
[^] # Re: GTK et Gnome n'ont plus de raison d'être !
Posté par Philippe F (site web personnel) . En réponse à la dépêche Trolltech va publier Qt 4 pour Windows sous double licence. Évalué à 2.
[^] # Re: La démarche qualité existe - elle est seulement différente
Posté par Philippe F (site web personnel) . En réponse à la dépêche Démarche qualité et Logiciel Libre. Évalué à 2.
cf www.easymock.org pour une solution en java. Pour python, on peut trouver ca dans le python cookbook, sur le site d'active state. Une implementation de mock en moins de 100 lignes, impressionnant.
[^] # Re: ha ?!??
Posté par Philippe F (site web personnel) . En réponse à la dépêche Démarche qualité et Logiciel Libre. Évalué à 10.
Exemple:
/* we call this function to check for incorrect syntax */
check_string_1( s );
/* we call this function to check for wrong attributes references */
check_string_2( s );
A comparer a
check_string_for_bad_syntax( s );
check_string_for_wrong_attribute( s );
Je prefere nettement la seconde version, bien qu'elle soit moins commentee.