Module 02 · Mener une campagne · 10 min
Où en est-on ?
Les chiffres qui décrivent une campagne, ce que chacun cache, et pourquoi la réponse commence toujours par ce qui n'est pas fait.
Révision
De la leçon précédente : une anomalie est déclarée corrigée. Qu'est-ce qui la ferme, et que devient le cas ensuite ?
La réponse du cours
Une nouvelle exécution réussie, sur un build qui contient la correction. Le cas reste ensuite dans la suite comme cas de non-régression, pour que le défaut ne puisse pas revenir sans qu'on le voie.
Quatre chiffres
« Où en est-on ? » est la question que reçoit chaque campagne, plusieurs fois par jour vers la fin. La méthode du Testing Agent y répond par quatre chiffres. D'autres méthodes emploient d'autres noms, et les définitions varient d'une équipe à l'autre ; ce sont celles qu'on utilise ici, et l'important est que chacune soit définie, pour que personne n'y lise plus que ce qu'elle dit.
| Chiffre | Définition | Il répond à |
|---|---|---|
| Couverture de préparation | Exigences testables avec au moins un cas conçu, sur les exigences testables | Avons-nous prévu de tester tout ce que nous pouvons ? |
| Couverture d'exécution | Exigences testables avec au moins un cas exécuté OK, KO ou Arbitré, sur les exigences testables | Quelle part de ce que nous pouvons tester a vraiment été testée ? |
| Avancement | Cas planifiés exécutés (OK, KO, Non applicable, Arbitré), sur les cas planifiés | Où en sommes-nous dans la campagne ? |
| Qualité | OK, sur OK, KO et Arbitré | De ce qui a tourné, quelle part a fonctionné ? |
Deux détails portent l'essentiel :
- Un cas bloqué n'est pas exécuté. Il ne compte ni dans l'avancement ni dans la qualité : il reste à faire.
- Un cas arbitré n'est pas un succès. Il a tourné, il a échoué, et quelqu'un a accepté l'écart. Il compte contre la qualité, parce que le produit n'a pas fait ce qui était demandé.
Ce que chaque chiffre cache
Chaque chiffre, cité seul, induit en erreur de façon prévisible. Une couverture de préparation à 100 % dit que chaque exigence a un cas, pas qu'aucun ait tourné. Un avancement à 90 % ne dit rien de la réussite de ces cas. Une qualité à 100 % sur trois cas exécutés sur quarante, c'est trois cas.
C'est pourquoi la réponse à « où en est-on ? » ne commence jamais par un pourcentage. Elle commence par ce qui n'est pas fait :
- ce qui reste à exécuter, par importance, et ce qui demande une personne ;
- les exigences sans cas, et celles qui ne sont pas testables ;
- les anomalies ouvertes, les plus graves d'abord ;
- les actions qui attendent quelqu'un, et leur retard ;
- puis les chiffres, côte à côte, jamais un seul.
Après deux jours, une campagne affiche une qualité de 100 %. Que devez-vous savoir avant de répéter ce chiffre à qui que ce soit ?
La réponse du cours
Sur combien de cas il est calculé, et donc ce que valent l'avancement et la couverture d'exécution. La qualité est un rapport sur les seuls cas exécutés : 100 % peut vouloir dire trois cas réussis sur quarante planifiés, avec les exigences les plus importantes pas encore lancées. Et s'il y a des cas bloqués, puisqu'ils ne sont d'aucun côté du rapport.
| A | Combien de cas il couvre, l'avancement et la couverture d'exécution à côté, et ce qui est bloqué | ✅ |
| B | « Si les tests sont bons » | ⚠️ Une vraie inquiétude, qui ne dit pas ce que le chiffre laisse de côté |
| C | Rien, 100 % c'est 100 % | ❌ C'est 100 % de ce qui a tourné, qui peut être presque rien |