Seuil de couverture (coverage floor)
Mis à jour le
Un seuil de couverture est la couverture de tests minimale avec laquelle un changement peut être livré. Comment le fixer, ses pièges, et minCoveragePct dans la vérification CI d'AI CodeOps.
Un seuil de couverture est le pourcentage minimal de couverture de tests qu'une base de code ou un changement doit atteindre pour passer un contrôle qualité. Si la couverture mesurée est inférieure au seuil, le contrôle échoue.
Définition
Les outils de couverture mesurent la part du code que les tests ont exécutée, en général en pourcentage de lignes, d'instructions ou de branches. Un seuil fixe un minimum pour ce chiffre, par exemple 80% de couverture des lignes, et une étape de CI échoue lorsque l'exécution donne un chiffre inférieur. Certaines équipes appliquent le seuil à l'ensemble du projet, d'autres uniquement aux lignes touchées par un changement.
Un seuil mesure la quantité de code exécutée pendant les tests, pas le fait que les tests aient vérifié quoi que ce soit. Un test sans assertion ajoute quand même de la couverture.
Pourquoi c'est important
La couverture a tendance à glisser lorsque personne ne la surveille, et un seuil arrête cette glissade. Il est surtout utile comme cliquet : fixez-le près du chiffre actuel et relevez-le à mesure que la couverture s'améliore. Pour les changements écrits par l'IA, c'est un signal peu coûteux que la session a écrit des tests en plus du code, et non à sa place.
Dans AI CodeOps
Le seuil de couverture est l'option minCoveragePct de la vérification de livraison qu'appelle votre CI, POST /api/release/check :
{ "pullRequestURL": "https://github.com/acme/checkout/pull/42", "minCoveragePct": 80 }
Lorsqu'une session exécute vos tests dans son bac à sable, AI CodeOps extrait le chiffre de couverture de la sortie des tests lorsque celle-ci contient un résumé : une ligne TOTAL de pytest-cov, une ligne All files d'Istanbul (Jest, Vitest ; la première colonne, celle des instructions), ou une ligne étiquetée comme coverage: 85.3%. Il enregistre le chiffre avec l'exécution de tests sous forme de nombre entier, arrondi à l'inférieur.
Avec minCoveragePct défini, la dernière exécution de tests ayant signalé une couverture doit l'atteindre. Un manque refuse la livraison :
{
"allowed": false,
"reasons": ["Coverage 71% is below the required 80%"],
"coverageShortfall": { "coveragePct": 71, "required": 80 },
"coverageNotReported": null
}
Deux détails comptent :
- Pas de couverture signalée, pas de réussite. Si aucune exécution de tests du changement n'a signalé de couverture, le seuil ne peut pas être contrôlé, et la livraison est donc refusée : « Coverage wasn't reported, so the 80% floor can't be checked ». La réponse contient alors
"coverageNotReported": { "required": 80 }. Faites afficher un résumé de couverture par la commande de test de votre projet, par exemplepytest --covouvitest run --coverage, avant de fixer un seuil. - CI uniquement. La barrière qualité de la console bloque les tests en échec mais ne vérifie pas la couverture, et la page Release gate n'a pas de champ de couverture. Fixez le seuil dans l'appel à l'API.
Les tests en échec font l'objet d'une vérification distincte : toute exécution de tests enregistrée comportant un test en échec ou un code de sortie non nul refuse la livraison, quelle que soit la couverture. La liste complète des options se trouve sur la page de l'API, et le fonctionnement des tests sur la page tests.
Termes associés
- Barrière qualité : les vérifications auxquelles s'ajoute un seuil de couverture.
- Politique de licences : une autre option de la même vérification CI.
- Barrière de déploiement : des vérifications de livraison par environnement.
Questions fréquentes
AI CodeOps refuse-t-il un changement lorsqu'aucune couverture n'a été signalée ?
Oui, lorsque vous fixez un seuil. Avec minCoveragePct défini, la dernière exécution de tests ayant signalé une couverture doit l'atteindre. Si aucune n'a signalé de couverture, la vérification refuse, car le seuil ne peut pas être contrôlé.
Le seuil de couverture est-il actif par défaut ?
Non. Il ne s'applique que si votre CI transmet minCoveragePct à la vérification de livraison. La barrière de chaque session dans la console ne vérifie pas la couverture.
Quel chiffre de couverture AI CodeOps utilise-t-il ?
Le chiffre de couverture global, lu dans la sortie des tests lorsqu'elle contient un résumé, comme une ligne TOTAL de pytest-cov ou une ligne All files d'Istanbul (sa colonne des instructions).