Test de mutation (mutation testing)
Mis à jour le
Le test de mutation vérifie vos tests en apportant de petites modifications au code et en regardant si un test échoue. Son fonctionnement, et ce qui le distingue de la couverture.
Le test de mutation est une façon de mesurer la capacité d'une suite de tests à détecter des bugs. Un outil apporte de nombreuses petites modifications au code, appelées mutants, et exécute les tests sur chacune. Une bonne suite échoue pour la plupart d'entre eux.
Définition
Pour reprendre la documentation de Stryker : des bugs, ou mutants, sont insérés automatiquement dans votre code. Si vos tests échouent, le mutant est tué (killed). S'ils réussissent, le mutant a survécu (survived), ce qui révèle une lacune des tests. Plus la part de mutants tués est élevée, plus les tests sont efficaces.
Les mutations typiques inversent une comparaison (< en <=), échangent true et false, suppriment un appel de fonction ou remplacent une valeur de retour. Stryker couvre JavaScript et TypeScript, C# et Scala ; les autres écosystèmes ont leurs propres outils.
Le test de mutation est lent, car il exécute la suite une fois par mutant : les équipes le lancent donc souvent uniquement sur les fichiers modifiés, ou de façon planifiée.
Pourquoi c'est important
La couverture vous dit quel code s'est exécuté pendant les tests. Le test de mutation vous dit si les tests remarqueraient que ce code est faux. La différence compte avec les tests écrits par l'IA, qui peuvent exécuter chaque ligne tout en vérifiant très peu de choses.
Dans AI CodeOps
AI CodeOps n'exécute pas de tests de mutation. Sa barrière de livraison utilise vos résultats de tests et un seuil de couverture. Si vous exécutez un outil de mutation dans votre CI, traitez son score comme une vérification distincte.
Questions fréquentes
Pourquoi ne pas s'appuyer sur la seule couverture ?
La couverture montre quelles lignes se sont exécutées pendant les tests, pas si un test remarquerait que ces lignes sont fausses. Un test sans assertion peut tout de même atteindre une couverture complète.
AI CodeOps exécute-t-il des tests de mutation ?
Non. Vous pouvez exécuter un outil de test de mutation dans votre propre CI. AI CodeOps conditionne la livraison aux résultats de tests et à la couverture.