Test instable (flaky test)
Mis à jour le
Un test instable réussit et échoue sur le même code sans que rien n'ait changé. Ses causes courantes, pourquoi l'instabilité mine les barrières, et comment AI CodeOps traite les relances.
Un test instable est un test qui tantôt réussit, tantôt échoue sur le même code, sans que rien n'ait changé entre-temps. Son résultat dépend de quelque chose que le test ne contrôle pas.
Définition
Causes courantes :
- Le timing : des attentes fixes, des courses entre threads, ou un délai d'expiration trop serré sur une machine lente.
- L'ordre : des tests qui dépendent de l'état laissé par un autre test.
- Les ressources partagées : une base de données, un port ou un fichier utilisés par des tests qui s'exécutent en parallèle.
- Le monde extérieur : des appels réseau, la date du jour, les fuseaux horaires ou des valeurs aléatoires sans graine fixe.
Un test qui échoue sur une machine et réussit sur une autre est un problème voisin, généralement dû à une différence d'environnement.
Pourquoi c'est important
Chaque échec instable apprend aux gens que rouge ne veut pas dire cassé. Les équipes se mettent à relancer jusqu'au vert, puis un vrai échec finit lui aussi effacé par une relance. Une barrière fondée sur des tests n'est pas plus fiable que le moins fiable de ses tests. Les agents IA qui écrivent des tests peuvent ajouter de l'instabilité aussi facilement que de la couverture : les nouveaux tests méritent donc le même examen que le nouveau code.
Dans AI CodeOps
AI CodeOps ne détecte pas les tests instables et ne les met pas en quarantaine. Sa barrière de livraison juge chaque workflow sur sa dernière exécution terminée : une relance réussie efface un échec antérieur, tandis qu'une relance encore en cours ou annulée ne compte pas comme une réussite. Les résultats de tests ne valent que pour la version du code sur laquelle ils ont été obtenus.
Questions fréquentes
Faut-il simplement relancer automatiquement les tests instables ?
Comme solution provisoire, avec prudence. Les relances automatiques masquent aussi de vrais bugs intermittents. Suivez les tests qui ont dû être relancés, et corrigez-les ou mettez-les en quarantaine.
AI CodeOps détecte-t-il les tests instables ?
Non. Il enregistre les résultats de tests par exécution. La barrière de livraison juge chaque workflow sur sa dernière exécution terminée.