AI CodeOps

Fail-open ou fail-closed : les barrières qualité face aux erreurs

Mis à jour le

Ce que signifient fail-open et fail-closed pour les barrières de CI et de livraison, pourquoi passer en cas d'erreur les rend inopérantes au pire moment, et comment rester fermé sans blocages.

Une barrière est fail-open (ouverte en cas d'erreur) lorsqu'une erreur laisse passer le changement, et fail-closed (fermée en cas d'erreur) lorsqu'une erreur l'arrête. Les barrières qualité doivent rester fermées en cas d'erreur : si l'exécuteur de tests plante, que la revue dépasse son délai, que les preuves manquent ou que le service de la barrière est injoignable, le changement est refusé jusqu'à ce qu'un vrai verdict existe. Une barrière fail-open semble fonctionner les jours normaux et se désactive discrètement les jours où quelque chose ne va pas, c'est-à-dire précisément les jours pour lesquels elle existe.

Cette page développe une propriété présentée dans Qu'est-ce qu'une barrière qualité ?.

D'où viennent ces termes

Les termes viennent des systèmes physiques, où un concepteur décide de l'état que prend un appareil lorsqu'il perd son alimentation ou son contrôle. Une vanne peut rester ouverte ou se fermer en cas de défaillance ; une serrure électrique peut se déverrouiller, pour que les gens puissent quitter un bâtiment en feu, ou rester verrouillée, pour qu'une chambre forte reste fermée. Aucun des deux choix n'est bon en général. Tout dépend de la défaillance la plus grave.

Pour une barrière qualité, la comparaison oppose une fusion retardée à un changement non contrôlé qui atteint la production. Dans presque tous les cas, le retard est le coût le plus faible, et les barrières restent donc fermées en cas d'erreur.

Comment des barrières finissent par laisser passer en cas d'erreur

Peu d'équipes décident de construire une barrière qui laisse passer en cas d'erreur. Cela arrive par de petits choix qui semblent raisonnables :

  • Des erreurs autorisées à passer. Une étape de CI marquée « continue on error » ou « allow failure » pour qu'un outil instable cesse de bloquer les builds. L'outil finit par échouer pour de bon, et personne ne s'en aperçoit.
  • Des scripts shell qui masquent les codes de sortie. Une commande suivie de || true, ou un pipeline dont le code de sortie vient de la dernière commande plutôt que de celle qui a échoué.
  • Des dépassements de délai traités comme neutres. Une analyse de sécurité qui dépasse son délai est signalée comme « neutre » ou « ignorée », et la protection de branche ne l'exige pas.
  • Des jobs ignorés comptés comme réussis. Sur certains systèmes de CI, un job ignoré par une condition signale une réussite. Une vérification requise peut alors réussir sans avoir été exécutée.
  • Une sortie vide lue comme propre. Un outil de revue qui a planté n'écrit aucun fichier de constats. La barrière lit « zéro constat » et laisse passer.
  • Des réponses illisibles ignorées. Un relecteur IA renvoie de la prose au lieu du résultat structuré qu'attend la barrière, et la barrière traite l'absence de constats comme une approbation.
  • Des erreurs HTTP ignorées. Une étape de CI appelle un service de barrière, reçoit une erreur 500 ou un dépassement de délai, et n'échoue que si la réponse dit explicitement « refusé ».

Chacun de ces choix transforme « nous n'avons pas pu vérifier » en « nous avons vérifié et tout va bien ».

Une preuve manquante est une décision, pas un comportement par défaut

Certaines preuves sont absentes pour de bonnes raisons. Un projet qui ne contient que de la documentation peut n'avoir aucun test. Un nouveau service peut ne pas encore avoir de SBOM. Une commande de test peut ne pas afficher de couverture.

La règle n'est pas que chaque entrée manquante doit bloquer. C'est que chaque cas est tranché délibérément, écrit et visible :

Preuve manquanteOptions
Aucune exécution de testsBloquer ; ou autoriser mais afficher « non vérifié » à l'approbateur
Aucun résultat de revueBloquer. Une revue qui ne s'est pas terminée n'est pas une revue au vert
Aucun SBOM pour une règle de licenceBloquer, car la règle ne peut pas être contrôlée
Aucun chiffre de couvertureBloquer lorsqu'un seuil est exigé ; ou ignorer le seuil et montrer qu'il a été ignoré
Service de la barrière injoignableBloquer et réessayer

Quel que soit votre choix, un résultat manquant ne doit jamais s'afficher comme une coche verte. « Non vérifié » et « réussi » doivent avoir un aspect différent pour la personne qui approuve.

Le coût de la fermeture en cas d'erreur, et comment le gérer

Rester fermé en cas d'erreur a un vrai coût : lorsqu'une dépendance de la barrière est en panne, rien n'est livré. Les équipes qui ignorent ce coût ont tendance à réagir à la première panne en désactivant la barrière. Prévoyez-le plutôt.

  • Réessayer avant d'échouer. Les erreurs réseau transitoires et les limites de débit doivent être retentées quelques fois, avec un délai croissant (backoff), avant que la barrière ne signale un échec.
  • Dire ce qui a échoué. « Vérification de livraison indisponible » et « livraison refusée : constat de gravité high » sont des problèmes différents, avec des responsables différents. Les deux bloquent ; le message indique aux gens quoi faire.
  • Garder une procédure bris de glace. Pour les vraies urgences, une personne habilitée peut passer outre la barrière pour un seul changement, avec une raison enregistrée. La dérogation est rare et visible, et la barrière reste active.
  • Surveiller la barrière elle-même. Suivez la fréquence à laquelle la barrière tombe en erreur, en plus de la fréquence à laquelle elle refuse. Une barrière souvent en erreur finira contournée.

Concevoir une barrière fail-closed

  1. Partez du refus. La réponse par défaut de la barrière est non. Elle ne répond oui que lorsque chaque preuve requise est présente et acceptable.
  2. Traitez les erreurs comme des refus. Les exceptions, les dépassements de délai et les entrées mal formées produisent tous un refus avec une raison, jamais une approbation et jamais « neutre ».
  3. Analysez strictement. Si la sortie d'un outil ne peut pas être lue, l'outil n'a pas réussi.
  4. Liez les preuves à la version. Un résultat de test ou une approbation pour un commit antérieur ne compte pas pour le commit actuel.
  5. Faites passer chaque chemin par la barrière. Si les fusions sur l'hébergeur Git contournent une barrière que les fusions depuis la console respectent, la barrière laisse passer par une autre voie.
  6. Faites en sorte que l'appelant reste lui aussi fermé en cas d'erreur. Une étape de CI qui appelle la barrière doit échouer lorsque l'appel échoue.

Le dernier point est facile à manquer. Voici une étape de CI qui reste fermée en cas d'erreur lorsqu'elle appelle une barrière de livraison via HTTP : toute erreur réseau, tout statut autre qu'un succès ou toute réponse illisible fait échouer le job, tout comme toute réponse autre qu'une autorisation explicite.

response=$(curl -sf --max-time 30 -X POST "https://<your-console>/api/release/check" \
  -H "Authorization: Bearer $WORKSPACE_API_KEY" \
  -H "Content-Type: application/json" \
  -d "{\"pullRequestURL\":\"$PR_URL\"}") || { echo "Release check unavailable: failing closed"; exit 1; }
[ "$(echo "$response" | jq -r '.allowed')" = "true" ] || { echo "$response" | jq -r '.reasons[]?'; exit 1; }

Comment AI CodeOps s'y prend

Les barrières d'AI CodeOps sont conçues pour rester fermées en cas d'erreur, avec quelques exceptions documentées.

  • Si la revue des constats par IA échoue, dépasse son délai, épuise son budget ou renvoie quelque chose d'illisible, le changement est retenu, et la page de la session indique lequel de ces cas s'est produit : ses constats sont inconnus, elle ne compte donc pas comme une revue au vert.
  • Si la vérification de la barrière ne peut pas s'exécuter au moment où une pull request va être ouverte ou fusionnée depuis la console, la pull request n'est pas ouverte et la fusion n'a pas lieu : « The release check couldn't run just now. »
  • La vérification de livraison appelée par la CI renvoie allowed: false avec le résumé « Evaluation failed » si l'évaluation produit une erreur, et refuse un changement sans session correspondante.
  • Une session qui a modifié du code a besoin d'un résultat de test avec des décomptes. Si aucun test n'a été exécuté, ou si la commande de test s'est exécutée sans signaler de décomptes, le changement est bloqué : « The test command ran but reported no test counts, so nothing shows a test passed. Check the project's test command ».
  • Avec disallowedLicenses défini, un projet sans SBOM est refusé, car ses licences ne peuvent pas être contrôlées.
  • Avec minCoveragePct défini, un changement dont les exécutions de tests n'ont signalé aucune couverture est refusé, car le seuil ne peut pas être contrôlé : « Coverage wasn't reported, so the 80% floor can't be checked ».
  • Si la vérification du budget échoue au démarrage d'une session, la session est bloquée plutôt qu'exécutée sans mesure.

Les exceptions sont délibérées, et affichées plutôt que cachées. Un projet sans suite de tests peut activer Don't run tests for this project dans ses paramètres. La barrière de livraison ne demande alors aucun résultat de test pour ce projet, et la page d'exécution indique que le changement n'a pas été vérifié. Enfin, si la vérification du budget échoue pendant une session en cours, la session continue.

Le point de terminaison renvoie HTTP 200 pour une autorisation comme pour un refus, lisez donc allowed, et il répond 429 au-delà de 60 vérifications par minute pour un espace de travail, ce qu'une étape de CI fail-closed doit retenter, puis faire échouer. Consultez Barrières qualité pour ce que vérifie la barrière, la référence de l'API pour chaque champ, et Barrières qualité pour le code IA pour la vue d'ensemble.

Questions fréquentes

Que signifie fail-closed pour une barrière qualité ?

Lorsque la barrière ne peut pas rendre de verdict, parce qu'un outil a planté, qu'un service a dépassé son délai ou que des preuves manquent, elle refuse le changement au lieu de le laisser passer. L'absence de verdict est traitée comme un échec.

Rester fermé en cas d'erreur ne bloque-t-il pas les livraisons pendant les pannes ?

Cela peut arriver, et c'est pourquoi une barrière fail-closed a besoin de nouvelles tentatives, de messages d'erreur clairs et d'une dérogation enregistrée pour les vraies urgences. Un court retard coûte en général moins cher qu'un changement non contrôlé en production.

Une vérification ignorée est-elle une réussite ?

Elle ne devrait pas l'être. Sur certains systèmes de CI, un job ignoré par une condition signale une réussite, si bien qu'une vérification requise peut apparaître en vert sans avoir été exécutée. Décidez pour chaque vérification si elle peut être ignorée, et faites en sorte que la barrière fasse la différence.

Comment passer outre une barrière fail-closed en cas d'urgence ?

Par une décision explicite et enregistrée d'une personne habilitée, avec une raison, et non en désactivant la vérification. La dérogation doit s'appliquer à un seul changement et laisser la barrière en place pour le suivant.