AI CodeOps

Comment gérer les faux positifs de la revue de code par IA

Mis à jour le

Pourquoi les relecteurs IA signalent des problèmes qui n'existent pas, comment trier les faux positifs sans masquer de vrais bugs, et comment ajuster contexte, prompts et seuils.

Un faux positif en revue de code par IA est un constat qui décrit un problème que le code n'a pas. Tout relecteur automatisé en produit, et les modèles de langage les accompagnent d'explications convaincantes, ce qui les rend plus difficiles à écarter qu'un avertissement laconique d'analyse statique. Ils comptent à cause de leur effet sur les personnes : un relecteur qui crie au loup apprend à ses lecteurs à ne plus lire, et le prochain vrai bug passe inaperçu au milieu du bruit. Le remède est un processus de tri qui enregistre pourquoi chaque constat a été écarté, ainsi qu'un ajustement régulier de ce que voit le relecteur et de ce qu'il a le droit de bloquer.

Cette page approfondit un aspect de Qu'est-ce que la revue de code par IA ? : que faire des constats erronés.

Pourquoi les relecteurs IA signalent des problèmes qui n'existent pas

La plupart des faux positifs viennent de ce que le relecteur en voit moins que la personne qui a écrit le code.

  • Contexte manquant. Le relecteur voit le diff et peut-être quelques fichiers voisins. Il signale un paramètre non validé sans voir le middleware qui valide chaque requête, ou un contrôle de permission manquant qu'un routeur applique une couche plus haut.
  • Reconnaissance de motifs. Une chaîne concaténée dans quelque chose qui ressemble à du SQL évoque une injection, même quand la valeur est une constante. Le modèle reconnaît la forme d'un bug courant et le signale.
  • Pression pour trouver quelque chose. Un prompt qui demande « qu'est-ce qui ne va pas dans ce changement ? » appelle une réponse. Si l'on ne dit pas au relecteur qu'il est acceptable de ne rien trouver, il a tendance à produire des constats pour remplir l'espace.
  • Connaissances périmées. Le modèle peut signaler une API comme dépréciée, ou ignorer qu'une bibliothèque gère désormais un cas par défaut, parce que ses données d'entraînement sont antérieures à la version que vous utilisez.
  • Non-déterminisme. Deux exécutions sur le même diff peuvent produire des constats différents. Il est courant qu'un faux positif apparaisse une fois, puis plus jamais.

Rien de tout cela ne signifie que le relecteur est inutile. Cela signifie que ses constats sont des affirmations à vérifier, pas des faits.

Le coût réel du bruit

Un faux positif coûte à quelqu'un quelques minutes pour le lire et l'écarter. Le coût le plus important est indirect.

Quand la plupart des constats se révèlent faux, les personnes s'adaptent. Elles survolent, écartent en masse, ou n'ouvrent plus du tout la revue. Dès lors, les vrais positifs du relecteur sont perdus eux aussi, et l'équipe dispose d'un processus qui ressemble à une revue sans en avoir l'effet. C'est la même lassitude face aux alertes (alert fatigue) que celle qui touche les systèmes de supervision et les scanners de sécurité.

Il existe l'échec inverse. Une équipe qui ajuste agressivement pour obtenir le silence peut se retrouver avec un relecteur qui ne trouve presque jamais rien, y compris les vrais problèmes. Un faible taux de faux positifs n'est une bonne nouvelle que si le relecteur détecte toujours les bugs qu'il devrait détecter. Mesurez les deux.

Tri : ce que signifie chaque décision

Le tri transforme un constat en décision enregistrée. Les états courants, et quand utiliser chacun :

ÉtatÀ utiliser quandÀ consigner
Fixed (corrigé)Le problème était réel et le changement le corrige désormaisOù il a été corrigé
False positive (faux positif)Le problème n'existe pas dans ce codePourquoi : le contrôle, la garde ou le fait qu'il a manqué
Won't fix (ne sera pas corrigé)Le problème est réel mais accepté, par exemple un compromis connuPourquoi c'est acceptable, et qui l'a décidé
Duplicate (doublon)Un autre constat couvre déjà le même problèmeLequel
Acknowledged (pris en compte)Le problème est réel et sera traité, mais n'est pas encore corrigéCe qui va suivre

Deux distinctions méritent d'être respectées.

Un faux positif n'est pas un won't fix. « Ce n'est pas un bug » et « c'est un bug que nous acceptons » sont deux affirmations différentes, et un auditeur ou un futur mainteneur qui lit la trace doit savoir laquelle était visée. Les confondre masque un risque accepté.

Une mise à l'écart exige une justification. « False positive » tout court est invérifiable. « L'entrée est validée par requireCouponSchema dans la définition de la route » permet à quelqu'un d'autre de le confirmer en quelques secondes, et révèle les cas où la mise à l'écart elle-même était erronée.

Réduire les faux positifs à la source

Le tri gère le bruit une fois qu'il est apparu. Les changements suivants réduisent la quantité qui apparaît.

  1. Donnez plus de contexte au relecteur. Incluez les fichiers que touche le changement, leurs appelants directs et les tests associés. Le contexte est généralement le levier le plus important.
  2. Dites-lui à quoi ressemble la normale. De courtes notes sur les conventions (« tous les handlers sont enveloppés par withAuth », « les montants sont stockés en centimes entiers ») empêchent le même constat erroné de revenir.
  3. Précisez qu'une réponse vide est valide. Indiquez au relecteur que ne signaler aucun constat est un résultat correct quand il n'y a rien à redire.
  4. Exigez des preuves. Demandez un fichier, une ligne et une explication concrète de la façon dont le problème se produit, comme l'entrée qui le déclenche. Les constats vagues sans emplacement sont plus souvent faux.
  5. Définissez les gravités. Écrivez ce que signifient critical, high, medium et low pour votre base de code. Sans définitions, la gravité dérive, et des faux positifs finissent classés high.
  6. Plafonnez le nombre de constats. Une limite pousse le relecteur à signaler ses préoccupations les plus solides plutôt que toutes les préoccupations possibles.
  7. Restreignez les catégories si nécessaire. Si les commentaires de style sont la principale source de bruit et que vous utilisez déjà un linter, demandez au relecteur de ne pas signaler le style.

Seuils : ce qu'un constat a le droit de bloquer

Tous les constats n'ont pas besoin du même pouvoir. Un arrangement courant est le suivant :

  • Critical et high bloquent le changement jusqu'à ce qu'ils soient corrigés ou triés.
  • Medium et en dessous sont montrés à l'approbateur mais ne bloquent pas.

Cela garde le coût d'un faux positif proportionné. Un constat erroné de faible gravité coûte un coup d'œil. Un constat erroné de gravité élevée coûte une décision de tri, ce qui est le juste prix pour quelque chose qui, sinon, arrêterait une livraison.

Considérez le seuil comme quelque chose à resserrer avec le temps. Si les constats de gravité high sont rarement écartés comme faux positifs, il peut valoir la peine de bloquer aussi sur medium, au moins pour les dépôts sensibles.

Mesurer et ajuster dans la durée

Les décisions concernant le relecteur doivent s'appuyer sur l'historique du tri, pas sur des impressions.

  • Taux de mise à l'écart par catégorie. Si la plupart des constats de sécurité sont corrigés mais que la plupart des constats de performance sont écartés, les instructions de performance doivent être retravaillées.
  • Récidivistes. Le même constat erroné sur de nombreux changements signale une note de convention ou un contexte manquant.
  • Audits par échantillonnage des mises à l'écart. De temps en temps, demandez à une deuxième personne d'examiner une poignée de constats marqués false positive. Une mise à l'écart peut aussi être erronée, et une série de mises à l'écart erronées est un problème de processus.
  • Contrôles sur des bugs connus. Faites passer le relecteur sur quelques changements contenant des bugs que vous avez déjà trouvés. Si l'ajustement les lui fait manquer, vous avez échangé du rappel (recall) contre du calme.

Comment AI CodeOps s'en charge

Dans AI CodeOps, la revue des constats qui lit le diff de chaque changement doit répondre par un tableau JSON de constats, chacun avec un titre, une gravité, une catégorie, une description, une recommandation et généralement un fichier. Elle en enregistre au maximum 12, et un tableau vide correspond à une revue terminée qui n'a rien trouvé. Consultez Revues multi-agents pour l'articulation des passes.

Chaque constat peut être passé à open, acknowledged, in progress, fixed, won't fix, false positive ou duplicate depuis la liste Findings de la session. Seuls les constats high ou critical ouverts, dans les états open, acknowledged ou in progress, bloquent la pull request. En marquer un fixed, won't fix, false positive ou duplicate met fin à son blocage, et le tri est conservé avec le changement et dans son dossier de preuves. Changer un statut nécessite un rôle doté de la permission de tri : les rôles Owner, Admin, Developer, Member et Security Admin l'ont ; le rôle Viewer ne l'a pas.

Un job de CI qui veut une règle plus stricte peut appeler la vérification de livraison avec blockingSeverity défini sur medium. Et quand un constat est réel, Fix lance une session pour le corriger, qui passe par la même revue et la même approbation que tout autre changement. Les détails se trouvent dans Barrières qualité et sur la page Revue de code par IA.

Questions fréquentes

Qu'est-ce qu'un faux positif en revue de code par IA ?

Un constat qui décrit un problème que le code n'a pas, comme un contrôle de null manquant sur une valeur qui ne peut jamais être null, ou un risque d'injection sur une entrée déjà validée ailleurs.

Faut-il quand même corriger un faux positif, pour satisfaire le relecteur ?

Non. Modifier du code correct pour faire taire un relecteur ajoute des changements inutiles et peut introduire de vrais bugs. Marquez le constat comme faux positif avec une courte justification, et servez-vous des cas répétés pour améliorer le contexte ou les instructions du relecteur.

Qui doit pouvoir écarter les constats d'une revue par IA ?

Les personnes qui pourraient approuver ou écrire le changement, pas les utilisateurs en lecture seule, et idéalement pas uniquement la personne qui a demandé le changement. Chaque mise à l'écart doit enregistrer qui l'a décidée, pour pouvoir être vérifiée plus tard.

Peut-on obtenir d'un relecteur IA la même réponse à chaque fois ?

Pas entièrement. Les modèles de langage varient d'une exécution à l'autre. Des instructions fixes, une sortie structurée, des définitions de gravité claires et un seuil bloquant rendent le résultat assez stable pour agir, même quand la formulation change.