Votre propre suite de tests, exécutée sur le code écrit par l'IA
AI CodeOps exécute les tests de votre projet sur chaque changement de l'IA dans un bac à sable hors ligne, enregistre le résultat réel et retient la pull request si un test échoue.
Dans AI CodeOps, l'étape de test exécute la propre suite de tests de votre projet sur le code exact qu'une session IA vient d'écrire, dans un bac à sable isolé, et enregistre le résultat comme une exécution de tests. Un test en échec retient le changement : il ne peut pas devenir une pull request tant que les tests ne réussissent pas sur sa version actuelle.
Un agent IA qui affirme que « les tests devraient passer » n'apporte pas une preuve. Après la passe de code, toute session qui a modifié le code d'un projet passe donc par une étape verify (vérification). Elle reconstruit l'arborescence de fichiers proposée dans un bac à sable, à partir des mêmes modifications que celles qui ont servi à calculer le diff, et y exécute votre suite. Ce qui s'exécute est ce qui est relu. Une exécution de tests sur la branche de base, ou sur une version antérieure du changement, ne vous apprendrait rien sur celui-ci.
Quels agents interviennent
Trois agents intégrés travaillent sur les tests. Aucun d'eux n'exécute de code :
- Tester : le plan de test et des cas de test nommés pour le chemin nominal, les cas limites et les modes de défaillance. Il intervient dans dix workflows intégrés, dont Plan, Build, Review & Test et Quality-Gated Change.
- E2E Tester : des scénarios de bout en bout pour le parcours visible par l'utilisateur, et les endroits où la couverture manque. Il intervient dans Feature SDLC et Release Readiness.
- Performance Tester : les chemins critiques et l'effet attendu d'une optimisation. Il intervient aux deux extrémités de Performance Tuning.
Lorsque leur étape suit l'étape qui implémente le changement, comme Test dans Plan, Build, Review & Test, elle s'exécute après l'étape verify. Elle reçoit le changement tel qu'il a été écrit ainsi que le résultat de test enregistré, et il lui est demandé de citer ce résultat lorsqu'elle parle des tests. Un test qu'elle nomme à ce moment-là n'est pas ajouté dans la même session : demandez-le avec une session de suivi.
Dans un workflow sans étape d'implémentation, comme Parallel Review ou Release Readiness, leurs étapes s'exécutent avant la passe de code, qui les lit, de sorte qu'une session peut écrire les tests qu'elles nomment en même temps que le changement. Dans les deux cas, la passe de code peut écrire des tests avec le changement, et l'étape verify exécute la suite, anciens tests comme nouveaux.
Comment fonctionne l'étape verify
- Choisir la commande. Une commande définie sur le projet est prioritaire. Sinon, AI CodeOps lit l'arborescence : un script test de
package.json(exécuté avec bun, pnpm, yarn ou npm, selon le lockfile), sinonpytest -qs'il trouvepyproject.toml,setup.cfg,pytest.inioutox.ini, sinongo test ./...pour ungo.mod. Un projet peut aussi être configuré pour ignorer les tests. - Installer, puis passer hors ligne. Pour un projet doté d'un dépôt, le bac à sable le clone et installe ses dépendances alors que seul votre propre code se trouve dans l'arborescence. Il est ensuite coupé du réseau définitivement. S'il ne peut pas être isolé, le code de l'IA n'est pas exécuté.
- Écrire le changement et exécuter. Les fichiers de l'IA sont écrits dans l'arborescence hors ligne et la commande de test s'exécute. Si le changement a touché un manifeste de dépendances, l'installation est relancée, hors ligne.
- Enregistrer le résultat. La sortie est analysée pour pytest, Jest, Vitest et JUnit XML, avec le chiffre de couverture lorsque la sortie l'indique. Les autres lanceurs de tests, celui de Go compris, sont enregistrés d'après leur code de sortie. L'exécution conserve les totaux, les tests réussis, échoués et ignorés, la durée, la couverture et le code de sortie. Une exécution avec un code de sortie et sans décomptes ne montre pas qu'un test a réussi, si bien que la barrière de livraison demande des décomptes : voir les barrières ci-dessous.
Chaque commande est limitée à deux minutes, et l'étape cesse de lancer de nouvelles commandes au bout d'environ six. L'étape est d'abord vérifiée par rapport à vos politiques : une règle shell.command peut autoriser ou refuser les commandes d'installation et de test.
Les résultats apparaissent sur la page de la session et dans Build & Test, Quality, qui liste les exécutions de tests récentes.
Des étapes ignorées, en toute transparence
Bien des choses peuvent empêcher une suite de s'exécuter sans rien dire du changement : pas de commande de test, des dépendances qui ne s'installent pas, un lanceur de tests manquant, aucun bac à sable disponible, un dépassement de délai ou une politique qui refuse la commande. Dans chaque cas, l'étape est enregistrée comme ignorée, avec son motif, et n'écrit aucune exécution de tests. Une étape ignorée n'apparaît jamais comme un échec, ni comme une réussite. Corrigez la cause, souvent en définissant la commande de test sur le projet, puis relancez la session. Consultez le dépannage.
Barrières qualité concernées
Les résultats de tests sont l'un des contrôles de la barrière qualité :
- Les tests en échec bloquent. Toute exécution de tests enregistrée avec un test en échec ou un code de sortie non nul refuse le changement.
- Seule la version actuelle compte. Si quelqu'un modifie le changement après l'exécution de ses tests, l'ancien résultat ne s'applique plus et la barrière signale la nouvelle version comme non testée.
- Les seuils de couverture sont facultatifs. Un appel de la CI peut définir
minCoveragePct. L'exécution la plus récente ayant indiqué une couverture doit l'atteindre. Si aucune exécution n'a indiqué de couverture, le seuil ne peut pas être vérifié et le changement est refusé. - Une absence de preuve n'est pas une réussite. Une session qui a modifié du code a besoin d'un résultat de test avec des décomptes. Si aucun test ne s'est exécuté, ou si la commande de test s'est exécutée sans indiquer de décomptes, la barrière bloque le changement : « The test command ran but reported no test counts, so nothing shows a test passed. Check the project's test command ». Un projet sans suite de tests active Don't run tests for this project dans ses réglages, et la barrière ne lui demande alors aucun résultat de test.
Lorsque votre CI interroge la barrière à propos d'une pull request, les exécutions en échec reviennent dans testFailures. Extrait d'une réponse de refus de /api/release/check :
{
"allowed": false,
"evidenceComplete": true,
"summary": "Tests failing (vitest): 2 of 148 failed",
"reasons": ["Tests failing (vitest): 2 of 148 failed", "Coverage 71% is below the required 80%"],
"testFailures": [
{
"id": "tst_01JA8ZB4N6Q1S3V5X7Z9C2E4G6",
"workflowRunID": "wfr_01JA8YQ4M2C7H5K9P3S6V8X1ZD",
"framework": "vitest",
"failed": 2,
"total": 148,
"exitCode": 1,
"coveragePct": 71
}
],
"coverageShortfall": { "coveragePct": 71, "required": 80 }
}
L'API répond HTTP 200, que le changement soit autorisé ou non : lisez donc le champ allowed. Les tests n'en sont qu'une partie : le changement a aussi besoin d'une revue des constats terminée, sans constat bloquant, et d'une approbation humaine.
Limites
Le bac à sable exécute vos tests unitaires et d'intégration, quoi que couvre votre commande de test. AI CodeOps n'exécute ni tests navigateur, ni tests de charge, ni déploiements du changement dans le cadre de cette étape, et il ne compense pas un projet qui a peu de tests. Les tests qui ont besoin de services externes ou d'un accès au réseau ne les atteindront pas, car le bac à sable est hors ligne.
Questions fréquentes
Quelle commande de test AI CodeOps exécute-t-il ?
Celle que vous avez définie sur le projet, s'il y en a une. Sinon, il utilise le script test du package.json avec le gestionnaire de paquets indiqué par votre lockfile, sinon pytest pour les projets Python, sinon go test pour les modules Go.
Où les tests s'exécutent-ils ?
Dans un bac à sable isolé sur la plateforme, jamais sur votre machine et jamais sur les serveurs de la console. Pour un projet doté d'un dépôt, les dépendances sont d'abord installées, puis le bac à sable est coupé du réseau avant que le code de l'IA soit écrit et que les tests démarrent.
Et si mon projet n'a pas de tests ?
L'étape verify est enregistrée comme ignorée, au motif qu'aucune commande de test n'a été détectée. Une étape ignorée n'est jamais affichée comme une réussite, et la barrière de livraison refuse un changement de code sans résultat de test. Si le projet n'a pas de suite de tests, activez « Don't run tests for this project » dans ses réglages.
Le changement de l'IA peut-il ajouter une nouvelle dépendance ?
Il le peut, mais l'installation pour les tests s'exécute hors ligne, si bien qu'un paquet qui n'est pas déjà installé ne pourra pas être installé. L'étape est alors enregistrée comme ignorée, et non en échec, avec ce motif.
Les agents de test exécutent-ils des tests navigateur ou des tests de charge ?
Non. Les agents Tester, E2E Tester et Performance Tester rédigent des plans de test et des scénarios, dans la plupart des workflows après avoir lu le changement écrit et son résultat de test enregistré. Le seul code qui s'exécute est la commande de test de votre propre projet, dans le bac à sable.