AI CodeOps

Tu propia suite de pruebas, ejecutada sobre el código de la IA

AI CodeOps ejecuta tus pruebas sobre cada cambio de IA en un sandbox sin conexión, registra el resultado real y retiene el pull request si una prueba falla.

En AI CodeOps, la etapa de pruebas ejecuta la suite de pruebas de tu propio proyecto contra el código exacto que una sesión de IA acaba de escribir, dentro de un sandbox aislado, y registra el resultado como una ejecución de pruebas. Una prueba que falla retiene el cambio: no puede convertirse en un pull request hasta que las pruebas pasen en su versión actual.

Que un agente de IA diga «las pruebas deberían pasar» no es una evidencia. Por eso, después de la pasada de código, toda sesión que haya cambiado el código de un proyecto pasa por un paso verify (verificación). Reconstruye el árbol de archivos propuesto en un sandbox, a partir de las mismas ediciones con las que se calculó el diff, y ejecuta allí tu suite. Lo que se ejecuta es lo que se está revisando. Una ejecución de pruebas contra la rama base, o contra una versión anterior del cambio, no te diría nada sobre este.

Qué agentes intervienen

Tres agentes integrados trabajan en las pruebas. Ninguno de ellos ejecuta código:

  • Tester: el plan de pruebas y casos de prueba con nombre para el camino feliz, los casos límite y los modos de fallo. Interviene en diez flujos de trabajo integrados, entre ellos Plan, Build, Review & Test y Quality-Gated Change.
  • E2E Tester: escenarios de extremo a extremo para el flujo visible para el usuario, y dónde falta cobertura. Interviene en Feature SDLC y Release Readiness.
  • Performance Tester: las rutas críticas y el efecto esperado de una optimización. Interviene en los dos extremos de Performance Tuning.

Cuando su paso sigue al paso que implementa el cambio, como hace Test en Plan, Build, Review & Test, se ejecuta después del paso verify. Se le muestra el cambio tal como se escribió y el resultado de pruebas registrado, y se le indica que cite ese resultado cuando hable de las pruebas. Una prueba que nombre en ese momento no se añade en la misma sesión: pídela con una sesión de seguimiento.

En un flujo de trabajo sin paso de implementación, como Parallel Review o Release Readiness, sus pasos se ejecutan antes de la pasada de código y esta los lee, de modo que una sesión puede escribir las pruebas que nombran junto con el cambio. En ambos casos la pasada de código puede escribir pruebas junto con el cambio, y el paso verify ejecuta la suite, con las pruebas antiguas y las nuevas.

Cómo funciona el paso verify

  1. Elegir el comando. Un comando configurado en el proyecto tiene prioridad. Si no lo hay, AI CodeOps lee el árbol: un script test de package.json (ejecutado con bun, pnpm, yarn o npm, según el lockfile); si no, pytest -q cuando encuentra pyproject.toml, setup.cfg, pytest.ini o tox.ini; si no, go test ./... para un go.mod. Un proyecto también se puede configurar para omitir las pruebas.
  2. Instalar y después desconectar. En un proyecto con repositorio, el sandbox lo clona e instala sus dependencias mientras en el árbol solo está tu propio código. Después se desconecta de la red de forma definitiva. Si no se puede aislar, el código de la IA no se ejecuta.
  3. Escribir el cambio y ejecutar. Los archivos de la IA se escriben en el árbol sin conexión y se ejecuta el comando de pruebas. Si el cambio tocó un manifiesto de dependencias, la instalación se ejecuta otra vez, sin conexión.
  4. Registrar el resultado. La salida se analiza para pytest, Jest, Vitest y JUnit XML, con la cifra de cobertura cuando la salida la indica. Los demás runners, incluido el de Go, se registran por su código de salida. La ejecución guarda los totales, las pruebas superadas, las fallidas, las omitidas, la duración, la cobertura y el código de salida. Una ejecución con un código de salida y sin recuentos no demuestra que ninguna prueba haya pasado, así que el control de publicación exige recuentos: consulta los controles más abajo.

Cada comando está limitado a dos minutos, y el paso deja de iniciar comandos nuevos pasados unos seis. Antes, el paso se comprueba con tus políticas: una regla shell.command puede permitir o denegar los comandos de instalación y de pruebas.

Los resultados aparecen en la página de la sesión y en Build & Test, Quality, que lista las ejecuciones de pruebas recientes.

Omisiones honestas

Hay muchas cosas que pueden impedir que una suite se ejecute y que no dicen nada sobre el cambio: que no haya comando de pruebas, dependencias que no se instalan, un runner que falta, que no haya sandbox disponible, un timeout o una política que deniega el comando. En cada caso el paso registra una omisión con su motivo y no escribe ninguna ejecución de pruebas. Una omisión nunca aparece como un fallo, y nunca como prueba superada. Corrige la causa, a menudo configurando el comando de pruebas en el proyecto, y ejecuta la sesión de nuevo. Consulta la solución de problemas.

Controles de calidad implicados

Los resultados de las pruebas son una de las comprobaciones del control de calidad:

  • Las pruebas que fallan bloquean. Cualquier ejecución de pruebas registrada con una prueba fallida o un código de salida distinto de cero deniega el cambio.
  • Solo cuenta la versión actual. Si alguien edita el cambio después de que se ejecutaran sus pruebas, el resultado antiguo deja de valer y el control indica que la versión nueva no está probada.
  • Los mínimos de cobertura son opcionales. Una llamada de CI puede fijar minCoveragePct. La ejecución más reciente que haya indicado cobertura debe cumplirlo. Si ninguna ejecución indicó cobertura, el mínimo no se puede comprobar y el cambio se deniega.
  • La falta de evidencia no equivale a superar el control. Una sesión que cambió código necesita un resultado de pruebas con recuentos. Si no se ejecutó ninguna prueba, o el comando de pruebas se ejecutó pero no indicó recuentos de pruebas, el control bloquea el cambio: "The test command ran but reported no test counts, so nothing shows a test passed. Check the project's test command". Un proyecto sin suite de pruebas activa Don't run tests for this project en sus ajustes, y entonces el control no le exige ningún resultado de pruebas.

Cuando tu CI pregunta al control por un pull request, las ejecuciones fallidas vuelven en testFailures. Un extracto de una respuesta denegada de /api/release/check:

{
  "allowed": false,
  "evidenceComplete": true,
  "summary": "Tests failing (vitest): 2 of 148 failed",
  "reasons": ["Tests failing (vitest): 2 of 148 failed", "Coverage 71% is below the required 80%"],
  "testFailures": [
    {
      "id": "tst_01JA8ZB4N6Q1S3V5X7Z9C2E4G6",
      "workflowRunID": "wfr_01JA8YQ4M2C7H5K9P3S6V8X1ZD",
      "framework": "vitest",
      "failed": 2,
      "total": 148,
      "exitCode": 1,
      "coveragePct": 71
    }
  ],
  "coverageShortfall": { "coveragePct": 71, "required": 80 }
}

La API responde con HTTP 200 tanto si el cambio se permite como si no, así que lee el campo allowed. Las pruebas son solo una parte: el cambio también necesita una revisión de hallazgos completada y sin hallazgos bloqueantes, y una aprobación humana.

Límites

El sandbox ejecuta tus pruebas unitarias y de integración, lo que cubra tu comando de pruebas. AI CodeOps no ejecuta pruebas de navegador, pruebas de carga ni despliegues del cambio como parte de este paso, y no compensa que un proyecto tenga pocas pruebas. Las pruebas que necesitan servicios externos o acceso a la red no llegarán a ellos, porque el sandbox no tiene conexión.

Preguntas frecuentes

¿Qué comando de pruebas ejecuta AI CodeOps?

El que hayas configurado en el proyecto, si lo hay. Si no, usa el script test de package.json con el gestor de paquetes al que apunta tu lockfile; si no, pytest para proyectos Python; si no, go test para módulos Go.

¿Dónde se ejecutan las pruebas?

En un sandbox aislado en la plataforma, nunca en tu máquina y nunca en los servidores de la consola. En un proyecto con repositorio, primero se instalan las dependencias y después el sandbox se desconecta de la red antes de que se escriba el código de la IA y empiecen las pruebas.

¿Y si mi proyecto no tiene pruebas?

El paso verify registra una omisión con el motivo de que no se detectó ningún comando de pruebas. Una omisión nunca se muestra como prueba superada, y el control de publicación deniega un cambio de código sin resultado de pruebas. Si el proyecto no tiene suite de pruebas, activa "Don't run tests for this project" en sus ajustes.

¿Puede el cambio de la IA añadir una dependencia nueva?

Puede, pero la instalación para las pruebas se ejecuta sin conexión, así que un paquete que no esté ya instalado no se podrá instalar. El paso se registra entonces como omitido, no como fallido, con ese motivo.

¿Los agentes de pruebas ejecutan pruebas de navegador o de carga?

No. Los agentes Tester, E2E Tester y Performance Tester escriben planes de pruebas y escenarios, en la mayoría de los flujos de trabajo después de leer el cambio escrito y su resultado de pruebas registrado. El único código que se ejecuta es el comando de pruebas de tu propio proyecto, en el sandbox.