AI CodeOps

Controles de calidad para código de IA que fallan en cerrado

En AI CodeOps, un cambio escrito por IA solo abre un pull request cuando pasan las pruebas, la revisión de hallazgos está limpia y otra persona lo aprueba.

En AI CodeOps, los controles de calidad son las comprobaciones que todo cambio de la IA tiene que superar antes de convertirse en un pull request: la revisión del diff con IA debe haberse ejecutado sin dejar abierto nada grave, las pruebas del proyecto no deben fallar y una persona debe aprobar. El mismo control se ejecuta otra vez antes de que la consola fusione el pull request, y tu CI puede pedirle un veredicto mediante una API.

Los agentes de IA escriben código rápido. Esa velocidad solo sirve si cada cambio sigue cumpliendo el listón que exiges a los cambios hechos por personas. Esta página explica qué mira cada comprobación, qué bloquea y hasta dónde llega.

Qué agentes intervienen

El control no se fía de la opinión de un agente sobre su propio trabajo. Lee registros que produjeron los agentes y la plataforma:

  • Hallazgos de la revisión del diff real, atribuidos al Security Auditor cuando el flujo de trabajo tiene uno y, si no, al Reviewer.
  • Ejecuciones de pruebas de tu propia suite de pruebas. El Tester nombra casos de prueba y lee la ejecución registrada, pero el resultado que cuenta sale de ejecutar la suite.
  • Ejecuciones de flujos de trabajo de la propia sesión, como una ejecución de Release Readiness completada, cuando tu CI exige una.

El flujo de trabajo Quality-Gated Change (Builder, Tester, Reviewer) es el camino más corto a través del control. Cualquier otro flujo de trabajo que cambie código pasa por las mismas comprobaciones.

Página Pipelines de AI CodeOps con los recuentos por etapa de Develop, Review and Gate con aprobaciones humanas pendientes, Deliver, Operate y las métricas DORA

Demo interactiva, datos de ejemplo.

Controles de calidad implicados

Cuando una sesión termina, AI CodeOps determina si su cambio está listo para entregarse. El cambio queda retenido si falla cualquiera de estas comprobaciones:

  • La revisión con IA se ejecutó. Después de escribir el código, un paso de revisión lee el diff y registra hallazgos estructurados. Si no se pudo completar, el cambio queda retenido hasta que se revise. Una revisión que falta nunca cuenta como superada.
  • Sin hallazgos bloqueantes. Un hallazgo de gravedad alta o crítica (high o critical) que sigue en estado open, acknowledged o in progress bloquea el cambio. Consulta revisión de código con IA.
  • Las pruebas no fallan. La suite del propio proyecto se ejecuta contra el cambio en un sandbox sin conexión. Una prueba fallida o un código de salida distinto de cero lo bloquea. También lo bloquea un cambio de código sin un resultado de pruebas que tenga recuentos, salvo que el proyecto tenga activado Don't run tests for this project. Consulta pruebas.
  • La versión probada es la actual. Si alguien edita el cambio después de que se ejecutaran las pruebas, el resultado antiguo deja de contar.
  • Una persona aprueba. Toda sesión que produce un cambio abre una solicitud de aprobación. Basta con una aprobación. La persona que inició la sesión no puede darla mientras exista otro aprobador en el espacio de trabajo. ¿Trabajas en solitario? Un espacio de trabajo con un solo aprobador aprueba sus propios cambios, y el registro de auditoría los marca como autoaprobados. Un rechazo pone fin a la solicitud. Editar el código después de la aprobación la devuelve a pendiente. Una solicitud sin decidir caduca a los siete días y se puede volver a pedir.
  • Política del espacio de trabajo. Antes de que se abra el pull request, el repositorio y cada archivo modificado se comprueban con tus políticas. Un deny lo detiene; un ask necesita una aprobación.

El control falla en cerrado (fail closed). Si una comprobación da error, el cambio se rechaza, no se deja pasar.

Qué bloquea

El control se aplica a las acciones realizadas a través de AI CodeOps:

  1. Abrir un pull request desde una sesión.
  2. Fusionar, desde la consola, un pull request que abrió una sesión.
  3. Los despliegues automáticos después de que se fusione la corrección de un incidente.

Un pull request fusionado directamente en GitHub, GitLab u otro proveedor queda fuera de AI CodeOps. Para someter también esas fusiones al control, llámalo desde tu CI.

Usar el control desde CI

La página Release gate (en Review & Gate) comprueba a petición la URL de un pull request o el SHA de un commit. La misma comprobación es una API para tu pipeline, autenticada con una clave de API del espacio de trabajo:

curl -s -X POST "https://<your-console>/api/release/check" \
  -H "Authorization: Bearer $WORKSPACE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"pullRequestURL":"https://github.com/acme/checkout/pull/42","blockingSeverity":"medium","requireDeployedTo":"staging"}'

Una respuesta denegada, recortada a los campos principales:

{
  "allowed": false,
  "evidenceComplete": true,
  "summary": "HIGH security: Coupon code is passed to the pricing query without validation",
  "reasons": [
    "HIGH security: Coupon code is passed to the pricing query without validation",
    "Not yet deployed to \"staging\" — promote there before releasing"
  ],
  "blockingFindings": [
    {
      "id": "fnd_01JA8ZC1P3R5T7V9X1Z3B5D7F9",
      "severity": "high",
      "category": "security",
      "title": "Coupon code is passed to the pricing query without validation",
      "workflowRunID": "wfr_01JA8YQ4M2C7H5K9P3S6V8X1ZD",
      "agentID": "security-auditor",
      "filePath": "src/api/checkout.ts"
    }
  ],
  "testFailures": [],
  "coverageShortfall": null,
  "priorEnvironmentMissing": { "required": "staging" },
  "requiredGatesPassed": true,
  "missingRequiredWorkflows": []
}

La API devuelve HTTP 200 en ambos casos, así que lee el campo allowed en lugar del código de estado. Cada llamada puede fijar comprobaciones más estrictas:

  • blockingSeverity, para bloquear con hallazgos de gravedad medium además de high y critical.
  • minCoveragePct, un mínimo de cobertura para la última ejecución que indicó cobertura. Si ninguna ejecución indicó cobertura, el mínimo no se puede comprobar y el cambio se deniega.
  • requiredWorkflows, flujos de trabajo que deben haberse completado sobre este cambio.
  • requireDeployedTo, un entorno en el que el cambio ya debe estar desplegado.
  • blockOnInFlight, para denegar mientras una sesión del cambio sigue en ejecución.

Por defecto, el control mira las ejecuciones de los últimos 14 días. Un cambio para el que no encuentra ninguna sesión se deniega, no se da por superado: el control no tiene nada que juzgar. Lo mismo vale para la evidencia de pruebas. Una sesión que cambió código necesita un resultado de pruebas con recuentos. Si no se ejecutó ninguna prueba, o el comando de pruebas no indicó recuentos, el control de publicación deniega el cambio, salvo que el proyecto tenga activado Don't run tests for this project.

Cómo se configura

Las comprobaciones integradas están activas en todos los espacios de trabajo y son las mismas para todas las sesiones. La página Policies (en Secure) añade encima tus propias reglas. Cada regla permite, pide aprobación o deniega una acción, como iniciar un flujo de trabajo, cambiar archivos bajo una ruta o abrir un pull request. Un ajuste de confianza decide qué ocurre cuando ninguna regla coincide. Cada decisión deny o ask queda registrada.

Quién puede aprobar y hacer el triaje lo determinan los roles, que se describen junto con el registro de auditoría en la página de gobernanza. La aprobación, cada voto y el resultado del control entran en el paquete de evidencias firmado del cambio.

Preguntas frecuentes

¿Puede un control no superado bloquear la fusión?

Sí, para los cambios hechos mediante AI CodeOps. El cambio de una sesión no se abre como pull request, y la consola no lo fusiona, hasta que se supera el control. Las fusiones hechas directamente en tu proveedor de Git solo se bloquean si tu CI llama a la API del control y hace fallar el job ante una denegación.

¿Qué pasa si un proyecto no tiene pruebas?

Activa "Don't run tests for this project" en los ajustes del proyecto. Sin eso, el control de publicación deniega un cambio de código que no tenga un resultado de pruebas con recuentos, porque la falta de evidencia no equivale a superar el control. El cambio sigue necesitando una revisión de hallazgos limpia y una aprobación.

¿Puedo aprobar mi propio cambio generado por IA?

No si otra persona del espacio de trabajo puede aprobarlo. La persona que inició la sesión no puede dar el voto de aprobación mientras exista otro aprobador. ¿Trabajas en solitario? Un espacio de trabajo con un solo aprobador aprueba sus propios cambios, y el registro de auditoría los marca como autoaprobados.

¿Cómo resuelvo un hallazgo bloqueante?

Corrígelo o pásalo por triaje. Un hallazgo marcado como fixed, won't fix, false positive o duplicate deja de bloquear. Los hallazgos de gravedad alta o crítica en estado open, acknowledged o in progress sí bloquean.

¿Puede mi pipeline de CI pedir un veredicto al control?

Sí. Llama a /api/release/check con una clave de API del espacio de trabajo y la URL de un pull request o el SHA de un commit. Devuelve un veredicto con allowed en true o false y los motivos.

¿Y si el propio control da error?

El cambio se rechaza. Todos los controles de AI CodeOps fallan en cerrado, de modo que un error durante la comprobación nunca deja pasar un cambio.