AI CodeOps

¿Qué son los controles de calidad?

Última actualización

Un control de calidad es una decisión de superado o no superado que un cambio debe pasar antes de fusionarse o desplegarse. Qué comprueba, cómo difiere de una comprobación y cómo diseñarlo.

Un control de calidad es una decisión de superado o no superado que un cambio de código debe pasar antes de avanzar a la siguiente etapa, como fusionarse o desplegarse. Compara las evidencias sobre el cambio (resultados de pruebas, hallazgos de revisión, aprobaciones, decisiones de política) con reglas acordadas de antemano, y bloquea el cambio automáticamente cuando las evidencias no alcanzan. Lo que lo convierte en un control y no en un informe es que se impone: un control no superado detiene el cambio.

De dónde vienen los controles de calidad

La idea es anterior a la integración continua. La gestión de proyectos lleva mucho tiempo usando puertas de fase (stage gates): un proyecto pasa de una fase a la siguiente solo después de una revisión con criterios fijados. La fabricación tiene puntos de inspección que una pieza debe superar antes de que siga el montaje.

En el software, el término se popularizó gracias a las herramientas de análisis estático que permitían a los equipos definir umbrales, como ninguna incidencia crítica nueva o una cobertura de pruebas mínima en el código nuevo, e informar de si el proyecto los superaba o no. Los proveedores de Git llevaron la misma idea a los pull requests con la protección de ramas: una rama puede exigir que se superen ciertas comprobaciones de estado, y un número de aprobaciones, antes de permitir una fusión.

Hoy, un control de calidad suele significar una combinación de todo eso: evidencias automáticas de la CI, hallazgos de las herramientas de revisión de código y aprobaciones humanas, evaluados juntos en un punto definido del pipeline de entrega.

Qué comprueba un control de calidad

Los controles se construyen con evidencias. Los tipos habituales son:

  • Build. El código compila y se puede producir el artefacto.
  • Pruebas. La suite de pruebas se superó en esta versión exacta del cambio.
  • Cobertura. La cobertura de pruebas alcanza un mínimo, a menudo solo en el código nuevo o modificado.
  • Hallazgos de revisión. No hay incidencias abiertas por encima de un umbral de gravedad del análisis estático, de la revisión con IA o de las herramientas de seguridad.
  • Dependencias y licencias. No hay licencias prohibidas ni componentes con vulnerabilidades conocidas por encima de un umbral.
  • Aprobaciones. Una o más personas, distintas del autor, aprobaron el cambio.
  • Política. El cambio no toca rutas protegidas, o tiene la aprobación adicional que esas rutas necesitan.
  • Promoción. El cambio se desplegó en un entorno anterior, como staging, antes de producción.

No todos los controles necesitan todo esto. Un control antes de fusionar suele centrarse en las pruebas, la revisión y la aprobación. Un control antes de producción añade la promoción y las comprobaciones de publicación.

Controles de calidad frente a comprobaciones

Las palabras se usan a menudo sin precisión. Merece la pena mantener la distinción, porque decide qué detiene de verdad un cambio defectuoso.

AspectoComprobaciónControl de calidad
Qué produceUn resultado: superado, fallido, una lista de incidenciasUna decisión: permitido o denegado, con motivos
EntradasLa salida de una herramientaVarias evidencias combinadas
UmbralA menudo implícito, o fijado dentro de la herramientaExplícito y acordado: qué gravedades y qué resultados bloquean
Efecto de un falloSe muestra en el pull request; se puede ignorarEl cambio no puede avanzar hasta que cambien las evidencias
Ante un errorA menudo se muestra como neutro u omitidoDebería denegar: sin veredicto no hay control superado
Dónde viveEn la herramienta que la ejecutóEn un punto que debe cruzar todo camino a producción
Registro de auditoríaEl log de la herramienta, si se guardaLa decisión, sus motivos y cualquier excepción, guardados con el cambio

Una comprobación pasa a formar parte de un control cuando algo se niega a continuar por su resultado.

Propiedades de un buen control de calidad

Falla en cerrado. Si un ejecutor de pruebas se bloquea, una revisión agota el tiempo o el servicio del control no responde, el cambio se rechaza. Un control que deja pasar los cambios cuando hay un error está desactivado sin avisar justo cuando más lo necesitas.

La falta de evidencias no equivale a superarlo. Un cambio sin ejecución de pruebas, sin revisión o sin SBOM no ha superado esas comprobaciones. El control lo bloquea o muestra claramente el hueco. Nunca muestra en verde un resultado que falta.

Las evidencias corresponden a la versión. Una ejecución de pruebas sobre un commit anterior no dice nada del actual. Si el cambio se edita después de ejecutarse sus pruebas o después de aprobarse, esos resultados deberían dejar de contar.

Los motivos se entienden. «Denegado» no basta. El control debería decir qué hallazgo, qué prueba o qué regla detuvo el cambio, para que el autor pueda actuar.

Todos los caminos usan el mismo control. Si una fusión desde la consola pasa por el control pero una fusión en el proveedor de Git no, el control tiene una puerta trasera. La misma evaluación debería poder llamarse desde la CI.

Las excepciones son raras y quedan registradas. A veces un equipo necesita entregar a pesar de un hallazgo. Eso debería ser una decisión de triaje explícita de una persona autorizada, guardada con el cambio, no una comprobación desactivada.

Los umbrales solo se endurecen. Empieza con reglas que la base de código pueda cumplir hoy y después endurécelas. Un control que falla en cada cambio pronto se esquiva.

Controles de calidad para código escrito por IA

Los agentes de IA cambian la economía de la revisión. Pueden producir más cambios de los que un equipo puede leer línea a línea, y cada cambio puede parecer plausible y ser sutilmente erróneo. En ese contexto los controles importan más, por tres motivos.

Primero, la seguridad del autor no es una evidencia. Un agente que informa de que las pruebas deberían pasar hace una afirmación; una ejecución de pruebas registrada sobre el cambio exacto es una evidencia. Los controles deberían leer registros producidos al ejecutar las cosas, no el resumen del agente.

Segundo, la revisión tiene que haber ocurrido de verdad. La revisión con IA puede fallar sin hacer ruido, porque agota el tiempo o devuelve un texto que no es un resultado utilizable. Un control tiene que distinguir «revisado, no se encontró nada» de «no revisado».

Tercero, la separación de funciones. La persona que pidió un cambio al agente es, en la práctica, su autora. No debería ser la única que lo aprueba cuando otra persona puede hacerlo. Consulta ¿Cómo encajan los agentes de IA en el ciclo de vida del software? para saber dónde va esa aprobación.

Cómo diseñar controles de calidad

  1. Traza el camino a producción. Enumera todas las formas en que un cambio puede llegar a tu rama principal y a tu entorno de producción: fusiones desde la consola, fusiones en el proveedor de Git, push directos, scripts de publicación. Un control solo protege los caminos que lo cruzan.
  2. Elige los puntos de control. La mayoría de los equipos necesitan al menos un control antes de fusionar y otro antes de producción.
  3. Enumera las evidencias de cada punto. Pruebas sobre la versión actual, hallazgos de revisión, aprobaciones, licencias, despliegue previo. Apunta de dónde sale cada una.
  4. Fija umbrales explícitos. Por ejemplo: bloquear con hallazgos de gravedad alta y crítica, con cualquier prueba fallida y con una revisión que falta. Escribe las reglas donde el equipo pueda leerlas.
  5. Decide los casos en que faltan evidencias. ¿Qué pasa sin pruebas, sin SBOM o sin revisión? Decídelo a propósito, y nunca muestres como superadas unas evidencias que faltan.
  6. Haz que falle en cerrado. Los errores del control deniegan el cambio y lo dicen.
  7. Ábrelo a la CI. Pon la misma decisión a disposición de tu pipeline, para que las fusiones fuera de tus herramientas también tengan que cumplirla.
  8. Define el triaje y las excepciones. Quién puede descartar un hallazgo y cómo se registra.
  9. Revisa el propio control. Mira qué bloqueó y qué se le escapó. Endurece los umbrales a medida que mejore la base de código.

Cómo lo hace AI CodeOps

En AI CodeOps, cada cambio de la IA pasa por un control de calidad antes de convertirse en un pull request, y otra vez antes de que la consola lo fusione. El cambio queda retenido si la revisión de hallazgos de la IA no se completó, si sigue en estado open, acknowledged o in progress algún hallazgo de gravedad alta o crítica, o si las pruebas del proyecto fallan en el sandbox. Un resultado de pruebas solo cuenta para la versión sobre la que se ejecutó. Una persona debe aprobar, y la persona que inició la sesión no puede dar el voto de aprobación mientras exista otro aprobador en el espacio de trabajo. Las políticas del espacio de trabajo pueden denegar el pull request o exigir esa aprobación para las rutas sensibles. Los controles están construidos para fallar en cerrado, con unas pocas excepciones documentadas.

Tu CI puede pedir un veredicto al mismo control sobre un pull request o un commit, con una clave de API del espacio de trabajo, y añadir reglas más estrictas en cada llamada:

curl -s -X POST "https://<your-console>/api/release/check" \
  -H "Authorization: Bearer $WORKSPACE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"pullRequestURL":"https://github.com/acme/checkout/pull/42","blockingSeverity":"medium","requireDeployedTo":"staging"}'

Una respuesta denegada, recortada a los campos principales:

{
  "allowed": false,
  "evidenceComplete": true,
  "summary": "HIGH security: Coupon code is passed to the pricing query without validation",
  "reasons": [
    "HIGH security: Coupon code is passed to the pricing query without validation",
    "Not yet deployed to \"staging\" — promote there before releasing"
  ],
  "testFailures": [],
  "coverageShortfall": null,
  "priorEnvironmentMissing": { "required": "staging" },
  "requiredGatesPassed": true,
  "missingRequiredWorkflows": []
}

El endpoint devuelve HTTP 200 en ambos casos, así que lee allowed. Un cambio sin sesiones que coincidan se deniega, y un error de evaluación devuelve allowed: false. Otras opciones son minCoveragePct, requiredWorkflows, blockOnInFlight y disallowedLicenses, que comprueba el último SBOM registrado del proyecto. La comprobación también deniega cuando faltan evidencias: un cambio de código sin un resultado de pruebas con recuentos, un mínimo de cobertura sin cobertura informada y una regla de licencias sin SBOM. Un proyecto sin suite de pruebas puede excluirse con Don't run tests for this project en sus ajustes.

Consulta Controles de calidad para código de IA para la visión general, Controles de calidad para el triaje y dónde aparecen los resultados, y la referencia de la API para cada campo.

Para profundizar

  • Fallar en abierto frente a fallar en cerrado: cómo acaban los controles dejando pasar los cambios cuando hay un error, cómo decidir los casos en que faltan evidencias y cómo fallar en cerrado sin atascar las publicaciones.
  • Controles de cobertura de pruebas: mínimos por proyecto, cobertura del código nuevo y trinquetes, lo que la cobertura no puede demostrar y con qué combinarla.

Preguntas frecuentes

¿Qué diferencia hay entre un control de calidad y una comprobación de CI?

Una comprobación informa de un resultado. Un control convierte uno o varios resultados en una decisión impuesta que impide que el cambio avance. Una comprobación solo se convierte en un control cuando algo se niega a continuar si falla.

¿Un control de calidad debería fallar en abierto o en cerrado?

En cerrado. Si el control no puede llegar a un veredicto, porque una herramienta se bloqueó o faltan evidencias, debería rechazar el cambio. Un control que deja pasar los cambios cuando hay un error deja de funcionar justo cuando algo va mal.

¿Una aprobación humana es un control de calidad?

Puede serlo. Una aprobación es una evidencia, igual que un resultado de pruebas, y un control puede exigirla. La mayoría de los equipos combinan evidencias automáticas con al menos una aprobación de alguien distinto del autor.

¿Y si un proyecto no tiene pruebas?

Decídelo de forma explícita. Algunos controles bloquean cuando faltan pruebas; otros, solo cuando fallan. En cualquier caso, un resultado que falta nunca debería mostrarse ni contarse como superado.

¿Quién debería poder saltarse un control?

Tan pocas personas como sea práctico, y cada excepción debería registrarse con un motivo. Es preferible corregir o pasar por triaje las evidencias antes que saltarse el control.