Fallar en abierto o en cerrado: qué debe hacer un control ante un error
Última actualización
Qué significan fallar en abierto y fallar en cerrado en los controles de CI y de publicación, por qué un control que deja pasar errores no sirve cuando importa y cómo fallar en cerrado sin atascos.
En esta página
Un control falla en abierto cuando un error deja pasar el cambio, y falla en cerrado cuando un error lo detiene. Los controles de calidad deberían fallar en cerrado: si el ejecutor de pruebas se bloquea, la revisión agota el tiempo, faltan evidencias o no se puede llegar al servicio del control, el cambio se rechaza hasta que exista un veredicto real. Un control que falla en abierto parece funcionar bien los días normales y se desactiva sin avisar los días en que algo va mal, que son justo los días para los que existe.
Esta página amplía una de las propiedades de ¿Qué son los controles de calidad?.
De dónde vienen los términos
Los términos vienen de los sistemas físicos, en los que un diseñador decide qué estado adopta un dispositivo cuando pierde la alimentación o el control. Una válvula puede fallar abierta o cerrada; una cerradura eléctrica puede fallar desbloqueada, para que la gente pueda salir de un edificio en llamas, o bloqueada, para que una cámara acorazada siga cerrada. Ninguna opción es correcta en general. La elección depende de qué fallo es peor.
En un control de calidad, la comparación es entre una fusión retrasada y un cambio sin comprobar que llega a producción. En casi todos los casos el retraso es el costo menor, así que los controles fallan en cerrado.
Cómo acaban los controles fallando en abierto
Pocos equipos deciden construir un control que deja pasar los cambios cuando hay un error. Ocurre a base de pequeñas decisiones que parecen razonables:
- Errores a los que se permite pasar. Un paso de CI marcado como «continue on error» o «allow failure» para que una herramienta inestable deje de bloquear los builds. Luego la herramienta falla de verdad, y nadie se da cuenta.
- Scripts de shell que ocultan los códigos de salida. Un comando seguido de
|| true, o un pipeline cuyo estado de salida viene del último comando y no del que falló. - Timeouts tratados como neutros. Un análisis de seguridad que agota el tiempo se notifica como «neutral» o «skipped», y la protección de ramas no lo exige.
- Jobs omitidos contados como éxito. En algunos sistemas de CI, un job omitido por una condición informa de éxito. Una comprobación obligatoria puede entonces superarse sin ejecutarse.
- Salida vacía leída como limpia. Una herramienta de revisión que se bloqueó no escribe ningún archivo de hallazgos. El control lee «cero hallazgos» y lo da por superado.
- Respuestas ilegibles ignoradas. Un revisor con IA devuelve prosa en lugar del resultado estructurado que espera el control, y el control trata la ausencia de hallazgos como una aprobación.
- Errores HTTP ignorados. Un paso de CI llama al servicio de un control, recibe un 500 o un timeout y solo falla si la respuesta dice explícitamente «denegado».
Cada uno de estos casos convierte «no pudimos comprobarlo» en «lo comprobamos y está bien».
La falta de evidencias es una decisión, no un valor por defecto
Algunas evidencias faltan de forma legítima. Un proyecto que solo tiene documentación puede no tener pruebas. Un servicio nuevo puede no tener todavía un SBOM. Un comando de pruebas puede no imprimir la cobertura.
La regla no es que toda entrada que falte deba bloquear. Es que cada caso se decide a propósito, por escrito y a la vista:
| Evidencia que falta | Opciones |
|---|---|
| Ninguna ejecución de pruebas | Bloquear; o permitir pero mostrar «no verificado» al aprobador |
| Ningún resultado de revisión | Bloquear. Una revisión que no terminó no es una revisión limpia |
| Ningún SBOM para una regla de licencias | Bloquear, porque la regla no se puede comprobar |
| Ninguna cifra de cobertura | Bloquear cuando se exige un mínimo; o saltarse el mínimo y mostrar que se saltó |
| Servicio del control inalcanzable | Bloquear y reintentar |
Elijas lo que elijas, un resultado que falta nunca debe mostrarse como una marca verde. «No comprobado» y «superado» tienen que verse distintos para la persona que aprueba.
El costo de fallar en cerrado y cómo gestionarlo
Fallar en cerrado tiene un costo real: cuando cae una dependencia del control, no se entrega nada. Los equipos que ignoran este costo suelen responder a la primera interrupción desactivando el control. Planifícalo en su lugar.
- Reintenta antes de fallar. Los errores de red transitorios y los límites de peticiones deberían reintentarse unas cuantas veces con espera progresiva antes de que el control informe de un fallo.
- Di qué falló. «Comprobación de publicación no disponible» y «publicación denegada: hallazgo de gravedad alta» son problemas distintos con responsables distintos. Ambos bloquean; el mensaje dice a la gente qué hacer.
- Mantén una vía de emergencia. Para las emergencias reales, una persona autorizada puede saltarse el control en un solo cambio, con un motivo registrado. La excepción es rara y visible, y el control sigue activo.
- Vigila el propio control. Sigue cuántas veces da error el control, además de cuántas veces deniega. Un control que da error a menudo acabará esquivándose.
Diseñar un control que falla en cerrado
- Parte de la denegación. La respuesta por defecto del control es no. Solo devuelve sí cuando todas las evidencias necesarias están presentes y son aceptables.
- Trata los errores como denegaciones. Las excepciones, los timeouts y las entradas mal formadas producen una denegación con un motivo, nunca una aprobación y nunca «neutral».
- Analiza con rigor. Si la salida de una herramienta no se puede leer, la herramienta no tuvo éxito.
- Vincula las evidencias a la versión. Un resultado de pruebas o una aprobación de un commit anterior no cuentan para el actual.
- Haz que todos los caminos crucen el control. Si las fusiones en el proveedor de Git se saltan un control que respetan las fusiones desde la consola, el control falla en abierto por otro camino.
- Haz que quien llama también falle en cerrado. Un paso de CI que llama al control tiene que fallar cuando falla la llamada.
El último punto es fácil de pasar por alto. Este es un paso de CI que falla en cerrado al llamar a un control de publicación por HTTP: cualquier error de red, estado distinto de éxito o respuesta ilegible hace fallar el job, y también cualquier respuesta que no sea un allow explícito.
response=$(curl -sf --max-time 30 -X POST "https://<your-console>/api/release/check" \
-H "Authorization: Bearer $WORKSPACE_API_KEY" \
-H "Content-Type: application/json" \
-d "{\"pullRequestURL\":\"$PR_URL\"}") || { echo "Release check unavailable: failing closed"; exit 1; }
[ "$(echo "$response" | jq -r '.allowed')" = "true" ] || { echo "$response" | jq -r '.reasons[]?'; exit 1; }
Cómo lo hace AI CodeOps
Los controles de AI CodeOps están construidos para fallar en cerrado, con unas pocas excepciones documentadas.
- Si la revisión de hallazgos de la IA falla, agota el tiempo, se queda sin presupuesto o devuelve algo que no se puede leer, el cambio queda retenido, y la página de la sesión dice cuál de esas cosas ocurrió: sus hallazgos son desconocidos, así que no cuenta como una revisión limpia.
- Si la comprobación del control no puede ejecutarse cuando un pull request está a punto de abrirse o de fusionarse desde la consola, el pull request no se abre y la fusión no ocurre: "The release check couldn't run just now."
- La comprobación de publicación de CI devuelve
allowed: falsecon el resumen "Evaluation failed" si la evaluación da error, y deniega un cambio sin sesiones que coincidan. - Una sesión que cambió código necesita un resultado de pruebas con recuentos. Si no se ejecutó ninguna prueba, o si el comando de pruebas se ejecutó pero no informó de recuentos, el cambio se bloquea: "The test command ran but reported no test counts, so nothing shows a test passed. Check the project's test command".
- Con
disallowedLicensesdefinido, un proyecto sin SBOM se deniega, porque sus licencias no se pueden comprobar. - Con
minCoveragePctdefinido, un cambio cuyas ejecuciones de pruebas no informaron de cobertura se deniega, porque el mínimo no se puede comprobar: "Coverage wasn't reported, so the 80% floor can't be checked". - Si la comprobación del presupuesto falla cuando empieza una sesión, la sesión se bloquea en lugar de ejecutarse sin medir.
Las excepciones son deliberadas y se muestran en lugar de ocultarse. Un proyecto sin suite de pruebas puede activar Don't run tests for this project en sus ajustes. El control de publicación deja entonces de pedir a ese proyecto un resultado de pruebas, y la página de la ejecución muestra que el cambio no se verificó. Y si la comprobación del presupuesto falla durante una sesión en curso, la sesión sigue ejecutándose.
El endpoint devuelve HTTP 200 tanto para permitir como para denegar, así que lee allowed, y responde 429 por encima de 60 comprobaciones por minuto en un espacio de trabajo, algo que un paso de CI que falla en cerrado debería reintentar y después dar por fallido. Consulta Controles de calidad para saber qué comprueba el control, la referencia de la API para cada campo y Controles de calidad para código de IA para la visión general.
Preguntas frecuentes
¿Qué significa fallar en cerrado en un control de calidad?
Cuando el control no puede llegar a un veredicto, porque una herramienta se bloqueó, un servicio agotó el tiempo o faltan evidencias, rechaza el cambio en lugar de dejarlo pasar. La falta de veredicto se trata como un fallo.
¿Fallar en cerrado no bloquea las publicaciones durante las interrupciones del servicio?
Puede hacerlo, y por eso un control que falla en cerrado necesita reintentos, mensajes de error claros y una excepción registrada para las emergencias reales. Un breve retraso suele salir más barato que un cambio sin comprobar en producción.
¿Una comprobación omitida cuenta como superada?
No debería. En algunos sistemas de CI, un job omitido por una condición informa de éxito, así que una comprobación obligatoria puede aparecer en verde sin haberse ejecutado. Decide para cada comprobación si se permite omitirla, y haz que el control sepa distinguirlo.
¿Cómo me salto un control que falla en cerrado en una emergencia?
Mediante una decisión explícita y registrada de una persona autorizada, con un motivo, no desactivando la comprobación. La excepción debería aplicarse a un solo cambio y dejar el control en su sitio para el siguiente.