Prueba inestable (flaky test)
Última actualización
Una prueba inestable pasa y falla con el mismo código sin que nada cambie. Causas comunes, por qué la inestabilidad erosiona la confianza en los controles y cómo trata AI CodeOps las repeticiones.
Una prueba inestable es una prueba que a veces pasa y a veces falla con el mismo código, sin que nada cambie entre medias. El resultado depende de algo que la prueba no controla.
Qué es
Causas comunes:
- Tiempos: esperas fijas, condiciones de carrera entre hilos o un timeout demasiado ajustado en una máquina lenta.
- Orden: pruebas que dependen del estado que dejó otra prueba.
- Recursos compartidos: una base de datos, un puerto o un archivo que usan pruebas que se ejecutan en paralelo.
- El mundo exterior: llamadas de red, la fecha actual, las zonas horarias o valores aleatorios sin una semilla fija.
Una prueba que falla en una máquina y pasa en otra es un problema relacionado, normalmente una diferencia de entorno.
Por qué importa
Cada fallo inestable enseña a la gente que el rojo no significa que algo esté roto. Los equipos empiezan a repetir la ejecución hasta que sale verde, y entonces un fallo real también desaparece a base de repeticiones. Un control basado en pruebas es tan fiable como la prueba menos fiable que contiene. Los agentes de IA que escriben pruebas pueden añadir inestabilidad con la misma facilidad que cobertura, así que las pruebas nuevas merecen el mismo escrutinio que el código nuevo.
En AI CodeOps
AI CodeOps no detecta ni pone en cuarentena las pruebas inestables. Su control de publicación juzga cada flujo de trabajo por su última ejecución terminada: una nueva ejecución que pasa borra un fallo anterior, mientras que una nueva ejecución que sigue en curso o que se canceló no cuenta como superada. Los resultados de las pruebas solo cuentan para la versión del código sobre la que se ejecutaron.
Preguntas frecuentes
¿Debería simplemente reintentar de forma automática las pruebas inestables?
Como medida provisional, y con cuidado. Los reintentos automáticos también ocultan errores intermitentes reales. Lleva un registro de qué pruebas necesitaron un reintento y corrígelas o ponlas en cuarentena.
¿AI CodeOps detecta las pruebas inestables?
No. Registra los resultados de las pruebas por ejecución. El control de publicación juzga cada flujo de trabajo por su última ejecución terminada.