AI CodeOps

Pruebas de mutación (mutation testing)

Última actualización

Las pruebas de mutación comprueban tus pruebas haciendo pequeños cambios en el código y viendo si alguna prueba falla. Cómo funcionan y en qué se diferencian de la cobertura.

Las pruebas de mutación son una forma de medir lo bien que una suite de pruebas detecta errores. Una herramienta hace muchos cambios pequeños en el código, llamados mutantes, y ejecuta las pruebas contra cada uno. Una buena suite falla con la mayoría de ellos.

Qué es

En palabras de la documentación de Stryker: se insertan errores, o mutantes, en tu código de forma automática. Si tus pruebas fallan, el mutante muere (killed). Si pasan, el mutante sobrevive (survived), lo que apunta a un hueco en las pruebas. Cuanto mayor es la proporción de mutantes eliminados, más eficaces son las pruebas.

Las mutaciones típicas invierten una comparación (< por <=), intercambian true y false, eliminan una llamada a una función o sustituyen un valor de retorno. Stryker cubre JavaScript y TypeScript, C# y Scala; otros ecosistemas tienen sus propias herramientas.

Las pruebas de mutación son lentas, porque ejecutan la suite una vez por mutante, así que los equipos suelen ejecutarlas solo sobre los archivos modificados o de forma programada.

Por qué importa

La cobertura te dice qué código se ejecutó durante las pruebas. Las pruebas de mutación te dicen si las pruebas notarían que ese código está mal. La diferencia importa con las pruebas escritas por IA, que pueden ejecutar todas las líneas y aun así comprobar muy poco.

En AI CodeOps

AI CodeOps no ejecuta pruebas de mutación. Su control de publicación usa los resultados de tus pruebas y un mínimo de cobertura. Si ejecutas una herramienta de mutación en la CI, trata su puntuación como una comprobación aparte.

Preguntas frecuentes

¿Por qué no fiarse solo de la cobertura?

La cobertura muestra qué líneas se ejecutaron durante las pruebas, no si alguna prueba notaría que esas líneas están mal. Una prueba sin aserciones puede alcanzar una cobertura completa.

¿AI CodeOps ejecuta pruebas de mutación?

No. Puedes ejecutar una herramienta de pruebas de mutación en tu propia CI. AI CodeOps somete los cambios a control según los resultados de las pruebas y la cobertura.