AI CodeOps

Controles de cobertura: mínimos, código nuevo y sus límites

Última actualización

Cómo funcionan los controles de cobertura, cobertura de líneas frente a ramas, controlar solo el código nuevo y por qué la cobertura no demuestra que tus pruebas comprueben nada.

Un control de cobertura de pruebas hace fallar un cambio cuando la cobertura de pruebas medida queda por debajo de un mínimo fijado. Es uno de los controles de calidad más habituales porque es barato de calcular y fácil de entender. También es uno de los peor interpretados: la cobertura muestra cuánto código se ejecutó durante las pruebas, no si las pruebas comprobaron algo. Bien usado, un control de cobertura impide que la cobertura de pruebas vaya bajando y empuja a que cada cambio venga con pruebas. Usado como objetivo en sí mismo, produce pruebas escritas para subir una cifra.

Esta página profundiza en un tipo de evidencia de ¿Qué son los controles de calidad?.

Qué mide la cobertura

Las herramientas de cobertura instrumentan el código, ejecutan las pruebas y registran qué partes se ejecutaron. Las medidas habituales son:

  • Cobertura de líneas o de sentencias. La proporción de líneas o de sentencias que se ejecutaron al menos una vez. Es la más disponible.
  • Cobertura de ramas. La proporción de resultados de decisiones que se ejecutaron: para cada if, tanto el camino verdadero como el falso. Es más estricta que la cobertura de líneas, ya que una línea que contiene una condición puede ejecutarse sin que se prueben los dos resultados.
  • Cobertura de funciones. La proporción de funciones llamadas al menos una vez.
  • Cobertura de condiciones y decisiones. Formas más estrictas que se usan en el software crítico para la seguridad. La cobertura de condiciones/decisiones modificada (MC/DC), por ejemplo, se exige para el nivel más crítico del software aeronáutico según la guía DO-178C.

La mayoría de los equipos aplican el control sobre la cobertura de líneas porque todas las herramientas habituales la informan, y añaden la cobertura de ramas donde sus herramientas la informan de forma fiable.

Tipos de control de cobertura

Hay tres diseños habituales, y se comportan de forma bastante distinta.

ControlReglaPunto fuertePunto débil
Mínimo del proyectoLa cobertura total debe mantenerse en N% o másSencillo; frena el descenso a largo plazoUn cambio pequeño apenas mueve el total, tenga pruebas o no
Cobertura del código nuevo (del diff)Las líneas añadidas o modificadas deben estar cubiertas al N%Mantiene el listón en cada cambioNecesita herramientas que relacionen la cobertura con el diff
Sin descenso (trinquete)La cobertura no debe bajar del último valor registradoMejora constante sin un gran salto inicialPuede bloquear un cambio válido que elimina código probado

Un mínimo del proyecto es el más fácil de configurar y el más débil en cada cambio: en una base de código grande, un cambio sin pruebas de unos cientos de líneas puede mover el total una fracción de punto porcentual. La cobertura del código nuevo es la más útil para revisar cambios concretos, porque hace una pregunta directa: ¿las pruebas ejercitan las líneas que añadió este cambio?

Lo que la cobertura no puede decirte

La cobertura mide la ejecución, así que tiene puntos ciegos que importan para un control.

  • Aserciones. Una prueba que llama a una función y no comprueba nada cubre igualmente todas las líneas que ejecuta.
  • Corrección de lo esperado. Una prueba que comprueba un valor equivocado cubre el código y pasa.
  • Comportamiento que falta. La cobertura mide el código que existe. Una comprobación que falta, como una prueba de permisos ausente, no tiene líneas que puedan quedar sin cubrir.
  • Efectos de integración. Una cobertura alta de pruebas unitarias dice poco de cómo se comportan los componentes juntos.

También hay un efecto en el comportamiento, que se suele resumir con la ley de Goodhart: cuando una medida se convierte en objetivo, deja de ser una buena medida. Un control que solo premia la cifra invita a escribir pruebas para subirla.

La cobertura y el código escrito por IA

Los controles de cobertura son una forma barata de comprobar que un agente de IA escribió pruebas junto con su código y no en su lugar. También son fáciles de satisfacer para un agente sin probar de verdad, normalmente sin ninguna intención de engañar: al agente se le pidieron pruebas que pasaran y cobertura, y las produjo.

Patrones que vigilar en las pruebas escritas por IA:

  • pruebas que llaman al código y solo comprueban que no se lanzó ninguna excepción;
  • pruebas de instantánea que registran como valor esperado lo que devuelva el código;
  • mocks que sustituyen la lógica bajo prueba, de modo que la prueba comprueba el mock;
  • pruebas generadas a partir de la implementación, que repiten sus errores como valores esperados.

Trata la cobertura como un mínimo que todo cambio debe superar, y el diff de las pruebas como algo que lee un revisor. Consulta Cómo revisar código escrito por un agente de IA para saber qué buscar.

Mejores señales para combinar con la cobertura

  • Pruebas de mutación. Una herramienta hace pequeños cambios en el código, como invertir una comparación, y comprueba si falla alguna prueba. Las mutaciones que sobreviven revelan código que se ejecuta en las pruebas pero que en realidad no se comprueba. Hay herramientas para la mayoría de los lenguajes, como Stryker para JavaScript y TypeScript, PIT para Java y mutmut para Python. Son más lentas que la cobertura, así que los equipos suelen ejecutarlas de forma programada o solo sobre los archivos modificados.
  • Pruebas de regresión para las correcciones. La corrección de un error debería incluir una prueba que falle sin la corrección. Esa prueba demuestra algo que la cobertura no puede demostrar.
  • Revisión del diff de las pruebas. Las pruebas eliminadas, las aserciones relajadas y los valores esperados cambiados se ven en el diff y no se ven en una cifra de cobertura.

Fijar un mínimo de cobertura

  1. Mide primero. Ejecuta la cobertura en la rama principal y apunta la cifra actual de cada proyecto.
  2. Elige el tipo de control. Cobertura del código nuevo si tus herramientas lo admiten; si no, un mínimo del proyecto más un trinquete.
  3. Fija el mínimo cerca de la cifra actual. Un mínimo que la base de código ya cumple se puede imponer desde el primer día.
  4. Excluye a propósito. El código generado, el código de terceros incluido en el repositorio y las utilidades de pruebas se pueden excluir, en una configuración que se revisa como el código. Las exclusiones silenciosas son una forma de hacer trampa al control.
  5. Decide qué pasa cuando no hay cifra de cobertura. Si una ejecución de pruebas no informa de cobertura, el control o bloquea o se salta el mínimo y lo dice. No lo muestres como superado.
  6. Súbelo con el tiempo. Revisa el mínimo periódicamente y súbelo cuando la cobertura haya aumentado.

Cómo lo hace AI CodeOps

Cuando una sesión de AI CodeOps ejecuta las pruebas de tu proyecto en su sandbox, extrae la cifra total de cobertura de la salida de las pruebas cuando esta incluye un resumen: una línea TOTAL de pytest-cov, una fila All files de Istanbul (tal como la imprimen Jest y Vitest; la primera columna, que corresponde a las sentencias) o una línea etiquetada como coverage: 85.3%. Guarda la cifra con la ejecución de pruebas como un número entero, redondeado hacia abajo.

El mínimo de cobertura es la opción minCoveragePct de la comprobación de publicación a la que llama tu CI:

{ "pullRequestURL": "https://github.com/acme/checkout/pull/42", "minCoveragePct": 80 }

Con ella definida, la ejecución de pruebas más reciente que informó de cobertura debe alcanzar el mínimo, o la publicación se deniega con un motivo como "Coverage 71% is below the required 80%". Si ninguna ejecución de pruebas del cambio informó de cobertura, la publicación también se deniega: "Coverage wasn't reported, so the 80% floor can't be checked". Un mínimo sin cifra que comprobar no se supera. Así que haz que tu comando de pruebas imprima un resumen, por ejemplo pytest --cov o vitest run --coverage, antes de fijar un mínimo. El control por sesión de la consola bloquea las pruebas fallidas, pero no comprueba la cobertura. Las pruebas fallidas deniegan la publicación sea cual sea la cobertura.

Consulta la entrada mínimo de cobertura para más detalle, la referencia de la API para cada opción de la comprobación de publicación y Pruebas con IA para ver cómo se ejecutan las pruebas.

Preguntas frecuentes

¿Qué porcentaje de cobertura de pruebas es bueno?

No hay una cifra universal. Mide dónde está hoy la base de código, fija el mínimo cerca de esa cifra y súbelo a medida que mejore la cobertura. Un mínimo muy por encima de la cifra actual o se ignora o se cumple con pruebas de poco valor.

¿Debería usar la cobertura de líneas o la de ramas?

La cobertura de ramas es más estricta, porque comprueba que se ejecutaron los dos lados de cada decisión. Úsala donde tus herramientas la informen de forma fiable. La cobertura de líneas es la más disponible y es un punto de partida razonable.

¿Un 100% de cobertura significa que el código no tiene errores?

No. La cobertura muestra qué código se ejecutó durante las pruebas, no si las pruebas comprobaron los resultados. El código puede estar totalmente cubierto por pruebas con aserciones débiles o inexistentes.

¿Debería aplicarse un control de cobertura a los cambios escritos por IA?

Es una señal barata de que un agente escribió pruebas junto con su código. Combínalo con una revisión del diff de las pruebas, porque un agente puede subir la cobertura con pruebas que ejecutan código sin comprobarlo.