Cómo gestionar los falsos positivos en la revisión de código con IA
Última actualización
Por qué los revisores de código con IA señalan problemas que no existen, cómo pasar los falsos positivos por triaje sin ocultar errores reales y cómo ajustar el contexto, los prompts y los umbrales.
En esta página
Un falso positivo en la revisión de código con IA es un hallazgo que describe un problema que el código no tiene. Todo revisor automático produce algunos, y los modelos de lenguaje los producen con explicaciones convincentes, lo que los hace más difíciles de descartar que un escueto aviso de análisis estático. Importan por lo que provocan en las personas: un revisor que da falsas alarmas enseña a sus lectores a dejar de leer, y el siguiente error real pasa desapercibido junto con el ruido. La solución es un proceso de triaje que registre por qué se descartó cada hallazgo, más un ajuste constante de lo que ve el revisor y de lo que se le permite bloquear.
Esta página profundiza en una parte de ¿Qué es la revisión de código con IA?: qué hacer con los hallazgos que están mal.
Por qué los revisores con IA señalan problemas que no existen
La mayoría de los falsos positivos se deben a que el revisor ve menos que la persona que escribió el código.
- Falta de contexto. El revisor ve el diff y quizá unos pocos archivos de alrededor. Señala un parámetro sin validar sin ver el middleware que valida todas las peticiones, o la falta de una comprobación de permisos que aplica un router una capa más arriba.
- Coincidencia de patrones. Una cadena concatenada en algo que parece SQL se parece a una inyección, aunque el valor sea una constante. El modelo reconoce la forma de un error habitual y lo notifica.
- Presión por encontrar algo. Un prompt que pregunta «¿qué falla en este cambio?» invita a una respuesta. Si no se le dice al revisor que no encontrar nada es aceptable, tiende a producir hallazgos para llenar el espacio.
- Conocimiento desactualizado. El modelo puede señalar una API como obsoleta, o no saber que una biblioteca ya gestiona un caso por defecto, porque sus datos de entrenamiento son anteriores a la versión que usas.
- No determinismo. Dos ejecuciones sobre el mismo diff pueden producir hallazgos distintos. Es habitual un falso positivo que aparece una vez y no vuelve a aparecer.
Nada de esto significa que el revisor sea inútil. Significa que sus hallazgos son afirmaciones que hay que comprobar, no hechos.
El costo real del ruido
Un falso positivo cuesta unos minutos de alguien para leerlo y descartarlo. El costo mayor es indirecto.
Cuando la mayoría de los hallazgos resultan estar mal, la gente se adapta. Lee por encima, descarta en bloque o deja de abrir la revisión. En ese momento también se pierden los verdaderos positivos del revisor, y el equipo tiene un proceso que parece una revisión sin el efecto de una. Es la misma fatiga de alertas que afecta a los sistemas de monitorización y a los escáneres de seguridad.
Existe el fallo opuesto. Un equipo que ajusta con agresividad para conseguir silencio puede acabar con un revisor que casi nunca encuentra nada, tampoco los problemas reales. Una tasa baja de falsos positivos solo es una buena noticia si el revisor sigue detectando los errores que debería. Mide ambas cosas.
Triaje: qué significa cada decisión
El triaje convierte un hallazgo en una decisión registrada. Los estados habituales, y cuándo usar cada uno:
| Estado | Úsalo cuando | Registra |
|---|---|---|
| Fixed (corregido) | El problema era real y el cambio ya lo resuelve | Dónde se corrigió |
| False positive (falso positivo) | El problema no existe en este código | Por qué: la comprobación, la protección o el hecho que no vio |
| Won't fix (no se corregirá) | El problema es real pero se acepta, por ejemplo una compensación conocida | Por qué es aceptable, y quién lo decidió |
| Duplicate (duplicado) | Otro hallazgo ya cubre el mismo problema | Qué hallazgo |
| Acknowledged (reconocido) | El problema es real y se va a tratar, pero todavía no está corregido | Qué pasa a continuación |
Conviene mantener dos distinciones.
Un falso positivo no es un won't fix. «Esto no es un error» y «esto es un error que aceptamos» son afirmaciones distintas, y un auditor o un futuro responsable del código que lea el registro necesita saber cuál se quiso decir. Mezclarlas oculta riesgos aceptados.
Un descarte necesita un motivo. «Falso positivo» por sí solo no se puede verificar. «La entrada se valida con requireCouponSchema en la definición de la ruta» permite que otra persona lo confirme en segundos, y deja ver los casos en los que el propio descarte estaba mal.
Reducir los falsos positivos en origen
El triaje gestiona el ruido una vez que aparece. Estos cambios reducen cuánto aparece.
- Da más contexto al revisor. Incluye los archivos que toca el cambio, quienes los llaman directamente y las pruebas relacionadas. El contexto suele ser la palanca más potente.
- Dile cómo es lo normal. Notas breves sobre las convenciones («todos los handlers están envueltos en
withAuth», «el dinero se guarda en céntimos enteros») evitan que el mismo hallazgo erróneo se repita. - Dile que una respuesta vacía es válida. Indica al revisor que no informar de ningún hallazgo es un resultado correcto cuando no hay nada mal.
- Pide evidencias. Exige un archivo, una línea y una explicación concreta de cómo ocurre el problema, como la entrada que lo provoca. Los hallazgos vagos sin ubicación están mal con más frecuencia.
- Define las gravedades. Escribe qué significan critical, high, medium y low para tu base de código. Sin definiciones, la gravedad deriva, y los falsos positivos acaban calificados como high.
- Limita el número de hallazgos. Un límite empuja al revisor a informar de sus preocupaciones más sólidas en lugar de todas las posibles.
- Acota las categorías donde haga falta. Si los comentarios de estilo son la principal fuente de ruido y ya usas un linter, dile al revisor que no informe del estilo.
Umbrales: qué puede bloquear un hallazgo
No todos los hallazgos necesitan el mismo poder. Una disposición habitual es:
- Critical y high bloquean el cambio hasta que se corrigen o se pasan por triaje.
- Medium e inferiores se muestran al aprobador, pero no bloquean.
Esto mantiene proporcionado el costo de un falso positivo. Un hallazgo erróneo de gravedad baja cuesta un vistazo. Un hallazgo erróneo de gravedad alta cuesta una decisión de triaje, que es el precio adecuado para algo que de otro modo detendría una publicación.
Trata el umbral como algo que se endurece con el tiempo. Si los hallazgos de gravedad alta casi nunca se descartan como falsos positivos, puede merecer la pena bloquear también con medium, al menos en los repositorios sensibles.
Medir y ajustar con el tiempo
Las decisiones sobre el revisor deberían salir del registro de triaje, no de impresiones.
- Tasa de descartes por categoría. Si la mayoría de los hallazgos de seguridad se corrigen pero la mayoría de los de rendimiento se descartan, hay que trabajar las instrucciones de rendimiento.
- Reincidentes. El mismo hallazgo erróneo en muchos cambios apunta a una nota de convenciones o a un contexto que faltan.
- Auditorías por muestreo de los descartes. De vez en cuando, pide a una segunda persona que mire unos cuantos hallazgos marcados como falsos positivos. Un descarte también puede estar mal, y un patrón de descartes erróneos es un problema del proceso.
- Comprobaciones con errores conocidos. Pasa el revisor por unos cuantos cambios que contienen errores que ya encontraste. Si el ajuste hizo que se le escapen, has cambiado exhaustividad por silencio.
Cómo lo gestiona AI CodeOps
En AI CodeOps, la revisión de hallazgos que lee el diff de cada cambio debe responder con un array JSON de hallazgos, cada uno con un título, una gravedad, una categoría, una descripción, una recomendación y normalmente un archivo. Registra como máximo 12, y un array vacío es una revisión completada sin nada encontrado. Consulta Revisiones multiagente para ver cómo encajan las pasadas.
Cada hallazgo se puede poner en open, acknowledged, in progress, fixed, won't fix, false positive o duplicate desde la lista Findings de la sesión. Solo bloquean el pull request los hallazgos abiertos de gravedad alta o crítica en los estados open, acknowledged o in progress. Marcar uno como fixed, won't fix, false positive o duplicate termina su bloqueo, y el triaje se conserva con el cambio y en su paquete de evidencias. Cambiar un estado requiere un rol con permiso de triaje: lo tienen los roles Owner, Admin, Developer, Member y Security Admin; el rol Viewer no.
Un job de CI que quiera una regla más estricta puede llamar a la comprobación de publicación con blockingSeverity en medium. Y cuando un hallazgo es real, Fix lanza una sesión para corregirlo, que pasa por la misma revisión y la misma aprobación que cualquier otro cambio. Los detalles están en Controles de calidad y en la página de revisión de código con IA.
Preguntas frecuentes
¿Qué es un falso positivo en la revisión de código con IA?
Un hallazgo que describe un problema que el código no tiene, como la falta de una comprobación de nulos en un valor que nunca puede ser nulo, o un riesgo de inyección en una entrada que ya se valida en otro sitio.
¿Debería corregir de todos modos un falso positivo, para contentar al revisor?
No. Cambiar código correcto para silenciar a un revisor añade cambios innecesarios y puede introducir errores reales. Marca el hallazgo como falso positivo con un motivo breve, y usa los casos repetidos para mejorar el contexto o las instrucciones del revisor.
¿Quién debería poder descartar los hallazgos de la revisión con IA?
Las personas que podrían aprobar o escribir el cambio, no los usuarios de solo lectura, e idealmente no solo la persona que pidió el cambio. Cada descarte debería registrar quién lo hizo, para poder comprobarlo después.
¿Puedo hacer que un revisor con IA dé siempre la misma respuesta?
No del todo. Los modelos de lenguaje varían entre ejecuciones. Unas instrucciones fijas, una salida estructurada, definiciones claras de gravedad y un umbral de bloqueo hacen que el resultado sea lo bastante estable para actuar sobre él, aunque cambie la redacción.