AI CodeOps

Por qué cada cambio de la IA en AI CodeOps tiene que superar un control

Matt · · Última actualización · 7 min de lectura · Ingeniería

La IA escribe código verosímil muy rápido, así que ningún cambio se entrega por su palabra. Qué comprueba el control de publicación, los huecos que hallamos y por qué falla en cerrado.

En AI CodeOps, ningún cambio escrito por IA se fusiona porque la IA diga que está terminado: tiene que superar un control de publicación que lee ejecuciones de pruebas reales, hallazgos de revisión y la aprobación de una persona. El control falla en cerrado (fail closed), así que la falta de evidencia retiene el cambio en lugar de dejarlo pasar.

Un modelo de IA puede escribir en un minuto un cambio que parece funcionar. Esa es la parte útil. La parte peligrosa es que también escribe en un minuto un cambio roto que parece correcto, y los dos se leen igual. El código compila, el resumen suena seguro, los nombres de las variables son buenos. Nada en la salida te dice cuál de los dos te ha tocado.

Por eso, en AI CodeOps, ningún cambio que escribe una IA llega a tu rama principal porque la IA diga que está terminado. Tiene que superar un control. Este artículo explica qué comprueba el control, por qué lo construimos así y los errores que le fuimos encontrando por el camino.

Qué pasa después de que una sesión escribe código

Una sesión es un equipo de agentes que trabaja en una tarea dentro de un proyecto. Cuando ha producido un diff, pasan tres cosas antes de que nadie pueda abrir un pull request.

  1. Tus pruebas se ejecutan sobre el cambio. El paso verify (verificación) ejecuta la suite de pruebas del propio proyecto contra el código que la sesión acaba de escribir, en un sandbox aislado, y registra el resultado como una ejecución de pruebas real. Si el proyecto no tiene comando de pruebas, o las dependencias no se instalan, no registramos nada en lugar de un resultado en rojo. «No pudimos verificar» nunca debería parecer «el cambio falla». Tampoco parece que lo haya superado: el control de publicación rechaza un cambio de código sin resultado de pruebas, salvo que desactives las pruebas para ese proyecto.
  2. Un revisor de IA lee el diff. No el plan, no la transcripción: el diff. Sus hallazgos se guardan con una gravedad y aparecen en la sesión, en el panel Security y en el control.
  3. Se abre una aprobación. El cambio espera en Review & Gate → Approvals hasta que decide una persona con permisos de aprobación. Las políticas también pueden retener una sesión para que se apruebe antes de empezar, y una regla ask sobre una ruta protegida registra una decisión de política, con el nombre de la regla, cuando un cambio la toca.

Después, cuando el cambio está a punto de fusionarse, el control de publicación lo examina todo junto. Tu CI puede hacer la misma pregunta a través de la API: ¿este pull request, o este commit, está listo? La respuesta es un sí o un no con los motivos, y un job de CI que la pregunte puede convertirse en una comprobación de estado obligatoria en tu proveedor de Git.

Qué comprueba el control de publicación

Por defecto, un cambio se rechaza si se cumple cualquiera de estas condiciones:

  • Sigue teniendo abierto un hallazgo de gravedad alta o superior. Un hallazgo deja de bloquear cuando pasa por triaje como fixed, won't fix, false positive o duplicate.
  • Una ejecución de pruebas sobre él tiene fallos.
  • Ha cambiado código, no tiene ningún resultado de pruebas con recuentos y el proyecto no tiene las pruebas desactivadas.
  • Un flujo de trabajo del que depende ha fallado, o ninguna de sus ejecuciones ha terminado.
  • Su revisión con IA no se completó.

Una comprobación de CI puede pedir más: un porcentaje mínimo de cobertura, una lista de licencias que no deben aparecer en el SBOM del proyecto, flujos de trabajo que tienen que haberse superado y una regla de promoción para que un cambio tenga que haberse desplegado en staging antes de poder ir a producción. La guía de controles de calidad tiene los detalles.

Por qué el código escrito por IA lo necesita más que el código humano

La revisión de código entre personas da por hecho que el autor entendió lo que escribió y que responderá por ello. Con el código escrito por IA, esa suposición falla de dos maneras.

Primero, el volumen. Un equipo que antes revisaba cinco pull requests al día puede generar cincuenta. Los revisores se cansan, y los revisores cansados aprueban. Un control no se cansa.

Segundo, la seguridad con la que habla un modelo no es evidencia. Un modelo te dirá que añadió pruebas y que se superan. A veces es cierto. El control no lee lo que dijo el modelo. Lee el registro de la ejecución de pruebas y la tabla de hallazgos.

Por eso también el control está hecho para fallar en cerrado, el principio que OWASP llama fallar de forma segura. Cada regla está formulada como «rechazar salvo que tengamos evidencia positiva», no como «permitir salvo que veamos un problema». Fallar en abierto o en cerrado repasa lo que se gana y lo que se pierde con cada opción.

Los huecos que encontramos

No lo hicimos bien a la primera. Estos son algunos de los huecos que cerramos este otoño, porque muestran qué significa «fallar en cerrado» en la práctica:

  • Lo inacabado contaba como superado. Una comprobación de CI lanzada segundos después de un push podía recibir «release ready» mientras la única ejecución seguía en marcha. Una ejecución que no ha terminado no es un resultado, así que ahora al menos una ejecución tiene que haberse completado.
  • Una revisión ilegible contaba como limpia. Si el revisor de IA respondía con prosa, con un mensaje vacío o con una respuesta cortada en el límite de tokens, la interpretábamos como «sin hallazgos». Desde el 14 de octubre, cualquier cosa que no sea una lista legible es una revisión fallida, y el control retiene el cambio.
  • Pruebas antiguas juzgaban código nuevo. Si alguien editaba el código de la IA después de que se ejecutaran sus pruebas, el control seguía usando los resultados antiguos. Ahora las pruebas solo cuentan para la versión exacta sobre la que se ejecutaron, y un cambio editado figura como no probado.
  • Las ediciones conservaban la aprobación antigua. Una aprobación aprueba un diff concreto. Editar el código, restaurar un checkpoint o filtrar hunks ahora vuelve a abrir la aprobación en la misma transacción que el cambio.
  • Un fallo bloqueaba durante dos semanas. El problema contrario: el control bloqueaba ante cualquier ejecución fallida dentro de su ventana, así que un cambio corregido y vuelto a ejecutar seguía bloqueado. Ahora cada flujo de trabajo se juzga por su última ejecución terminada.

En cada uno de estos casos, el control afirmaba algo que la evidencia no respaldaba. El registro de cambios tiene la lista completa.

Revisión por dos personas

La última pieza son las personas. La aprobación de un cambio de la IA aceptaba antes el voto de cualquiera con permisos de aprobación, incluida la persona que lanzó la sesión. Un solo admin podía lanzar una sesión, aprobarla y abrir el pull request sin nadie más.

Desde el 11 de octubre, en cuanto un espacio de trabajo tiene una segunda persona que puede aprobar, la aprobación de quien lanzó la sesión no cuenta. Tiene que mirarlo otra persona. Un equipo de una sola persona conserva la autoaprobación, porque de lo contrario nunca podría entregarse nada, y rechazar siempre está permitido. Un solo rechazo detiene el cambio. La guía de aprobaciones y políticas explica quién puede aprobar qué.

Lo que te cuesta

Un control es fricción, y no fingimos lo contrario. Los cambios esperan a un revisor. Una prueba inestable bloquea una fusión hasta que la vuelves a ejecutar. Un modelo que devuelve una revisión desordenada te cuesta otra revisión.

Creemos que ese intercambio es el correcto para un código que nadie ha tecleado. El objetivo de AI CodeOps no es que los cambios de la IA se fusionen más rápido. Es que se puedan fusionar con seguridad, y dejar constancia de por qué se permitió cada uno. Si quieres ver cómo funciona la parte de revisión, la página de revisión de código multiagente entra en más detalle.

Puntos clave

  • Ningún cambio de la IA se fusiona por la palabra de la IA: el control de publicación lee ejecuciones de pruebas, hallazgos de revisión y aprobaciones.
  • Por defecto, un cambio se rechaza por un hallazgo abierto de gravedad alta, pruebas fallidas, una ejecución inacabada o fallida, o una revisión incompleta.
  • El control falla en cerrado: sin evidencia, no hay fusión.
  • Las pruebas y las aprobaciones solo cuentan para la versión exacta del cambio que vieron.
  • Con un segundo aprobador en el espacio de trabajo, la persona que lanzó una sesión no puede aprobarla ella sola.