AI CodeOps

Enrutamiento de modelos (model routing)

Última actualización

El enrutamiento de modelos envía cada petición de IA al modelo adecuado para ella, equilibrando calidad y costo. Enfoques habituales y cómo elige el nivel Auto de AI CodeOps.

El enrutamiento de modelos es la práctica de enviar cada petición a un modelo elegido para esa petición, en lugar de usar un único modelo para todo. El objetivo habitual es gastar en un modelo potente solo donde la calidad importa y usar uno más barato en el resto.

Qué es

Los enrutadores deciden de distintas formas:

  • Por tipo de tarea: la planificación y la revisión van a un modelo potente; la redacción rutinaria, a uno barato.
  • Por dificultad: un clasificador o un primer intento barato decide si hay que escalar.
  • Por disponibilidad: se recurre a otro modelo cuando uno no está disponible, ha alcanzado su límite de peticiones o se ha quedado sin presupuesto.

El enrutamiento interactúa con la caché de prompts: una caché pertenece a un modelo, así que cambiar de modelo a mitad de una conversación hace que la caché empiece de nuevo.

Por qué importa

En una sesión de agentes, unas pocas llamadas dirigen todo lo que viene después, y muchas otras hacen trabajo rutinario. Pagar precios del mejor modelo por cada llamada es la forma más habitual en que crece una factura de programación con IA.

En AI CodeOps

Los modelos de la plataforma vienen en tres niveles: Economy, Standard y Premium. Una sesión se ejecuta en un nivel, o en Auto, que elige un nivel para cada llamada al modelo:

planning, review, security    Premium, then Standard, then Economy
writing the change            Standard, then Premium, then Economy
other drafting                Economy, then Standard, then Premium

Cada llamada toma el primer nivel de su orden que tu plan incluya y para el que todavía tenga cuota. Auto se ofrece cuando se pueden elegir al menos dos niveles.

Preguntas frecuentes

¿Una sesión cambia a un modelo más barato cuando falla una llamada?

Normalmente no. Una llamada que choca con un límite de peticiones o con un error del servidor se intenta primero hasta tres veces en total, con el mismo modelo. Solo si el proveedor sigue sin responder puede la plataforma pasar esa única llamada por la cadena de respaldo de su nivel, a otro nivel al que aún le quede cuota. Por lo demás, solo Auto elige niveles, y solo aquellos para los que tu plan todavía tiene cuota.

¿Puedo usar mi propio proveedor de modelos?

Sí. Con tu propia clave de proveedor, las sesiones las factura ese proveedor y no usan la cuota de la plataforma.