AI CodeOps

Routage de modèles (model routing)

Mis à jour le

Le routage de modèles envoie chaque requête d'IA au modèle qui lui convient, en arbitrant entre qualité et coût. Les approches courantes, et la façon dont choisit le niveau Auto d'AI CodeOps.

Le routage de modèles consiste à envoyer chaque requête à un modèle choisi pour cette requête, plutôt que d'utiliser un seul modèle pour tout. Le but habituel est de ne payer un modèle puissant que là où la qualité compte, et d'en utiliser un moins cher ailleurs.

Définition

Les routeurs décident de différentes manières :

  • Selon le type de tâche : la planification et la revue vont à un modèle puissant, la rédaction courante à un modèle bon marché.
  • Selon la difficulté : un classifieur ou une première tentative bon marché décide s'il faut monter en gamme.
  • Selon la disponibilité : se rabattre sur un autre modèle lorsqu'un modèle est en panne, limité en débit ou hors budget.

Le routage interagit avec la mise en cache des prompts : un cache appartient à un modèle, si bien que changer de modèle en cours de conversation fait repartir le cache de zéro.

Pourquoi c'est important

Dans une session d'agents, quelques appels orientent tout ce qui suit, et beaucoup d'autres font un travail de routine. Payer le prix du meilleur modèle pour chaque appel est la façon la plus courante dont une facture de codage par IA grossit.

Dans AI CodeOps

Les modèles de la plateforme se répartissent en trois niveaux : Economy, Standard et Premium. Une session s'exécute sur un niveau, ou sur Auto, qui choisit un niveau pour chaque appel au modèle :

planning, review, security    Premium, then Standard, then Economy
writing the change            Standard, then Premium, then Economy
other drafting                Economy, then Standard, then Premium

Chaque appel prend le premier niveau de son ordre que votre offre inclut et pour lequel il reste du quota. Auto est proposé dès qu'au moins deux niveaux peuvent être choisis.

Questions fréquentes

Une session passe-t-elle à un modèle moins cher lorsqu'un appel échoue ?

En général, non. Un appel qui se heurte à une limite de débit ou à une erreur serveur est d'abord tenté jusqu'à trois fois au total, sur le même modèle. Ce n'est que si le fournisseur ne répond toujours pas que la plateforme peut faire passer cet appel, et lui seul, le long de la chaîne de repli de son niveau, vers un autre niveau pour lequel il reste du quota. Sinon, seul Auto choisit des niveaux, et uniquement ceux pour lesquels votre offre dispose encore de quota.

Puis-je utiliser mon propre fournisseur de modèles ?

Oui. Avec votre propre clé de fournisseur, les sessions sont facturées par ce fournisseur et n'utilisent pas le quota de la plateforme.