AI CodeOps

توجيه النماذج (Model routing)

آخر تحديث

يرسل توجيه النماذج كل طلب ذكاء اصطناعي إلى النموذج المناسب له، موازنا بين الجودة والتكلفة. الأساليب الشائعة، وكيف تختار فئة Auto في AI CodeOps.

توجيه النماذج ممارسة ترسل كل طلب إلى نموذج يختار لذلك الطلب، بدل استخدام نموذج واحد لكل شيء. والغاية المعتادة ألا تنفق على نموذج قوي إلا حيث تهم الجودة، وأن تستخدم نموذجا أرخص في غير ذلك.

التعريف

تقرر الموجهات بطرق مختلفة:

  • حسب نوع المهمة: التخطيط والمراجعة إلى نموذج قوي، والصياغة الروتينية إلى نموذج رخيص.
  • حسب الصعوبة: مصنف، أو محاولة أولى رخيصة، يقرر هل يصعّد الطلب.
  • حسب التوافر: الرجوع إلى نموذج آخر حين يتعطل أحدها، أو يبلغ حد المعدل، أو تنفد ميزانيته.

ويتداخل التوجيه مع التخزين المؤقت للموجهات: فالذاكرة المؤقتة تخص نموذجا واحدا، ولذلك فإن تبديل النماذج في منتصف المحادثة يبدأ الذاكرة المؤقتة من جديد.

الأهمية

في جلسة الوكلاء، تحدد استدعاءات قليلة اتجاه كل ما بعدها، بينما تؤدي استدعاءات كثيرة أخرى عملا روتينيا. ودفع أسعار أقوى النماذج على كل استدعاء هو أكثر الطرق شيوعا لتضخم فاتورة البرمجة بالذكاء الاصطناعي.

في AI CodeOps

تأتي نماذج المنصة في ثلاث فئات: Economy و Standard و Premium. وتعمل الجلسة على فئة واحدة، أو على Auto، التي تختار فئة لكل استدعاء للنموذج، كما يلي:

planning, review, security    Premium, then Standard, then Economy
writing the change            Standard, then Premium, then Economy
other drafting                Economy, then Standard, then Premium

يأخذ كل استدعاء أول فئة في ترتيبه تشملها خطتك وما زالت لها فيها حصة. ولا تعرض فئة Auto إلا حين يمكن اختيار فئتين على الأقل.

الأسئلة الشائعة

هل تنتقل الجلسة إلى نموذج أرخص حين يفشل استدعاء؟

في الغالب لا. الاستدعاء الذي يصطدم بحد المعدل أو بخطأ في الخادم يحاول أولا حتى ثلاث مرات في المجموع، على النموذج نفسه. ولا تستطيع المنصة نقل ذلك الاستدعاء الواحد إلى أسفل السلسلة الاحتياطية لفئته، إلى فئة أخرى ما زالت فيها حصة، إلا إذا ظل المزود لا يجيب. وفيما عدا ذلك لا تختار الفئات إلا فئة Auto، ولا تختار إلا فئات ما زالت لخطتك حصة فيها.

هل يمكنني استخدام مزود النماذج الخاص بي؟

نعم. مع مفتاح المزود الخاص بك، تفوتر الجلسات من ذلك المزود ولا تستهلك حصة المنصة.