AI CodeOps

مجموعة اختباراتك أنت، تعمل على الكود الذي كتبه الذكاء الاصطناعي

يشغل AI CodeOps اختبارات مشروعك على كل تغيير من الذكاء الاصطناعي في بيئة معزولة غير متصلة بالشبكة، ويسجل النتيجة الفعلية، ويحتجز طلب السحب عند فشل اختبار.

في AI CodeOps، تشغل مرحلة الاختبار مجموعة اختبارات مشروعك على الكود نفسه الذي كتبته جلسة الذكاء الاصطناعي للتو، داخل بيئة معزولة، وتسجل النتيجة بوصفها تشغيل اختبار. والاختبار الفاشل يحتجز التغيير: لا يصبح طلب سحب إلى أن تنجح الاختبارات على نسخته الحالية.

قول وكيل ذكاء اصطناعي «ستنجح الاختبارات على الأرجح» ليس دليلا. لذلك، بعد جولة كتابة الكود، تمر كل جلسة غيّرت كود مشروع بخطوة verify (التحقق). تعيد بناء شجرة الملفات المقترحة في بيئة معزولة، من التعديلات نفسها التي حسبت منها الفروقات، وتشغل مجموعتك هناك. فما يعمل هو ما يراجع. وتشغيل اختبار على الفرع الأساسي، أو على نسخة سابقة من التغيير، لن يخبرك بشيء عن هذا التغيير.

الوكلاء الذين يعملون

ثلاثة وكلاء مضمّنين يعملون على الاختبار. ولا أحد منهم ينفذ كودا:

  • وكيل Tester: خطة الاختبار وحالات اختبار مسماة للمسار السليم والحالات الحدية وأنماط الفشل. يعمل في عشرة من مسارات سير العمل المضمّنة، منها Plan, Build, Review & Test و Quality-Gated Change.
  • وكيل E2E Tester: سيناريوهات شاملة من البداية إلى النهاية للتدفق الظاهر للمستخدم، ومواضع نقص التغطية. يعمل في Feature SDLC و Release Readiness.
  • وكيل Performance Tester: المسارات الأكثر تنفيذا (hot paths) والأثر المتوقع للتحسين. يعمل في طرفي Performance Tuning.

حين تأتي خطوتهم بعد الخطوة المنفذة للتغيير، كما هي حال Test في Plan, Build, Review & Test، فإنها تعمل بعد خطوة التحقق. يعرض عليها التغيير كما كتب ونتيجة الاختبار المسجلة، ويطلب منها أن تستشهد بتلك النتيجة حين تتحدث عن الاختبارات. والاختبار الذي تسميه عندئذ لا يضاف في الجلسة نفسها: اطلبه بجلسة متابعة.

وفي سير عمل لا خطوة تنفيذ فيه، مثل Parallel Review أو Release Readiness، تعمل خطواتهم قبل جولة كتابة الكود وتقرؤها هذه الجولة، فتستطيع الجلسة كتابة الاختبارات التي يسمونها مع التغيير. وفي الحالتين تستطيع جولة كتابة الكود كتابة اختبارات مع التغيير، وتشغل خطوة التحقق المجموعة كلها، اختباراتها القديمة والجديدة.

كيف تعمل خطوة التحقق

  1. اختيار الأمر. الأمر المضبوط على المشروع له الأولوية. وإلا يقرأ AI CodeOps شجرة الملفات: سكربت test في package.json (يشغل بـ bun أو pnpm أو yarn أو npm بحسب ملف القفل)، وإلا pytest -q حين يجد pyproject.toml أو setup.cfg أو pytest.ini أو tox.ini، وإلا go test ./... عند وجود go.mod. ويمكن أيضا ضبط المشروع على تخطي الاختبارات.
  2. التثبيت، ثم قطع الشبكة. للمشروع الذي له مستودع، تستنسخه البيئة المعزولة وتثبت تبعياته بينما لا يوجد في الشجرة إلا كودك أنت. ثم تقطع عن الشبكة نهائيا. وإذا تعذر عزلها فلا يشغل كود الذكاء الاصطناعي.
  3. كتابة التغيير والتشغيل. تكتب ملفات الذكاء الاصطناعي في الشجرة غير المتصلة بالشبكة ويعمل أمر الاختبار. وإذا مس التغيير ملف تعريف التبعيات، يعاد التثبيت، دون اتصال بالشبكة.
  4. تسجيل النتيجة. تحلل المخرجات لـ pytest و Jest و Vitest و JUnit XML، مع رقم التغطية حين تذكره المخرجات. أما مشغلات الاختبار الأخرى، ومنها مشغل Go، فتسجل برمز الخروج. يخزن التشغيل الإجمالي وعدد الناجح والفاشل والمتخطى والمدة والتغطية ورمز الخروج. والتشغيل الذي له رمز خروج بلا أعداد لا يبين أن أي اختبار نجح، ولذلك تطلب بوابة الإصدار أعدادا: انظر البوابات أدناه.

كل أمر محدود بدقيقتين، وتتوقف الخطوة عن بدء أوامر جديدة بعد نحو ست دقائق. وتفحص الخطوة أولا وفق سياساتك: يمكن لقاعدة shell.command أن تسمح بأمري التثبيت والاختبار أو ترفضهما.

تظهر النتائج في صفحة الجلسة وفي Build & Test, Quality، التي تسرد أحدث تشغيلات الاختبار.

التخطي الصادق

أشياء كثيرة قد تمنع تشغيل المجموعة دون أن تقول شيئا عن التغيير: غياب أمر اختبار، أو تبعيات لا تثبت، أو مشغل اختبارات مفقود، أو عدم توفر بيئة معزولة، أو انتهاء المهلة، أو سياسة ترفض الأمر. وفي كل حالة تسجل الخطوة تخطيا مع سببه ولا تكتب تشغيل اختبار. ولا يظهر التخطي فشلا أبدا، ولا نجاحا أبدا. أصلح السبب، وغالبا يكون ذلك بضبط أمر الاختبار على المشروع، ثم شغّل الجلسة من جديد. راجع استكشاف الأخطاء وإصلاحها.

بوابات الجودة المعنية

نتائج الاختبار واحد من الفحوص في بوابة الجودة:

  • الاختبارات الفاشلة تمنع. أي تشغيل اختبار مسجل فيه اختبار فاشل أو رمز خروج غير صفري يرفض التغيير.
  • لا تحتسب إلا النسخة الحالية. إذا عدّل أحد التغيير بعد تشغيل اختباراته، لم تعد النتيجة القديمة سارية وتذكر البوابة أن النسخة الجديدة غير مختبرة.
  • الحد الأدنى للتغطية اختياري. يمكن لاستدعاء من CI أن يضبط minCoveragePct. ويجب أن يستوفيه أحدث تشغيل ذكر التغطية. وإذا لم يذكر أي تشغيل التغطية فلا يمكن فحص الحد الأدنى ويرفض التغيير.
  • غياب الدليل ليس نجاحا. الجلسة التي غيّرت كودا تحتاج إلى نتيجة اختبار فيها أعداد. وإذا لم يعمل أي اختبار، أو عمل أمر الاختبار دون أن يذكر أعداد اختبارات، تمنع البوابة التغيير برسالة: "The test command ran but reported no test counts, so nothing shows a test passed. Check the project's test command". والمشروع الذي لا مجموعة اختبارات له يفعّل Don't run tests for this project في إعداداته، وعندها لا تطلب البوابة منه نتيجة اختبار.

حين يسأل CI لديك البوابة عن طلب سحب، تعود التشغيلات الفاشلة في testFailures. وهذا مقتطف من رد بالرفض من /api/release/check، كما يلي:

{
  "allowed": false,
  "evidenceComplete": true,
  "summary": "Tests failing (vitest): 2 of 148 failed",
  "reasons": ["Tests failing (vitest): 2 of 148 failed", "Coverage 71% is below the required 80%"],
  "testFailures": [
    {
      "id": "tst_01JA8ZB4N6Q1S3V5X7Z9C2E4G6",
      "workflowRunID": "wfr_01JA8YQ4M2C7H5K9P3S6V8X1ZD",
      "framework": "vitest",
      "failed": 2,
      "total": 148,
      "exitCode": 1,
      "coveragePct": 71
    }
  ],
  "coverageShortfall": { "coveragePct": 71, "required": 80 }
}

تجيب API بحالة HTTP 200 سواء سمح بالتغيير أم لا، فاقرأ الحقل allowed. والاختبارات جزء من الأمر فحسب: يحتاج التغيير أيضا إلى مراجعة ملاحظات مكتملة بلا ملاحظات مانعة، وإلى موافقة بشرية.

الحدود

تشغل البيئة المعزولة اختبارات الوحدات واختبارات التكامل لديك، أي كل ما يغطيه أمر الاختبار. ولا يشغل AI CodeOps اختبارات المتصفح ولا اختبارات الحمل ولا عمليات نشر للتغيير ضمن هذه الخطوة، ولا يعوض عن مشروع قليل الاختبارات. والاختبارات التي تحتاج إلى خدمات خارجية أو وصول إلى الشبكة لن تصل إليها، لأن البيئة المعزولة غير متصلة بالشبكة.

الأسئلة الشائعة

أي أمر اختبار يشغله AI CodeOps؟

الأمر الذي ضبطته على المشروع، إن وجد. وإلا يستخدم سكربت test في package.json مع مدير الحزم الذي يشير إليه ملف القفل (lockfile)، وإلا pytest لمشاريع Python، وإلا go test لوحدات Go.

أين تعمل الاختبارات؟

في بيئة معزولة على المنصة، لا على جهازك أبدا ولا على خوادم لوحة التحكم أبدا. وللمشروع الذي له مستودع، تثبت التبعيات أولا، ثم تقطع البيئة المعزولة عن الشبكة قبل كتابة كود الذكاء الاصطناعي وبدء الاختبارات.

ماذا لو لم يكن في مشروعي اختبارات؟

تسجل خطوة التحقق تخطيا مع السبب، وهو أنه لم يكتشف أمر اختبار. ولا يعرض التخطي نجاحا أبدا، وترفض بوابة الإصدار تغيير كود بلا نتيجة اختبار. وإذا لم تكن للمشروع مجموعة اختبارات، ففعّل خيار "Don't run tests for this project" في إعداداته.

هل يستطيع تغيير الذكاء الاصطناعي إضافة تبعية جديدة؟

يستطيع، لكن التثبيت الخاص بالاختبارات يعمل دون اتصال بالشبكة، فالحزمة غير المثبتة من قبل سيفشل تثبيتها. وعندها تسجل الخطوة متخطاة لا فاشلة، مع ذكر هذا السبب.

هل يشغل وكلاء الاختبار اختبارات المتصفح أو اختبارات الحمل؟

لا. وكلاء Tester و E2E Tester و Performance Tester يكتبون خطط الاختبار وسيناريوهاته، وفي معظم مسارات سير العمل يفعلون ذلك بعد قراءة التغيير المكتوب ونتيجة اختباره المسجلة. والكود الوحيد الذي يعمل هو أمر الاختبار الخاص بمشروعك، في البيئة المعزولة.