- الرئيسية
- مركز التعلم
- بوابات تغطية الاختبارات: الحدود الدنيا وتغطية الكود الجديد وحدودها
بوابات تغطية الاختبارات: الحدود الدنيا وتغطية الكود الجديد وحدودها
آخر تحديث
كيف تعمل بوابات تغطية الاختبارات، وتغطية الأسطر مقابل تغطية الفروع، وتطبيق البوابة على الكود الجديد بدل المشروع كله، ولماذا لا تثبت التغطية أن اختباراتك تفحص شيئا.
في هذه الصفحة
بوابة تغطية الاختبارات تُفشل التغيير حين تقع تغطية الاختبارات المقيسة دون حد أدنى محدد. وهي من أكثر بوابات الجودة شيوعا، لأن حسابها رخيص وفهمها سهل. وهي أيضا من أكثرها سوء فهم: فالتغطية تبين مقدار الكود الذي عمل أثناء الاختبارات، لا ما إذا كانت الاختبارات قد فحصت شيئا. وحين تستخدم جيدا، توقف بوابة التغطية تراجع تغطية الاختبارات وتدفع كل تغيير إلى أن يأتي باختبارات. وحين تستخدم هدفا في ذاتها، تنتج اختبارات مكتوبة لرفع رقم.
تتعمق هذه الصفحة في نوع واحد من الأدلة من ما بوابات الجودة؟.
ما الذي تقيسه التغطية
تضيف أدوات التغطية أدوات قياس إلى الكود، وتشغل الاختبارات، وتسجل الأجزاء التي نفذت. والمقاييس الشائعة:
- تغطية الأسطر أو التعليمات. حصة الأسطر أو التعليمات التي عملت مرة واحدة على الأقل. وهي الأوسع توافرا.
- تغطية الفروع. حصة نتائج القرارات التي عملت: لكل
if، المسار الصحيح والمسار الخاطئ معا. وهي أشد من تغطية الأسطر، لأن السطر الذي يحتوي شرطا قد يعمل دون أن تختبر نتيجتاه كلتاهما. - تغطية الدوال. حصة الدوال التي استدعيت مرة واحدة على الأقل.
- تغطية الشروط والقرارات. صيغ أشد تستخدم في البرمجيات الحرجة للسلامة. فتغطية الشروط والقرارات المعدلة (MC/DC)، مثلا، مطلوبة لأشد مستويات برمجيات الطيران حرجا وفق إرشادات DO-178C.
ومعظم الفرق تطبق بواباتها على تغطية الأسطر لأن كل أداة شائعة تبلغ عنها، وتضيف تغطية الفروع حيث تبلغ عنها أدواتها بموثوقية.
أنواع بوابات التغطية
هناك ثلاثة تصاميم شائعة، وسلوكها مختلف تماما.
| البوابة | القاعدة | نقطة القوة | نقطة الضعف |
|---|---|---|---|
| الحد الأدنى للمشروع | يجب أن تبقى التغطية الإجمالية عند N% أو فوقها | بسيطة؛ وتوقف التراجع على المدى الطويل | التغيير الصغير بالكاد يحرك الإجمالي، مختبرا كان أم لا |
| تغطية الكود الجديد (الفروقات) | يجب أن تغطى الأسطر المضافة أو المتغيرة بنسبة N% | تخضع كل تغيير للمعيار | تحتاج إلى أدوات تربط التغطية بالفروقات |
| عدم الانخفاض (الرفع التدريجي) | يجب ألا تقع التغطية دون آخر قيمة مسجلة | تحسن مطرد دون قفزة أولى كبيرة | قد تمنع تغييرا صحيحا يحذف كودا مختبرا |
الحد الأدنى للمشروع أسهلها إعدادا وأضعفها على مستوى التغيير الواحد: ففي قاعدة كود كبيرة، قد يحرك تغيير غير مختبر من بضع مئات من الأسطر الإجمالي بجزء من نقطة مئوية. وتغطية الكود الجديد هي الأنفع لمراجعة التغييرات الفردية، لأنها تطرح سؤالا مباشرا: هل تمارس الاختبارات الأسطر التي أضافها هذا التغيير؟
ما لا تستطيع التغطية إخبارك به
التغطية مقياس للتنفيذ، فلها نقاط عمياء تهم البوابة.
- التأكيدات. الاختبار الذي يستدعي دالة ولا يفحص شيئا يغطي مع ذلك كل سطر يشغله.
- صحة التوقعات. الاختبار الذي يؤكد قيمة خاطئة يغطي الكود وينجح.
- السلوك الغائب. تقيس التغطية الكود الموجود. والفحص الغائب، مثل اختبار صلاحية غير موجود، ليست له أسطر لتبقى غير مغطاة.
- آثار التكامل. التغطية العالية لاختبارات الوحدات لا تقول إلا القليل عن سلوك المكونات معا.
وهناك أيضا أثر سلوكي، يلخص غالبا بقانون Goodhart: حين يصبح المقياس هدفا، يكف عن أن يكون مقياسا جيدا. فالبوابة التي لا تكافئ إلا الرقم تستدعي اختبارات مكتوبة لرفعه.
التغطية والكود الذي يكتبه الذكاء الاصطناعي
بوابات التغطية طريقة رخيصة للتحقق من أن وكيل الذكاء الاصطناعي كتب اختبارات مع كوده لا بدلا منه. وهي أيضا سهلة الاستيفاء على الوكيل دون اختبار حقيقي، وغالبا دون أي نية للخداع: فقد طلب من الوكيل اختبارات ناجحة وتغطية، فأنتجها.
أنماط ينبغي الانتباه إليها في الاختبارات التي يكتبها الذكاء الاصطناعي:
- اختبارات تستدعي الكود ولا تؤكد إلا أنه لم يرم استثناء؛
- اختبارات لقطات تسجل كل ما يعيده الكود على أنه القيمة المتوقعة؛
- كائنات محاكاة (mocks) تستبدل المنطق الخاضع للاختبار، فيفحص الاختبار المحاكاة نفسها؛
- اختبارات مولدة من التنفيذ، تكرر أخطاءه على أنها توقعات.
تعامل مع التغطية على أنها حد أدنى يجب أن يجتازه كل تغيير، ومع فروقات الاختبارات على أنها شيء يقرؤه مراجع. راجع كيف تراجع كودا كتبه وكيل ذكاء اصطناعي لمعرفة ما تبحث عنه.
إشارات أفضل تقرنها بالتغطية
- اختبار الطفرات. تجري أداة تغييرات صغيرة على الكود، مثل قلب مقارنة، وتفحص هل يفشل أي اختبار. والطفرات الناجية تكشف كودا يعمل أثناء الاختبار لكنه لا يفحص فعلا. وتوجد أدوات لمعظم اللغات، مثل Stryker للغتي JavaScript و TypeScript، و PIT للغة Java، و mutmut للغة Python. وهي أبطأ من التغطية، ولذلك كثيرا ما تشغلها الفرق وفق جدول زمني أو على الملفات المتغيرة فقط.
- اختبارات الانحدار للإصلاحات. ينبغي أن يتضمن إصلاح الخطأ اختبارا يفشل دون الإصلاح. فذلك الاختبار يثبت شيئا لا تستطيع التغطية إثباته.
- مراجعة فروقات الاختبارات. الاختبارات المحذوفة، والتأكيدات المخففة، والتوقعات المتغيرة، كلها مرئية في الفروقات وغير مرئية في رقم التغطية.
وضع حد أدنى للتغطية
- قس أولا. شغل التغطية على الفرع الرئيسي وسجل الرقم الحالي لكل مشروع.
- اختر نوع البوابة. تغطية الكود الجديد إن كانت أدواتك تدعمها؛ وإلا فحد أدنى للمشروع مع رفع تدريجي.
- ضع الحد الأدنى قريبا من رقم اليوم. فالحد الأدنى الذي تستوفيه قاعدة الكود أصلا قابل للفرض من اليوم الأول.
- استثن عن قصد. يمكن استثناء الكود المولد، والكود المضمّن من أطراف أخرى (vendored)، وأدوات الاختبار المساعدة، في إعدادات تراجع كما يراجع الكود. فالاستثناءات الصامتة طريقة للتحايل على البوابة.
- قرر ما يحدث حين لا يوجد رقم للتغطية. إذا لم يبلغ تشغيل الاختبار عن التغطية، فإما أن تمنع البوابة أو تتخطى الحد الأدنى وتقول ذلك. ولا تعرضه على أنه نجاح.
- ارفعه مع الوقت. راجع الحد الأدنى دوريا وارفعه حين ترتفع التغطية.
كيف يفعل AI CodeOps ذلك
حين تشغل جلسة AI CodeOps اختبارات مشروعك في بيئتها المعزولة، تقرأ رقم التغطية الإجمالي من مخرجات الاختبار حين تتضمن ملخصا: سطر TOTAL من pytest-cov، أو صف All files من Istanbul (كما يطبعه Jest و Vitest؛ والعمود الأول، وهو التعليمات)، أو سطر موسوم مثل coverage: 85.3%. ويخزن الرقم مع تشغيل الاختبار عددا صحيحا، مقربا إلى الأدنى.
والحد الأدنى للتغطية هو الخيار minCoveragePct في فحص الإصدار الذي يستدعيه CI لديك، كما يلي:
{ "pullRequestURL": "https://github.com/acme/checkout/pull/42", "minCoveragePct": 80 }
حين يضبط، يجب أن يبلغ أحدث تشغيل اختبار أبلغ عن التغطية الحد الأدنى، وإلا رفض الإصدار مع سبب مثل "Coverage 71% is below the required 80%". وإذا لم يبلغ أي تشغيل اختبار على التغيير عن التغطية، يرفض الإصدار أيضا بالرسالة "Coverage wasn't reported, so the 80% floor can't be checked". فالحد الأدنى الذي لا رقم يفحص به لا ينجح. لذلك اجعل أمر الاختبار لديك يطبع ملخصا، مثل pytest --cov أو vitest run --coverage، قبل أن تضع حدا أدنى. والبوابة الخاصة بكل جلسة في لوحة التحكم تمنع الاختبارات الفاشلة لكنها لا تفحص التغطية. والاختبارات الفاشلة ترفض الإصدار أيا كانت التغطية.
راجع مدخل الحد الأدنى للتغطية لمزيد من التفاصيل، ومرجع API لكل خيارات فحص الإصدار، والاختبار بالذكاء الاصطناعي لطريقة تشغيل الاختبارات.
الأسئلة الشائعة
ما النسبة الجيدة لتغطية الاختبارات؟
لا يوجد رقم عام. قس موقع قاعدة الكود اليوم، وضع الحد الأدنى قريبا منه، وارفعه كلما تحسنت التغطية. فالحد الأدنى البعيد جدا فوق الرقم الحالي إما أن يتجاهل أو يستوفى باختبارات قليلة القيمة.
هل أستخدم تغطية الأسطر أم تغطية الفروع؟
تغطية الفروع أشد، لأنها تفحص أن جانبي كل قرار قد عملا. استخدمها حيث تبلغ عنها أدواتك بموثوقية. أما تغطية الأسطر فهي الأوسع توافرا، ونقطة بداية معقولة.
هل تعني تغطية 100% أن الكود بلا أخطاء؟
لا. تبين التغطية أي الكود عمل أثناء الاختبارات، لا ما إذا كانت الاختبارات قد فحصت النتائج. فقد يكون الكود مغطى بالكامل باختبارات تأكيداتها ضعيفة أو غائبة.
هل ينبغي أن تنطبق بوابة التغطية على التغييرات التي يكتبها الذكاء الاصطناعي؟
إنها إشارة رخيصة إلى أن الوكيل كتب اختبارات مع كوده. واقرنها بمراجعة لفروقات الاختبارات، لأن الوكيل يستطيع رفع التغطية باختبارات تنفذ الكود دون أن تفحصه.