ऑर्थोगोनल ऐरे परीक्षण क्या है? (उदाहरण)
थॉमस हैमिल्टन
⚡ स्मार्ट सारांश
ऑर्थोगोनल ऐरे टेस्टिंग एक ब्लैक बॉक्स तकनीक है जो एक कॉम्पैक्ट टेस्ट सेट बनाने के लिए सांख्यिकीय ऐरे का उपयोग करती है, जिसमें संपूर्ण संयोजन परीक्षण की तुलना में बहुत कम परीक्षण मामलों के साथ इनपुट मानों के प्रत्येक जोड़े को कवर किया जाता है।
ऑर्थोगोनल ऐरे परीक्षण
ऑर्थोगोनल ऐरे परीक्षण (OAT) ऑर्थोगोनल ऐरे टेस्टिंग एक सॉफ्टवेयर टेस्टिंग तकनीक है जो टेस्ट केस बनाने के लिए ऑर्थोगोनल ऐरे का उपयोग करती है। यह एक सांख्यिकीय परीक्षण पद्धति है और यह तब विशेष रूप से उपयोगी होती है जब परीक्षण के तहत सिस्टम बड़ी संख्या में डेटा इनपुट स्वीकार करता है। ऑर्थोगोनल ऐरे टेस्टिंग इनपुट को पेयर और कंबाइन करके टेस्ट कवरेज को अधिकतम करती है, जिससे सिस्टम को अपेक्षाकृत कम टेस्ट केस और कम समय में चलाया जा सकता है।
उदाहरण के लिए, जब किसी ट्रेन टिकट का सत्यापन करना होता है, तो यात्रियों की संख्या, टिकट संख्या, सीट संख्या और ट्रेन संख्या जैसे कारकों का परीक्षण करना आवश्यक होता है। प्रत्येक कारक का अलग-अलग परीक्षण करना जटिल होता है। यह अधिक कुशल होता है जब QA इंजीनियर कई इनपुट को एक साथ मिलाकर एक ही बार में उनका परीक्षण करता है। ऐसे मामलों में, हम ऑर्थोगोनल ऐरे परीक्षण विधि का उपयोग कर सकते हैं।
समय बचाने के लिए इनपुट को इस प्रकार से जोड़ना या संयोजित करना पेयरवाइज टेस्टिंग कहलाता है, और OATS तकनीक पेयरवाइज टेस्ट सेट तैयार करने का एक तरीका है। चूंकि यह तकनीक आंतरिक कोड को देखे बिना, केवल इनपुट मानों और अपेक्षित परिणामों के आधार पर काम करती है, इसलिए यह पेयरवाइज टेस्टिंग के अंतर्गत आती है। ब्लैक बॉक्स परीक्षण परिवार।
OAT (ऑर्थोगोनल ऐरे टेस्टिंग) क्यों?
वर्तमान परिदृश्य में, कोड की जटिलता के कारण ग्राहक को गुणवत्तापूर्ण सॉफ्टवेयर उत्पाद प्रदान करना चुनौतीपूर्ण हो गया है।
परंपरागत पद्धति में, परीक्षण सूट में इनपुट मानों और पूर्व-शर्तों के प्रत्येक संयोजन से प्राप्त परीक्षण मामले शामिल होते हैं। परिणामस्वरूप, n संख्या में परीक्षण मामलों को शामिल करना पड़ता है।
लेकिन वास्तविक परिदृश्य में, परीक्षकों के पास दोषों को उजागर करने के लिए सभी परीक्षण मामलों को निष्पादित करने का समय नहीं होगा, क्योंकि दस्तावेज़ीकरण, सुझाव और ग्राहक से प्रतिक्रिया जैसी अन्य गतिविधियाँ भी परीक्षण चरण के भीतर समायोजित करनी होती हैं।
इसलिए, परीक्षण प्रबंधक अधिकतम परिणाम सुनिश्चित करने के लिए परीक्षण मामलों की संख्या और गुणवत्ता को अनुकूलित करना चाहते थे। टेस्ट कवरेज न्यूनतम प्रयास से। इस प्रयास को टेस्ट केस ऑप्टिमाइजेशन कहा जाता है।
- युग्मों के बीच होने वाली अंतःक्रियाओं का परीक्षण करने का एक व्यवस्थित और सांख्यिकीय तरीका।
- अंतःक्रिया और एकीकरण बिंदु दोषों का एक प्रमुख स्रोत हैं।
- ऐसे सुस्पष्ट और संक्षिप्त परीक्षण मामलों का एक समूह चलाएँ जिनसे अधिकांश (सभी नहीं) बग्स का पता चलने की संभावना हो।
- ऑर्थोगोनल दृष्टिकोण सभी चरों के युग्मवार कवरेज की गारंटी देता है।
इसलिए यह तकनीक टीम द्वारा पहले से उपयोग की जा रही अन्य इनपुट-कमी विधियों के साथ-साथ काम करती है। समतुल्यता विभाजन और सीमा मान विश्लेषण यह तय करें कि किसी एक फ़ील्ड के लिए किन मानों का परीक्षण करना उचित है; ऑर्थोगोनल एरे यह तय करते हैं कि उनमें से किन मानों का एक साथ परीक्षण किया जाना चाहिए।
ऑर्थोगोनल ऐरे टेस्टिंग को कैसे दर्शाया जाता है
एक ऑर्थोगोनल ऐरे को उसकी सामग्री के बजाय एक संक्षिप्त सूत्र द्वारा वर्णित किया जाता है। नीचे दिया गया आरेख दर्शाता है कि उस सूत्र में मौजूद तीन राशियाँ ऐरे के आकार से कैसे संबंधित हैं।
- रन (एन) – ऐरे में पंक्तियों की संख्या, जो उत्पन्न होने वाले टेस्ट केसों की संख्या को दर्शाती है।
- कारक (K) – ऐरे में कॉलम की संख्या, जो कि हैंडल किए जा सकने वाले वेरिएबल्स की अधिकतम संख्या को दर्शाती है।
- स्तर (V) – किसी एक गुणनखंड पर लिए जा सकने वाले मानों की अधिकतम संख्या।
एक कारक में आमतौर पर परीक्षण के लिए 2 से 3 इनपुट होते हैं। इनपुट की यह अधिकतम संख्या ही स्तरों को निर्धारित करती है।
ऐरे का नाम बाएं से दाएं पढ़ें। एल9(34) 9 रन काउंट है, 3 प्रत्येक फैक्टर के स्तरों की संख्या है, और सुपरस्क्रिप्ट 4 फैक्टरों की संख्या है। उसी लेख में इसका उपयोग किया गया है। एल4(23)जो कि तीन कारकों के लिए चार रन हैं, जिनमें से प्रत्येक के दो स्तर हैं।
किसी ऐरे को ऑर्थोगोनल बनाने के लिए दो गुणधर्म आवश्यक हैं, और रन काउंट पर भरोसा करने से पहले दोनों का सही होना जरूरी है:
- शेष राशि: किसी कारक का प्रत्येक स्तर अपने ही स्तंभ में समान संख्या में प्रकट होता है।
- जोड़ीदार पूर्णता: किन्हीं भी दो स्तंभों के लिए, प्रत्येक स्तंभ से एक स्तर का प्रत्येक संयोजन समान संख्या में बार प्रकट होता है।
यदि दूसरी विशेषता विफल हो जाती है, तो तालिका केवल एक संक्षिप्त परीक्षण सेट होती है, न कि एक ऑर्थोगोनल ऐरे, और वह युग्म गारंटी जो कमी को उचित ठहराती है, अब लागू नहीं होती है।
ऑर्थोगोनल ऐरे परीक्षण कैसे करें: उदाहरण
- परिदृश्य के लिए स्वतंत्र चर की पहचान करें।
- रनों की संख्या के साथ सबसे छोटी सरणी ज्ञात करें।
- कारकों को सारणी में मैप करें.
- किसी भी “बचे हुए” स्तर के लिए मान चुनें.
- रन को ट्रांसक्राइब करें परीक्षण के मामलोंइसमें उन सभी संदिग्ध संयोजनों को भी शामिल किया जाता है जो उत्पन्न नहीं होते हैं।
नीचे दिए गए दो उदाहरणों में उन पांच चरणों को लागू किया गया है, पहले एक छोटी दो-स्तरीय समस्या पर और फिर एक बड़ी तीन-स्तरीय समस्या पर।
उदाहरण 1
एक वेब पेज के तीन अलग-अलग भाग (शीर्ष, मध्य, नीचे) होते हैं जिन्हें उपयोगकर्ता से व्यक्तिगत रूप से दिखाया या छिपाया जा सकता है।
- कारकों की संख्या = 3 (शीर्ष, मध्य, निचला)
- स्तरों की संख्या (दृश्यता) = 2 (छिपे या दिखाए गए)
- ऐरे टाइप = L4(23)
(OAT ऐरे बनाने के बाद प्राप्त रनों की संख्या 4 है)
यदि हम एक समय में एक सेक्शन को बदलने की पारंपरिक तकनीक अपनाते हैं, तो हमें 2 x 3 = 6 टेस्ट केस की आवश्यकता होगी।
| परीक्षण के मामलों | परिदृश्य | परीक्षण किये जाने वाले मान |
|---|---|---|
| परीक्षण #1 | छिपे हुए | चोटी |
| परीक्षण #2 | दिखाया | चोटी |
| परीक्षण #3 | छिपे हुए | तल |
| परीक्षण #4 | दिखाया | तल |
| परीक्षण #5 | छिपे हुए | मध्यम |
| परीक्षण #6 | दिखाया | मध्यम |
उन छह परीक्षणों में एक समय में एक खंड बदलता है और कभी भी दो खंडों को एक साथ चुनी हुई स्थिति में नहीं रखा जाता है। इसके बजाय प्रत्येक संयोजन का परीक्षण करने में 2 घंटे लगेंगे।3 = 8 रन।
यदि हम OAT परीक्षण करते हैं तो हमें 4 परीक्षण मामलों की आवश्यकता होगी जैसा कि नीचे दिखाया गया है:
| परीक्षण के मामलों | टॉप | मध्यम | तल |
|---|---|---|---|
| परीक्षण #1 | छिपा हुआ | छिपा हुआ | छिपा हुआ |
| परीक्षण #2 | छिपा हुआ | दृष्टिगोचर | दृष्टिगोचर |
| परीक्षण #3 | दृष्टिगोचर | छिपा हुआ | दृष्टिगोचर |
| परीक्षण #4 | दृष्टिगोचर | दृष्टिगोचर | छिपा हुआ |
उस तालिका के किन्हीं दो स्तंभों की जाँच करें और सभी चार छिपे/दृश्यमान जोड़े ठीक एक बार दिखाई देते हैं, जो कि सबसे सरल रूप में ऑर्थोगोनैलिटी गुण है।
उदाहरण 2
माइक्रोप्रोसेसर की कार्यक्षमता का परीक्षण किया जाना चाहिए:
- तापमान: 100C, 150C और 200C.
- दबाव: 2 psi, 5 psi और 8 psi
- Doping राशि: 4%, 6% और 8%
- निक्षेपण दर: 0.1 मिलीग्राम/सेकंड, 0.2 मिलीग्राम/सेकंड और 0.3 मिलीग्राम/सेकंड
परंपरागत विधि का उपयोग करके हमें 3 की आवश्यकता है4 सभी इनपुट को कवर करने के लिए 81 टेस्ट केस। आइए इसके बजाय OATS विधि का उपयोग करें:
कारकों की संख्या = 4 (तापमान, दबाव, तापमान ...ping राशि और जमा दर)
स्तर = प्रत्येक कारक के लिए 3 स्तर (तापमान के 3 स्तर हैं - 100 डिग्री सेल्सियस, 150 डिग्री सेल्सियस और 200 डिग्री सेल्सियस - और इसी प्रकार अन्य कारकों के भी 3-3 स्तर हैं)
नीचे दिए अनुसार एक सारणी बनाएं:
1. कारकों की संख्या वाले कॉलम
| परीक्षण मामला # | तापमान | दबाव | Doping राशि | जमाव दर |
|---|
2. प्रत्येक कारक के लिए स्तरों की संख्या के बराबर पंक्तियाँ दर्ज करें। उदाहरण के लिए, तापमान के 3 स्तर हैं। अतः, तापमान के प्रत्येक स्तर के लिए 3 पंक्तियाँ डालें।
| परीक्षण मामला # | तापमान | दबाव | Doping राशि | जमाव दर |
|---|---|---|---|---|
| 1 | 100C | |||
| 2 | 100C | |||
| 3 | 100C | |||
| 4 | 150C | |||
| 5 | 150C | |||
| 6 | 150C | |||
| 7 | 200C | |||
| 8 | 200C | |||
| 9 | 200C |
3. अब दबाव को विभाजित करें, करेंping स्तंभों में जमाव की मात्रा और दरें।
उदाहरण के लिए: 100°C, 150°C और 200°C तापमान पर 2 psi दर्ज करें, इसी प्रकार do दर्ज करें।ping 100 डिग्री सेल्सियस, 150 डिग्री सेल्सियस और 200 डिग्री सेल्सियस आदि के लिए 4% की दर।
| परीक्षण मामला # | तापमान | दबाव | Doping राशि | जमाव दर |
|---|---|---|---|---|
| 1 | 100C | 2 साई | 4% | 0.1 मिलीग्राम/सेकेंड |
| 2 | 100C | 5 साई | 6% | 0.2 मिलीग्राम/सेकेंड |
| 3 | 100C | 8 साई | 8% | 0.3 मिलीग्राम/सेकेंड |
| 4 | 150C | 2 साई | 4% | 0.1 मिलीग्राम/सेकेंड |
| 5 | 150C | 5 साई | 6% | 0.2 मिलीग्राम/सेकेंड |
| 6 | 150C | 8 साई | 8% | 0.3 मिलीग्राम/सेकेंड |
| 7 | 200C | 2 साई | 4% | 0.1 मिलीग्राम/सेकेंड |
| 8 | 200C | 5 साई | 6% | 0.2 मिलीग्राम/सेकेंड |
| 9 | 200C | 8 साई | 8% | 0.3 मिलीग्राम/सेकेंड |
इसलिए, OAs में, हमें कवर करने के लिए 9 टेस्ट मामलों की आवश्यकता है।
सटीकता संबंधी टिप्पणी: चरण 3 की तरह शेष तीन स्तंभों को सीधे नीचे की ओर भरें, उसी दबाव को दोहराएं।ping और प्रत्येक तापमान ब्लॉक के अंदर जमाव तिगुना हो जाता है। दबाव और करेंping इसलिए राशि एक साथ चलती है, और 2 psi और 6% जैसे जोड़े कभी दिखाई नहीं देते, इसलिए ऊपर की नौ पंक्तियाँ एक वास्तविक ऑर्थोगोनल ऐरे के बजाय एक कम किया गया परीक्षण सेट हैं। संतुलित L9(34नीचे दी गई सरणी प्रत्येक दो कारकों के बीच सभी नौ स्तर युग्मों को कवर करते हुए समान नौ रन बनाए रखती है।
| परीक्षण मामला # | तापमान | दबाव | Doping राशि | जमाव दर |
|---|---|---|---|---|
| 1 | 100C | 2 साई | 4% | 0.1 मिलीग्राम/सेकेंड |
| 2 | 100C | 5 साई | 6% | 0.2 मिलीग्राम/सेकेंड |
| 3 | 100C | 8 साई | 8% | 0.3 मिलीग्राम/सेकेंड |
| 4 | 150C | 2 साई | 6% | 0.3 मिलीग्राम/सेकेंड |
| 5 | 150C | 5 साई | 8% | 0.1 मिलीग्राम/सेकेंड |
| 6 | 150C | 8 साई | 4% | 0.2 मिलीग्राम/सेकेंड |
| 7 | 200C | 2 साई | 8% | 0.2 मिलीग्राम/सेकेंड |
| 8 | 200C | 5 साई | 4% | 0.3 मिलीग्राम/सेकेंड |
| 9 | 200C | 8 साई | 6% | 0.1 मिलीग्राम/सेकेंड |
ऑर्थोगोनल ऐरे टेस्टिंग बनाम पेयरवाइज (ऑल-पेयर्स) टेस्टिंग
कई टीमों में इन दोनों शब्दों का प्रयोग एक दूसरे के स्थान पर किया जाता है, फिर भी ये एक समान नहीं हैं। दोनों का उद्देश्य मूल्यों के युग्मों को शामिल करना है, लेकिन परिणामी तालिका को कितनी सख्ती से सीमित किया जाता है, इसमें अंतर है।
| पहलू | ऑर्थोगोनल ऐरे परीक्षण | जोड़ीदार (सभी-जोड़ी) परीक्षण |
|---|---|---|
| बुनियादी ढ़ांचा | ऑर्थोगोनल ऐरे, प्रयोगों के डिजाइन से लिया गया है। | खोज एल्गोरिदम द्वारा उत्पन्न कवरिंग ऐरे |
| कवरेज नियम | प्रत्येक जोड़ी समान संख्या में दिखाई देती है। | प्रत्येक जोड़ी कम से कम एक बार दिखाई देती है |
| असमान स्तरों वाले कारक | इसके लिए मिश्रित-स्तरीय ऐरे की आवश्यकता है, जो आवश्यक आकार के लिए मौजूद नहीं हो सकता है। | जनरेटर द्वारा सीधे नियंत्रित |
| सामान्य रन गणना | शेष राशि की आवश्यकता के कारण बराबर या थोड़ा अधिक। | समान इनपुट के लिए बराबर या उससे कम |
| मूल्यों के बीच की बाधाएँ | ऐरे के अंदर व्यक्त करना कठिन है | अधिकांश आधुनिक जनरेटरों द्वारा समर्थित |
व्यवहार में, संतुलित ऑर्थोगोनल ऐरे एक स्पष्ट शिक्षण मॉडल है और समान स्तर संख्या वाले कारकों के लिए एक सुरक्षित विकल्प है, जबकि कवरिंग ऐरे वह है जो अधिकांश उपकरण विषम, असमान इनपुट वाले वास्तविक प्रोजेक्टों के लिए बनाते हैं। दोनों एक दूसरे के पूरक हैं। निर्णय तालिका परीक्षण और राज्य संक्रमण परीक्षणजो मूल्यों के संयोजन के बजाय व्यावसायिक नियमों और अनुक्रम को लक्षित करते हैं।
ऑर्थोगोनल ऐरे टेस्टिंग टूल्स
ऊपर दिए गए छोटे उदाहरणों के लिए ही ऐरे को हाथ से बनाना व्यावहारिक है। चार या पाँच से अधिक कारकों के लिए, टीमें एक जेनरेटर का उपयोग करती हैं, और टूल उनके लिए रन काउंट तय करता है।
- चित्र: एक ओपन-सोर्स कमांड-लाइन जनरेटर Microsoftपैरामीटर और उनके मान एक सादे टेक्स्ट मॉडल फ़ाइल में लिखे जाते हैं, और टूल संयोजन सेट को प्रिंट करता है। कंस्ट्रेंट और सब-मॉडल समर्थित हैं, जो तब महत्वपूर्ण होता है जब कुछ मान युग्म अमान्य होते हैं। देखें PICT रिपॉजिटरी.
- अधिनियम: NIST का एक शोध उपकरण जो दो-तरफ़ा से लेकर छह-तरफ़ा कवरेज तक के लिए कवरिंग एरे उत्पन्न करता है, और साथ ही पूर्व-गणना किए गए एरे की एक लाइब्रेरी भी प्रकाशित करता है। यह यहाँ से उपलब्ध है। एनआईएसटी संयोजनात्मक परीक्षण परियोजना.
- वाणिज्यिक संयोजनात्मक प्लेटफॉर्म: होस्टेड टूल आवश्यकता जोड़ते हैं tracक्षमता, अपेक्षित परिणाम और परीक्षण प्रबंधन प्रणाली में निर्यात करने की सुविधा, जो उन बड़ी टीमों के लिए उपयुक्त है जिन्हें ऑडिट ट्रेल की आवश्यकता होती है।
- प्रकाशित ऐरे लाइब्रेरीज़: L4, L8, L9, L16 और L18 जैसे मानक सरणियों को सारणीबद्ध किया जाता है और जब कारक और स्तर की गणना मेल खाती है तो उन्हें सीधे कॉपी किया जा सकता है।
चाहे कोई भी टूल टेबल बनाए, उत्पन्न पंक्तियों को वास्तविक डेटा और अपेक्षित परिणामों के साथ चलाने योग्य मामलों में परिवर्तित करना होगा, और फिर उन्हें किसी अन्य सूट की तरह ही शेड्यूल करना होगा। सॉफ्टवेयर परीक्षण तकनीक यह परियोजना में पहले से ही उपयोग में है।
ऑर्थोगोनल ऐरे टेस्टिंग के लाभ
- सभी चयनित चरों के युग्म-वार संयोजनों के परीक्षण की गारंटी देता है।
- टेस्ट केसों की संख्या कम करता है।
- यह कम टेस्ट केस बनाता है जो फिर भी चरों के प्रत्येक जोड़े की परस्पर क्रिया को कवर करता है।
- चरों के जटिल संयोजन को संभाला जा सकता है।
- हाथ से बनाए गए परीक्षण सेट की तुलना में इसे बनाना सरल है तथा इसमें त्रुटि की संभावना कम होती है।
- यह के लिए उपयोगी है एकीकरण जांचऔर समान रूप से उपयोगी कॉन्फ़िगरेशन परीक्षणजहां ब्राउज़र, ऑपरेटिंग सिस्टम और डिवाइस के संयोजन तेजी से बढ़ते हैं।
- इससे परीक्षण चक्र और परीक्षण समय कम होने के कारण उत्पादकता में सुधार होता है।
बचत यौगिकों के दौरान प्रतिगमन परीक्षणक्योंकि एक छोटा संतुलित सूट इतना सस्ता होता है कि इसे हर चक्र में दोबारा चलाया जा सकता है, जबकि एक व्यापक संयोजन सूट आमतौर पर एक बार चलाया जाता है और फिर चुपचाप छोड़ दिया जाता है।
ऑर्थोगोनल ऐरे टेस्टिंग के नुकसान
- जैसे-जैसे डेटा इनपुट बढ़ता है, टेस्ट केस डिज़ाइन की जटिलता भी बढ़ती जाती है। परिणामस्वरूप, मैन्युअल प्रयास और लगने वाला समय बढ़ जाता है, और परीक्षकों को अधिक मेहनत करनी पड़ती है। स्वचालन परीक्षण.
- युग्मवार कवरेज पूर्ण कवरेज नहीं है। एक दोष जो केवल तीन विशिष्ट मानों के एक साथ होने पर ही प्रकट होता है, वह सरणी से अप्रभावित रह सकता है।
- अलग-अलग स्तरों वाले गुणनखंडों को मानक सरणी पर स्पष्ट रूप से मैप नहीं किया जा सकता है, इसलिए मिश्रित-स्तर सरणी या आवरण सरणी जनरेटर की आवश्यकता होती है।
- स्तरों का चयन विवेकपूर्ण निर्णय है। यदि इनपुट मॉडल से कोई महत्वपूर्ण मान छूट जाता है, तो कोई भी ऐरे उसे पुनः प्राप्त नहीं कर सकता।
- मूल्यों के बीच की बाधाएं, जैसे कि भुगतान विधि जो केवल एक देश में मान्य है, को व्यक्त करना असुविधाजनक होता है और आमतौर पर अमान्य पंक्तियाँ उत्पन्न होती हैं जिन्हें मैन्युअल रूप से हटाना पड़ता है।
इनमें से कोई भी सीमा इस तकनीक को पूरी तरह से खारिज नहीं करती; वे केवल इसकी सीमा निर्धारित करती हैं। ऑर्थोगोनल एरेज़ संयोजन समस्या को कम करते हैं, जबकि जोखिम विश्लेषण और डोमेन परीक्षण सबसे पहले यह तय करें कि मॉडल में किन कारकों को स्थान दिया जाना चाहिए।
OAT निष्पादित करते समय गलतियाँ या त्रुटियाँ
- परीक्षण प्रयासों को एप्लिकेशन के गलत क्षेत्र पर निर्देशित करना।
- संयोजन के लिए गलत मापदंडों का चयन करना।
- ऑर्थोगोनल ऐरे टेस्टिंग का उपयोग तब किया जाता है जब इनपुट सेट इतना छोटा हो कि उसका व्यापक रूप से परीक्षण किया जा सके।
- एक ऐसे मॉडल पर मैन्युअल रूप से ऑर्थोगोनल ऐरे परीक्षण लागू करना जो इतना बड़ा हो कि उसे जेनरेटर की आवश्यकता हो।
- उच्च जोखिम वाले अनुप्रयोगों के लिए, जहां गहन कवरेज की आवश्यकता होती है, केवल ऑर्थोगोनल ऐरे परीक्षण पर निर्भर रहना।
अंतिम आइटम व्यवहार में सबसे अधिक नुकसान का कारण बनता है। सुरक्षा-महत्वपूर्ण या वित्तीय विशेषता पर, युग्म सेट एक आधार होता है न कि अधिकतम सीमा, और इसे सामान्यतः लक्षित मामलों के साथ पूरक किया जाता है। प्रणाली परीक्षण स्तर और व्यापक योजना के साथ जैसा कि वर्णित है सॉफ्टवेयर परीक्षण के प्रकार.
