ETL परीक्षण ट्यूटोरियल
डेविड कार्टर
⚡ स्मार्ट सारांश
ईटीएल टेस्टिंग यह सत्यापित करती है कि डेटा स्रोत सिस्टम से रूपांतरण तर्क के माध्यम से लक्ष्य डेटा वेयरहाउस तक कैसे प्रवाहित होता है, जिससे सटीकता, पूर्णता और विश्वसनीयता की पुष्टि होती है। यह संसाधन प्रक्रिया के चरणों, परीक्षण के प्रकारों, सामान्य बग श्रेणियों, स्वचालन दृष्टिकोणों और व्यावहारिक सर्वोत्तम प्रथाओं की व्याख्या करता है, जो शुरुआती और मध्यवर्ती स्तर के परीक्षकों के लिए आवश्यक हैं।
ETL क्या है?
ईटीएल के लिए खड़ा है Extracटी-ट्रांसफॉर्म-लोडऔर यह बताता है कि डेटा स्रोत सिस्टम से डेटा वेयरहाउस में कैसे जाता है। डेटाtracडेटा को OLTP डेटाबेस से लिया जाता है, डेटा वेयरहाउस स्कीमा से मेल खाने के लिए रूपांतरित किया जाता है, और वेयरहाउस डेटाबेस में लोड किया जाता है। कई वेयरहाउस टेक्स्ट फ़ाइलों, पुराने एप्लिकेशन और स्प्रेडशीट जैसे गैर-OLTP सिस्टम से भी डेटा शामिल करते हैं।
उदाहरण के लिए, एक रिटेल स्टोर में बिक्री, मार्केटिंग और लॉजिस्टिक्स जैसे अलग-अलग विभाग हो सकते हैं। प्रत्येक विभाग ग्राहक की जानकारी को स्वतंत्र रूप से संभालता है, और उस डेटा को स्टोर करने का तरीका भी अलग-अलग होता है। बिक्री विभाग ग्राहक के नाम से रिकॉर्ड स्टोर कर सकता है, जबकि मार्केटिंग विभाग ग्राहक आईडी का उपयोग करता है।
यदि व्यावसायिक टीमें विभिन्न मार्केटिंग अभियानों में किसी ग्राहक के संपूर्ण खरीद इतिहास की समीक्षा करना चाहती हैं, तो असंबद्ध डेटा इसे बहुत थकाऊ बना देता है। इसका समाधान एक का उपयोग करना है। datawarehouse ईटीएल का उपयोग करके विभिन्न स्रोतों से प्राप्त जानकारी को एक समान संरचना में संग्रहित करना। ईटीएल भिन्न-भिन्न डेटा सेटों को एक एकीकृत संरचना में परिवर्तित कर सकता है, जिससे बीआई उपकरण बाद में सार्थक अंतर्दृष्टि और रिपोर्ट प्राप्त कर सकें।
निम्नलिखित आरेख ईटीएल परीक्षण प्रक्रिया प्रवाह और उन मुख्य अवधारणाओं को दर्शाता है जिनका उपयोग आप इस मार्गदर्शिका में करेंगे:
1) पूर्वtract
- Extracएक या अधिक स्रोत प्रणालियों से प्रासंगिक डेटा।
2) रूपांतरण
- डेटा को डेटा वेयरहाउस (DW) प्रारूप में रूपांतरित करें।
- कुंजी बनाएं: कुंजी एक या एक से अधिक डेटा विशेषताएँ होती हैं जो किसी इकाई की विशिष्ट रूप से पहचान करती हैं। विभिन्न चाबियों के प्रकार प्राथमिक कुंजी, वैकल्पिक कुंजी, विदेशी कुंजी, मिश्रित कुंजी और सरोगेट कुंजी हैं। डेटा वेयरहाउस इन कुंजियों का मालिक होता है और किसी अन्य इकाई को इन्हें असाइन करने की अनुमति नहीं देता है।
- डेटा की सफाई: डेटा के निर्यात के बादtracइसके बाद, सिस्टम सफाई और अनुरूपता के अगले चरण में प्रवेश करता है। सफाई से कमियों को दूर किया जाता है और त्रुटियों की पहचान की जाती है। अनुरूपता असंगत डेटा सेटों के बीच के टकरावों को हल करती है ताकि उन्हें एंटरप्राइज़ डेटा वेयरहाउस में उपयोग किया जा सके। सिस्टम मेटाडेटा भी बनाता है जो स्रोत सिस्टम की समस्याओं का निदान करने और डेटा की गुणवत्ता में सुधार करने में मदद करता है।
3) लोड
- डेटा को डेटा वेयरहाउस (DW) में लोड करें।
- एग्रीगेट बनाएं: एक एग्रीगेट विभिन्न स्रोतों से प्राप्त डेटा को सारांशित और संग्रहीत करता है। तथ्य तालिका अंतिम उपयोगकर्ता प्रश्नों के प्रदर्शन में सुधार करने के लिए।
ईटीएल परीक्षण क्या है?
ईटीएल टेस्टिंग यह सुनिश्चित करने के लिए की जाती है कि व्यावसायिक परिवर्तन के बाद स्रोत से गंतव्य तक लोड किया गया डेटा सटीक हो। इसमें स्रोत और गंतव्य के बीच के विभिन्न मध्यवर्ती चरणों में डेटा का सत्यापन भी शामिल है। चूंकि ईटीएल का मतलब एक्सप्रेशन है,tracटी-ट्रांसफॉर्म-लोड, ईटीएल टेस्टिंग इन तीनों चरणों और उन बिंदुओं को कवर करती है जहां डेटा इन चरणों के बीच क्रॉस करता है।
ईटीएल टेस्टिंग क्यों महत्वपूर्ण है?
एक बार जब आप समझ जाते हैं कि ईटीएल टेस्टिंग क्या है, तो अगला सवाल यह उठता है कि संगठन इसमें इतना प्रयास क्यों करते हैं। व्यावसायिक निर्णय सही, पूर्ण और भरोसेमंद डेटा पर निर्भर करते हैं, इसलिए एक भी रूपांतरण त्रुटि वित्तीय रिपोर्टों, ग्राहक विश्लेषण और नियामक खुलासों पर व्यापक प्रभाव डाल सकती है।
निम्नलिखित बिंदु सशक्त ईटीएल परीक्षण के व्यावहारिक महत्व को स्पष्ट करते हैं:
- डेटा सटीकता: यह पुष्टि करता है कि व्यावसायिक नियमों द्वारा रूपांतरित मान प्रलेखित मानचित्र से मेल खाते हैं।ping विनिर्देशों के माध्यम से, मौन भ्रष्टाचार को रोका जा सकता है।
- विश्वसनीय रिपोर्टिंग: डैशबोर्ड और बीआई टूल डेटा वेयरहाउस पर निर्भर करते हैं, इसलिए सत्यापित ईटीएल पाइपलाइन प्रत्येक डाउनस्ट्रीम रिपोर्ट और केपीआई की सुरक्षा करती हैं।
- नियामक अनुपालन: बैंकिंग, स्वास्थ्य सेवा और बीमा जैसे उद्योगों को यह साबित करना होगा कि डेटा की उत्पत्ति और अखंडता को शुरू से अंत तक संरक्षित रखा जाता है।
- पुनःकार्य में कमी: निम्न स्तर के वातावरण में दोषों का पता लगाने से महंगे उत्पादन रीलोड, मैन्युअल मिलान और ग्राहक-संबंधी त्रुटियों से बचा जा सकता है।
- प्रदर्शन आश्वासन: ईटीएल टेस्टिंग लोड विंडो, थ्रूपुट और बॉटलनेक को मापता है ताकि डेटा की मात्रा बढ़ने पर भी वेयरहाउस का स्केलिंग जारी रहे।
इन उद्देश्यों के स्पष्ट होने के बाद, अगला खंड उस संरचित प्रक्रिया का वर्णन करता है जिसका पालन ईटीएल परीक्षक वास्तविक परियोजनाओं पर करते हैं।
Dataddo एक पूर्णतः प्रबंधित, बिना कोड वाला डेटा एकीकरण प्लेटफ़ॉर्म है जो क्लाउड ऐप्स, डैशबोर्ड और डेटा वेयरहाउस को आपस में जोड़ना आसान बनाता है। इस ETL प्लेटफ़ॉर्म में कस्टम कनेक्टर हैं जिन्हें 10 कार्यदिवसों के भीतर बनाया जा सकता है। यह टूल रिवर्स ETL, डेटाबेस प्रतिकृति और पारंपरिक ETL कार्यक्षमता का समर्थन करता है।
ईटीएल परीक्षण प्रक्रिया
अन्य परीक्षण प्रक्रियाओं की तरह, ईटीएल भी विभिन्न चरणों से गुजरता है। ईटीएल परीक्षण प्रक्रिया के विभिन्न चरण इस प्रकार हैं:
ईटीएल टेस्टिंग पांच चरणों में की जाती है:
- डेटा स्रोतों और आवश्यकताओं की पहचान करना
- डाटा अधिग्रहण
- व्यावसायिक तर्क और आयामी मॉडलिंग को लागू करें
- डेटा बनाएँ और भरें
- रिपोर्ट बनाएं
उच्च-स्तरीय प्रक्रिया को ध्यान में रखते हुए, आइए उन विशिष्ट परीक्षण प्रकारों पर एक नज़र डालें जो इस जीवनचक्र के अंतर्गत आते हैं।
ईटीएल परीक्षण के प्रकार
- उत्पादन सत्यापन परीक्षण
परीक्षण प्रक्रिया: इसे "टेबल बैलेंसिंग" या "प्रोडक्शन रिकॉन्सिलिएशन" भी कहा जाता है। इस प्रकार की ईटीएल टेस्टिंग डेटा पर तब की जाती है जब वह प्रोडक्शन सिस्टम में जाता है। व्यावसायिक निर्णयों को समर्थन देने के लिए, प्रोडक्शन डेटा सही क्रम में होना आवश्यक है। सूचना विज्ञान डेटा वैलिडेशन विकल्प ईटीएल टेस्टिंग के स्वचालन और प्रबंधन की क्षमता प्रदान करता है ताकि उत्पादन प्रणालियाँ खराब डेटा से प्रभावित न हों। - स्रोत Target परीक्षण (सत्यापन परीक्षण)
परीक्षण प्रक्रिया: इस प्रकार का परीक्षण यह सत्यापित करता है कि रूपांतरित डेटा मान अपेक्षित लक्ष्य मानों से मेल खाते हैं या नहीं। - आवेदन Upgrades
परीक्षण प्रक्रिया: इस प्रकार की ईटीएल टेस्टिंग स्वचालित रूप से उत्पन्न की जा सकती है, जिससे टेस्ट डेवलपमेंट में लगने वाला काफी समय बचता है। यह जांच करती है कि डेटा निर्यातtracकिसी पुराने एप्लिकेशन या रिपॉजिटरी से प्राप्त डेटा किसी नए एप्लिकेशन या रिपॉजिटरी में मौजूद डेटा से मेल खाता है। - डेटा परीक्षण
परीक्षण प्रक्रिया: डेटा परीक्षण में डेटा प्रकार की जाँच, डेटा लंबाई की जाँच और सूचकांक या बाधा जाँच शामिल हैं। - डेटा पूर्णता परीक्षण
परीक्षण प्रक्रिया: डेटा पूर्णता परीक्षण यह सत्यापित करता है कि अपेक्षित सभी डेटा स्रोत से लक्ष्य में लोड हो गया है। सामान्य परीक्षणों में सरल या अनुपस्थित रूपांतरण की स्थिति में स्रोत और लक्ष्य कॉलम के बीच रिकॉर्ड गणना, समुच्चय और वास्तविक डेटा की तुलना और सत्यापन शामिल है। - डेटा सटीकता परीक्षण
परीक्षण प्रक्रिया: यह परीक्षण सुनिश्चित करता है कि डेटा को अपेक्षा के अनुरूप सटीक रूप से लोड और रूपांतरित किया गया है। - डेटा रूपांतरण परीक्षण
परीक्षण प्रक्रिया: परीक्षण डेटा रूपांतरण अक्सर एक ही स्रोत से प्राप्त नहीं किया जा सकता है। एसक्यूएल क्वेरी और आउटपुट की तुलना। रूपांतरण नियमों को सत्यापित करने के लिए प्रत्येक पंक्ति के लिए कई SQL क्वेरी की आवश्यकता हो सकती है। - डेटा गुणवत्ता परीक्षण
परीक्षण प्रक्रिया:डेटा गुणवत्ता परीक्षणों में सिंटैक्स परीक्षण और संदर्भ परीक्षण शामिल हैं। ये परीक्षण गलत तिथियों या ऑर्डर नंबरों के कारण होने वाली व्यावसायिक प्रक्रिया त्रुटियों को रोकते हैं।
सिंटैक्स परीक्षण अमान्य वर्णों, वर्ण पैटर्न और गलत अपर या लोअर केस क्रम के आधार पर त्रुटिपूर्ण डेटा की रिपोर्ट करते हैं।
संदर्भ परीक्षण डेटा की तुलना डेटा मॉडल से करते हैं। उदाहरण के लिए: ग्राहक आईडी।
डेटा गुणवत्ता परीक्षण में संख्या जांच, दिनांक जांच, परिशुद्धता जांच, डेटा जांच और शून्य जांच भी शामिल हैं।
- वृद्धिशील ईटीएल परीक्षण
परीक्षण प्रक्रिया: यह परीक्षण नए डेटा को जोड़ने के साथ-साथ पुराने और नए डेटा की डेटा अखंडता की जाँच करता है। इंक्रीमेंटल परीक्षण यह सत्यापित करता है कि इंक्रीमेंटल ईटीएल प्रक्रिया के दौरान इंसर्ट और अपडेट अपेक्षा के अनुसार संसाधित होते हैं। - GUI/नेविगेशन परीक्षण
परीक्षण प्रक्रिया: यह परीक्षण फ्रंट-एंड रिपोर्ट के नेविगेशन और जीयूआई पहलुओं की जांच करता है।
ETL टेस्ट केस कैसे बनाएं
ईटीएल टेस्टिंग एक ऐसी अवधारणा है जिसे सूचना प्रबंधन उद्योग में विभिन्न उपकरणों और डेटाबेस पर लागू किया जा सकता है। ईटीएल टेस्टिंग का उद्देश्य यह सुनिश्चित करना है कि व्यावसायिक परिवर्तन के बाद स्रोत से गंतव्य तक लोड किया गया डेटा सटीक हो। इसमें स्रोत और गंतव्य के बीच विभिन्न मध्यवर्ती चरणों में डेटा का सत्यापन भी शामिल है।
ईटीएल टेस्टिंग करते समय, ईटीएल टेस्टर द्वारा हमेशा दो दस्तावेज़ों का उपयोग किया जाता है:
- ईटीएल मानचित्रping शीट: एक ईटीएल मानचित्रping शीट में स्रोत और गंतव्य तालिकाओं की सभी जानकारी होती है, जिसमें प्रत्येक कॉलम और संदर्भ तालिकाओं में उसका लुक-अप शामिल होता है। ईटीएल परीक्षकों को SQL क्वेरीज़ में निपुण होना चाहिए क्योंकि ईटीएल परीक्षण में किसी भी चरण में डेटा को मान्य करने के लिए कई जॉइन के साथ बड़ी क्वेरीज़ लिखना शामिल हो सकता है। ईटीएल मैपping डेटा सत्यापन के लिए क्वेरी लिखते समय शीटें काफी मददगार साबित होती हैं।
- स्रोत और लक्ष्य का डेटाबेस स्कीमा: मानचित्र में किसी भी जानकारी की पुष्टि करने के लिए इसे हमेशा पास रखना चाहिए।ping चादरें।
ईटीएल परीक्षण परिदृश्य और परीक्षण मामले
- नक्शाping दस्तावेज़ सत्यापन
परीक्षण के मामलों: जांचें कि मानचित्र में संबंधित ईटीएल जानकारी प्रदान की गई है या नहीं।ping दस्तावेज़। प्रत्येक मानचित्र में एक परिवर्तन लॉग बनाए रखा जाना चाहिए।ping डॉक। - मान्यकरण
परीक्षण के मामलों:1) स्रोत और लक्ष्य तालिका संरचना को संबंधित मानचित्र के विरुद्ध सत्यापित करेंping डॉक।
2) स्रोत डेटा प्रकार और लक्ष्य डेटा प्रकार समान होने चाहिए।
3) स्रोत और लक्ष्य दोनों में डेटा प्रकारों की लंबाई बराबर होनी चाहिए।
4) सुनिश्चित करें कि डेटा फ़ील्ड प्रकार और प्रारूप निर्दिष्ट किए गए हैं।
5) स्रोत डेटा प्रकार की लंबाई लक्ष्य डेटा प्रकार की लंबाई से कम नहीं होनी चाहिए।
6) तालिका में कॉलम के नामों को मानचित्र के साथ सत्यापित करेंping डॉक। - बाधा सत्यापन
परीक्षण के मामलों: यह सुनिश्चित करें कि विशिष्ट तालिका के लिए अपेक्षा के अनुसार बाधाएं परिभाषित की गई हैं। - डेटा संगतता संबंधी समस्याएं
परीक्षण के मामलों:1) किसी विशेष विशेषता के लिए डेटा प्रकार और लंबाई फाइलों या तालिकाओं में भिन्न हो सकती है, भले ही अर्थ संबंधी परिभाषा समान हो।
2) अखंडता संबंधी बाधाओं का दुरुपयोग। - पूर्णता संबंधी मुद्दे
परीक्षण के मामलों:1) सुनिश्चित करें कि सभी अपेक्षित डेटा लक्ष्य तालिका में लोड हो गया है।
2) स्रोत और लक्ष्य के बीच रिकॉर्ड गणना की तुलना करें।
3) अस्वीकृत रिकॉर्ड की जाँच करें।
4) यह सुनिश्चित करें कि लक्ष्य तालिकाओं के स्तंभों में डेटा छोटा न हो।
5) सीमा मान विश्लेषण की जाँच करें।
6) डेटा वेयरहाउस में लोड किए गए डेटा और स्रोत डेटा के बीच प्रमुख फ़ील्ड के अद्वितीय मानों की तुलना करें। - शुद्धता के मुद्दे
परीक्षण के मामलों:1) वह डेटा जिसमें वर्तनी की त्रुटि हो या जो गलत तरीके से दर्ज किया गया हो।
2) शून्य, गैर-अद्वितीय या सीमा से बाहर का डेटा। - परिवर्तन
परीक्षण के मामलों: मैप में मौजूद प्रत्येक व्यावसायिक नियम और परिवर्तन तर्क की पुष्टि करें।ping लक्ष्य डेटा तक पहुंचने से पहले दस्तावेज़ को स्रोत डेटा पर सही ढंग से लागू किया जाता है। - डेटा की गुणवत्ता
परीक्षण के मामलों:1) संख्या जांच: संख्यात्मक प्रारूपों और मानों को मान्य करें।
2) तिथि जांच: तिथियों को एक ही प्रारूप का पालन करना चाहिए और सभी रिकॉर्डों में एकरूप होना चाहिए।
3) परिशुद्धता जांच।
4) डेटा जांच।
5) शून्य जाँच। - शून्य मान्य करें
परीक्षण के मामलों: किसी विशिष्ट कॉलम के लिए जहां "नॉट नल" निर्दिष्ट किया गया है, वहां नल मानों की जांच करें। - डुप्लिकेट चेक
परीक्षण के मामलों:1) यह सुनिश्चित करने के लिए कि कोई डुप्लिकेट पंक्तियाँ न हों, अद्वितीय कुंजी, प्राथमिक कुंजी और व्यावसायिक आवश्यकताओं के अनुसार अद्वितीय होने वाले किसी भी अन्य कॉलम को मान्य करें।
2) जांचें कि किसी कॉलम में कोई डुप्लिकेट मान मौजूद तो नहीं है।tracकई स्रोत कॉलमों से डेटा लिया गया और उसे एक कॉलम में संयोजित किया गया।
3) ग्राहक की आवश्यकताओं के अनुसार, यह सुनिश्चित करें कि लक्ष्य के भीतर कई कॉलमों के संयोजन में कोई डुप्लिकेट मौजूद न हो। - दिनांक मान्यता
परीक्षण के मामलों: दिनांक मानों का उपयोग ईटीएल विकास के कई क्षेत्रों में किया जाता है:1) पंक्ति निर्माण तिथि जानने के लिए।
2) ईटीएल विकास के परिप्रेक्ष्य से सक्रिय रिकॉर्ड की पहचान करें।
3) व्यावसायिक आवश्यकताओं के परिप्रेक्ष्य से सक्रिय रिकॉर्ड की पहचान करें।
4) कभी-कभी, दिनांक मानों के आधार पर, अपडेट और इन्सर्ट उत्पन्न होते हैं। - पूर्ण डेटा सत्यापन
परीक्षण के मामलों:1) स्रोत और लक्ष्य तालिकाओं में संपूर्ण डेटा सेट को मान्य करने के लिए माइनस क्वेरी का उपयोग करें, जो सर्वोत्तम समाधान है।
2) आपको स्रोत में से लक्ष्य को घटाना होगा और लक्ष्य में से स्रोत को घटाना होगा।
3) यदि माइनस क्वेरी कोई मान लौटाती है, तो उन पंक्तियों को बेमेल माना जाना चाहिए।
4) इंटरसेक्ट स्टेटमेंट का उपयोग करके स्रोत और लक्ष्य के बीच की पंक्तियों का मिलान करें।
5) इंटरसेक्ट द्वारा लौटाया गया मान स्रोत और लक्ष्य तालिकाओं के व्यक्तिगत मानों से मेल खाना चाहिए।
6) यदि माइनस क्वेरी पंक्तियाँ लौटाती है और इंटरसेक्ट काउंट स्रोत या लक्ष्य काउंट से कम है, तो डुप्लिकेट पंक्तियाँ मौजूद हैं। - डेटा शुद्धता
परीक्षण के मामलों: स्टेजिंग क्षेत्र में लोड करने से पहले अनावश्यक कॉलम हटा दिए जाने चाहिए।
ETL बग के प्रकार
मजबूत टेस्ट केस होने के बावजूद, ETL पाइपलाइन कई तरह से विफल हो सकती हैं। नीचे दी गई छवि उन बग श्रेणियों का सारांश प्रस्तुत करती है जिन पर आपको ध्यान देना चाहिए, और इसके बाद दी गई तालिका प्रत्येक श्रेणी का वर्णन करती है।
| बग के प्रकार | विवरण |
|---|---|
| उपयोगकर्ता इंटरफ़ेस बग/कॉस्मेटिक बग |
• एप्लिकेशन के GUI से संबंधित • फ़ॉन्ट शैली, फ़ॉन्ट आकार, रंग, संरेखण, वर्तनी की गलतियाँ, नेविगेशन इत्यादि। |
| सीमा मूल्य विश्लेषण (BVA) से संबंधित बग | • न्यूनतम और अधिकतम मान |
| समतुल्यता वर्ग विभाजन (ECP) से संबंधित बग | • मान्य और अमान्य प्रकार |
| इनपुट/आउटपुट बग |
• मान्य मान स्वीकार नहीं किए जाते • अमान्य मान स्वीकार किए गए |
| गणना संबंधी त्रुटियाँ |
• गणितीय त्रुटियाँ • अंतिम आउटपुट गलत है |
| लोड स्थिति बग |
• एकाधिक उपयोगकर्ताओं की अनुमति नहीं देता है • ग्राहक द्वारा अपेक्षित भार की अनुमति नहीं देता है |
| रेस कंडीशन बग |
• सिस्टम क्रैश और हैंग हो जाना • सिस्टम क्लाइंट प्लेटफ़ॉर्म नहीं चला सकता |
| संस्करण नियंत्रण बग |
• कोई लोगो मिलान नहीं • कोई संस्करण जानकारी उपलब्ध नहीं है • आमतौर पर होता है प्रतिगमन परीक्षण |
| एच/डब्ल्यू बग | • डिवाइस एप्लिकेशन पर प्रतिक्रिया नहीं दे रहा है |
| सहायता बग स्रोत | • सहायता दस्तावेज़ों में गलतियाँ |
डेटा वेयरहाउस परीक्षण
डेटा वेयरहाउस परीक्षण यह एक परीक्षण विधि है जिसमें डेटा वेयरहाउस के अंदर मौजूद डेटा की अखंडता, विश्वसनीयता, सटीकता और स्थिरता की जांच की जाती है ताकि यह कंपनी के डेटा फ्रेमवर्क के अनुरूप हो। डेटा वेयरहाउस परीक्षण का मुख्य उद्देश्य यह सुनिश्चित करना है कि वेयरहाउस के अंदर एकीकृत डेटा कंपनी के निर्णय लेने के लिए पर्याप्त रूप से विश्वसनीय हो। जबकि ईटीएल परीक्षण डेटा की आवाजाही पर केंद्रित होता है, डेटा वेयरहाउस परीक्षण व्यापक भंडारण और रिपोर्टिंग परत को कवर करता है जिसे अंततः ईटीएल डेटा प्रदान करता है।
डेटाबेस परीक्षण और ETL परीक्षण के बीच अंतर
हालांकि दोनों विषय संरचित डेटा के साथ काम करते हैं, लेकिन वे अलग-अलग सवालों के जवाब देते हैं। नीचे दी गई तालिका व्यावहारिक अंतर को दर्शाती है:
| ईटीएल परीक्षण | डाटा बेस परीक्षण |
|---|---|
| यह सत्यापित करता है कि डेटा अपेक्षा के अनुरूप स्थानांतरित हुआ है या नहीं। | इसका प्राथमिक लक्ष्य यह जांचना है कि डेटा डेटा मॉडल में परिभाषित नियमों और मानकों का पालन कर रहा है या नहीं। |
| यह सत्यापित करता है कि स्रोत और लक्ष्य में गणनाएँ मेल खा रही हैं या नहीं, और यह कि रूपांतरित डेटा अपेक्षा के अनुरूप है या नहीं। | यह सत्यापित करता है कि कोई अनाथ रिकॉर्ड मौजूद नहीं हैं और विदेशी-प्राथमिक कुंजी संबंध बनाए रखे गए हैं। |
| यह सत्यापित करता है कि ईटीएल के दौरान विदेशी प्राथमिक कुंजी संबंध संरक्षित रहते हैं। | यह सत्यापित करता है कि कोई अनावश्यक तालिकाएँ नहीं हैं और डेटाबेस को सर्वोत्तम रूप से सामान्यीकृत किया गया है। |
| लोड किए गए डेटा में डुप्लिकेशन की जांच करता है। | यह जांचता है कि आवश्यक होने पर कॉलम में डेटा अनुपस्थित तो नहीं है। |
ETL में प्रदर्शन परीक्षण
ETL में प्रदर्शन परीक्षण यह एक परीक्षण तकनीक है जो यह सुनिश्चित करती है कि ईटीएल सिस्टम कई उपयोगकर्ताओं और लेनदेन के भार को संभाल सकता है। ईटीएल का प्राथमिक लक्ष्य प्रदर्शन का परीक्षण इसका उद्देश्य प्रदर्शन संबंधी बाधाओं की पहचान करके और उन्हें दूर करके सत्र के प्रदर्शन को अनुकूलित और बेहतर बनाना है। स्रोत और लक्ष्य डेटाबेस, मैपpingईमेल, सेशन और सिस्टम में ही बाधाएं हो सकती हैं।
परफॉर्मेंस टेस्टिंग और ट्यूनिंग के लिए इस्तेमाल किए जाने वाले सबसे अच्छे टूल्स में से एक इंफॉर्मेटिका है।
ईटीएल परीक्षक की जिम्मेदारियां
ईटीएल टेस्टर की प्रमुख जिम्मेदारियों को तीन श्रेणियों में विभाजित किया गया है:
- स्टेज टेबल / एसएफएस या एमएफएस
- व्यवसाय परिवर्तन तर्क लागू किया गया
- Target रूपांतरण लागू करने के बाद स्टेज फ़ाइल या टेबल से टेबल लोड करना
एक ईटीएल टेस्टर की कुछ दैनिक जिम्मेदारियां इस प्रकार हैं:
- ETL सॉफ्टवेयर का परीक्षण करें
- ईटीएल डेटा वेयरहाउस के परीक्षण घटक
- बैकएंड डेटा-संचालित परीक्षण निष्पादित करें
- सृजन, डिजाइन और क्रियान्वयन परीक्षण के मामलों, परीक्षण योजनाएँ और परीक्षण हार्नेस
- समस्याओं की पहचान करें और संभावित मुद्दों के लिए समाधान प्रदान करें।
- आवश्यकताओं और डिजाइन विनिर्देशों को मंजूरी दें
- डेटा स्थानान्तरण को मान्य करें और फ्लैट फ़ाइलों का परीक्षण करें
- विभिन्न परिदृश्यों जैसे कि गणना परीक्षण के लिए SQL क्वेरी लिखें।
ईटीएल परीक्षण का स्वचालन
ईटीएल परीक्षण की सामान्य पद्धति एसक्यूएल स्क्रिप्टिंग या डेटा का दृश्य विश्लेषण करना है। ये तरीके समय लेने वाले, त्रुटि-प्रवण होते हैं और शायद ही कभी पूर्ण परिणाम देते हैं। परीक्षण कवरेजक्रियान्वयन में तेजी लाने, कवरेज बढ़ाने, लागत कम करने और सुधार करने के लिए। दोष उत्पादन और विकास परिवेशों में पहचान के लिए स्वचालन समय की आवश्यकता है। ऐसा ही एक उपकरण इन्फॉर्मेटिका है।
आधुनिक टीमें पारंपरिक स्वचालन को एआई-सहायता प्राप्त सहायक उपकरणों के साथ भी जोड़ती हैं जो परिवर्तन परीक्षणों का सुझाव देते हैं, कृत्रिम स्रोत डेटा उत्पन्न करते हैं और स्कीमा विचलन को चिह्नित करते हैं, जिससे परीक्षकों को दोहरावदार स्क्रिप्ट रखरखाव के बजाय जटिल व्यावसायिक तर्क पर ध्यान केंद्रित करने की स्वतंत्रता मिलती है।
ETL परीक्षण के लिए सर्वोत्तम अभ्यास
- सुनिश्चित करें कि डेटा सही ढंग से रूपांतरित किया गया है।
- बिना किसी डेटा हानि या कटौती के, अनुमानित डेटा को डेटा वेयरहाउस में लोड किया जाना चाहिए।
- यह सुनिश्चित करें कि ईटीएल एप्लिकेशन अमान्य डेटा को उचित रूप से अस्वीकार करे, जहां लागू हो वहां उसे डिफ़ॉल्ट मानों से प्रतिस्थापित करे और इसकी रिपोर्ट करे।
- स्केलेबिलिटी और परफॉर्मेंस को सत्यापित करने के लिए यह सुनिश्चित करें कि डेटा निर्धारित और अपेक्षित समय सीमा के भीतर वेयरहाउस में लोड हो गया है।
- दृश्यता की परवाह किए बिना, सभी विधियों में उपयुक्त इकाई परीक्षण होने चाहिए।
- उनकी प्रभावशीलता को मापने के लिए, सभी यूनिट परीक्षणों में उपयुक्त कवरेज तकनीकों का उपयोग किया जाना चाहिए।
- प्रत्येक टेस्ट केस के लिए एक ही अभिकथन रखने का प्रयास करें।
- बनाएं इकाई परीक्षण जो अपवादों को लक्षित करते हैं।
चेक आउट - ETL परीक्षण साक्षात्कार प्रश्न और उत्तर
