डेटा माइनिंग ट्यूटोरियल: डेटा माइनिंग क्या है? तकनीक, प्रक्रिया

डाटा माइनिंग क्या है?

आँकड़ा खनन विशाल डेटा सेट से संभावित रूप से उपयोगी पैटर्न खोजने की एक प्रक्रिया है। यह एक बहु-विषयक कौशल है जो यंत्र अधिगमभविष्य की घटनाओं की संभावना का मूल्यांकन करने के लिए जानकारी निकालने के लिए सांख्यिकी और एआई का उपयोग किया जाता है। डेटा माइनिंग से प्राप्त जानकारी का उपयोग मार्केटिंग, धोखाधड़ी का पता लगाने, वैज्ञानिक खोज आदि के लिए किया जाता है।

डेटा माइनिंग का मतलब डेटा के बीच छिपे, अप्रत्याशित और पहले से अज्ञात लेकिन वैध संबंधों की खोज करना है। डेटा माइनिंग को डेटा में ज्ञान की खोज (केडीडी), ज्ञान निष्कर्षण, डेटा/पैटर्न विश्लेषण, सूचना संचयन आदि भी कहा जाता है।

डेटा के प्रकार

डेटा माइनिंग निम्न प्रकार के डेटा पर किया जा सकता है

रिलेशनल डेटाबेस
डेटा वेयरहाउस
उन्नत डेटाबेस और सूचना भंडार
ऑब्जेक्ट-ओरिएंटेड और ऑब्जेक्ट-रिलेशनल डेटाबेस
लेन-देन संबंधी और स्थानिक डेटाबेस
विषम और विरासत डेटाबेस
मल्टीमीडिया और स्ट्रीमिंग डेटाबेस
पाठ डेटाबेस
टेक्स्ट माइनिंग और वेब माइनिंग

डेटा माइनिंग की कार्यान्वयन प्रक्रिया

डेटा माइनिंग कार्यान्वयन प्रक्रिया

आइए डेटा माइनिंग कार्यान्वयन प्रक्रिया का विस्तार से अध्ययन करें

व्यावसायिक समझ

इस चरण में, व्यवसाय और डेटा-माइनिंग लक्ष्य निर्धारित किए जाते हैं।

सबसे पहले, आपको व्यवसाय और क्लाइंट के उद्देश्यों को समझना होगा। आपको यह परिभाषित करना होगा कि आपका क्लाइंट क्या चाहता है (जिसे कई बार वे खुद भी नहीं जानते हैं)
वर्तमान डेटा माइनिंग परिदृश्य का जायजा लें। अपने मूल्यांकन में संसाधनों, धारणा, बाधाओं और अन्य महत्वपूर्ण कारकों को शामिल करें।
व्यावसायिक उद्देश्यों और वर्तमान परिदृश्य का उपयोग करते हुए, अपने डेटा खनन लक्ष्यों को परिभाषित करें।
एक अच्छी डेटा माइनिंग योजना बहुत विस्तृत होती है और इसे व्यवसाय और डेटा माइनिंग दोनों लक्ष्यों को पूरा करने के लिए विकसित किया जाना चाहिए।

डेटा समझ

इस चरण में, डेटा की सत्यता जांच की जाती है ताकि यह पता लगाया जा सके कि डेटा खनन लक्ष्यों के लिए उपयुक्त है या नहीं।

सबसे पहले, संगठन में उपलब्ध अनेक डेटा स्रोतों से डेटा एकत्र किया जाता है।
इन डेटा स्रोतों में कई डेटाबेस, फ्लैट फाइलर या डेटा क्यूब शामिल हो सकते हैं। ऑब्जेक्ट मैचिंग और स्कीमा इंटीग्रेशन जैसे मुद्दे हैं जो डेटा इंटीग्रेशन प्रक्रिया के दौरान उत्पन्न हो सकते हैं। यह एक काफी जटिल और पेचीदा प्रक्रिया है क्योंकि विभिन्न स्रोतों से डेटा का आसानी से मिलान होने की संभावना नहीं है। उदाहरण के लिए, टेबल A में cust_no नाम की एक इकाई है जबकि दूसरी टेबल B में cust-id नाम की एक इकाई है।
इसलिए, यह सुनिश्चित करना काफी मुश्किल है कि ये दोनों दिए गए ऑब्जेक्ट एक ही मान को संदर्भित करते हैं या नहीं। यहां, डेटा एकीकरण प्रक्रिया में त्रुटियों को कम करने के लिए मेटाडेटा का उपयोग किया जाना चाहिए।
अगला चरण है प्राप्त डेटा के गुणों की खोज करना। डेटा का पता लगाने का एक अच्छा तरीका क्वेरी, रिपोर्टिंग और विज़ुअलाइज़ेशन टूल का उपयोग करके डेटा माइनिंग प्रश्नों (व्यावसायिक चरण में तय) का उत्तर देना है।
क्वेरी के परिणामों के आधार पर डेटा की गुणवत्ता सुनिश्चित की जानी चाहिए। यदि कोई डेटा गायब है तो उसे प्राप्त किया जाना चाहिए।

डेटा तैयारी

इस चरण में, डेटा को उत्पादन के लिए तैयार किया जाता है।

डेटा तैयार करने की प्रक्रिया में परियोजना का लगभग 90% समय लग जाता है।

विभिन्न स्रोतों से डेटा का चयन, सफाई, रूपांतरण, प्रारूपण, अनामीकरण तथा निर्माण (यदि आवश्यक हो) किया जाना चाहिए।

डेटा क्लीनिंग, शोर वाले डेटा को सुचारू करके और लुप्त मानों को भरकर डेटा को “साफ़” करने की एक प्रक्रिया है।

उदाहरण के लिए, ग्राहक जनसांख्यिकी प्रोफ़ाइल के लिए, आयु डेटा गायब है। डेटा अधूरा है और इसे भरना चाहिए। कुछ मामलों में, डेटा आउटलेयर हो सकता है। उदाहरण के लिए, आयु का मान 300 है। डेटा असंगत हो सकता है। उदाहरण के लिए, ग्राहक का नाम अलग-अलग तालिकाओं में अलग-अलग है।

डेटा ट्रांसफ़ॉर्मेशन ऑपरेशन डेटा को डेटा माइनिंग में उपयोगी बनाने के लिए उसमें बदलाव करते हैं। निम्नलिखित ट्रांसफ़ॉर्मेशन लागू किया जा सकता है

डेटा परिवर्तन

डेटा रूपांतरण कार्य खनन प्रक्रिया की सफलता में योगदान देगा।

चौरसाई: यह डेटा से शोर को हटाने में मदद करता है।

एकत्रीकरण: डेटा पर सारांश या एकत्रीकरण ऑपरेशन लागू किए जाते हैं। यानी, साप्ताहिक बिक्री डेटा को मासिक और वार्षिक कुल की गणना करने के लिए एकत्र किया जाता है।

सामान्यीकरण: इस चरण में, अवधारणा पदानुक्रम की मदद से निम्न-स्तरीय डेटा को उच्च-स्तरीय अवधारणाओं द्वारा प्रतिस्थापित किया जाता है। उदाहरण के लिए, शहर को काउंटी द्वारा प्रतिस्थापित किया जाता है।

सामान्यीकरण: सामान्यीकरण तब किया जाता है जब विशेषता डेटा को बढ़ाया या घटाया जाता है। उदाहरण: सामान्यीकरण के बाद डेटा -2.0 से 2.0 की सीमा में आना चाहिए।

विशेषता निर्माण: इन विशेषताओं का निर्माण किया जाता है और इसमें डेटा खनन के लिए उपयोगी विशेषताओं का दिया गया सेट शामिल किया जाता है।

इस प्रक्रिया का परिणाम एक अंतिम डेटा सेट है जिसका उपयोग मॉडलिंग में किया जा सकता है।

मॉडलिंग

इस चरण में, डेटा पैटर्न निर्धारित करने के लिए गणितीय मॉडल का उपयोग किया जाता है।

व्यावसायिक उद्देश्यों के आधार पर, तैयार डेटासेट के लिए उपयुक्त मॉडलिंग तकनीकों का चयन किया जाना चाहिए।
मॉडल की गुणवत्ता और वैधता की जांच करने के लिए एक परिदृश्य बनाएं।
तैयार डेटासेट पर मॉडल चलाएँ.
सभी हितधारकों द्वारा परिणामों का मूल्यांकन किया जाना चाहिए ताकि यह सुनिश्चित किया जा सके कि मॉडल डेटा माइनिंग उद्देश्यों को पूरा कर सकता है।

मूल्यांकन

इस चरण में, पहचाने गए पैटर्न का व्यावसायिक उद्देश्यों के आधार पर मूल्यांकन किया जाता है।

डेटा माइनिंग मॉडल द्वारा उत्पन्न परिणामों का मूल्यांकन व्यावसायिक उद्देश्यों के आधार पर किया जाना चाहिए।
व्यवसाय की समझ हासिल करना एक पुनरावृत्तीय प्रक्रिया है। वास्तव में, समझने के दौरान, डेटा माइनिंग के कारण नई व्यावसायिक आवश्यकताएँ उत्पन्न हो सकती हैं।
मॉडल को परिनियोजन चरण में स्थानांतरित करने के लिए आगे बढ़ने या न बढ़ने का निर्णय लिया जाता है।

तैनाती

परिनियोजन चरण में, आप अपने डेटा खनन खोजों को रोजमर्रा के व्यावसायिक कार्यों में भेजते हैं।

डेटा माइनिंग प्रक्रिया के दौरान प्राप्त ज्ञान या सूचना को गैर-तकनीकी हितधारकों के लिए समझना आसान बनाया जाना चाहिए।
डेटा खनन खोजों की शिपिंग, रखरखाव और निगरानी के लिए एक विस्तृत तैनाती योजना बनाई गई है।
परियोजना के दौरान सीखे गए सबक और प्रमुख अनुभवों के साथ एक अंतिम परियोजना रिपोर्ट तैयार की जाती है। इससे संगठन की व्यावसायिक नीति को बेहतर बनाने में मदद मिलती है।

डाटा माइनिंग तकनीक

1. वर्गीकरण

इस विश्लेषण का उपयोग डेटा और मेटाडेटा के बारे में महत्वपूर्ण और प्रासंगिक जानकारी प्राप्त करने के लिए किया जाता है। यह डेटा माइनिंग विधि डेटा को विभिन्न वर्गों में वर्गीकृत करने में मदद करती है।

2. Clusterआईएनजी

Clusterडेटा विश्लेषण एक डेटा माइनिंग तकनीक है जो एक दूसरे के समान डेटा की पहचान करती है। यह प्रक्रिया डेटा के बीच अंतर और समानता को समझने में मदद करती है।

3. रिग्रेशन

प्रतिगमन विश्लेषण चरों के बीच संबंधों की पहचान करने और उनका विश्लेषण करने की डेटा माइनिंग विधि है। इसका उपयोग अन्य चरों की उपस्थिति को देखते हुए, किसी विशिष्ट चर की संभावना की पहचान करने के लिए किया जाता है।

4. एसोसिएशन के नियम

यह डेटा माइनिंग तकनीक दो या अधिक आइटम के बीच संबंध खोजने में मदद करती है। यह डेटा सेट में छिपे पैटर्न की खोज करती है।

5. बाहरी पता लगाना

इस प्रकार की डेटा माइनिंग तकनीक डेटासेट में डेटा आइटम के अवलोकन को संदर्भित करती है जो अपेक्षित पैटर्न या अपेक्षित व्यवहार से मेल नहीं खाते हैं। इस तकनीक का उपयोग विभिन्न डोमेन में किया जा सकता है, जैसे घुसपैठ, पता लगाना, धोखाधड़ी या गलती का पता लगाना, आदि। आउटर डिटेक्शन को आउटलियर एनालिसिस या आउटलियर माइनिंग भी कहा जाता है।

6. अनुक्रमिक पैटर्न

यह डेटा माइनिंग तकनीक निश्चित अवधि के लिए लेनदेन डेटा में समान पैटर्न या प्रवृत्तियों को खोजने या पहचानने में मदद करती है।

7. भविष्यवाणी

पूर्वानुमान में डेटा माइनिंग की अन्य तकनीकों जैसे रुझान, अनुक्रमिक पैटर्न, क्लस्टरिंग, वर्गीकरण आदि के संयोजन का उपयोग किया गया है। यह भविष्य की घटना की भविष्यवाणी करने के लिए पिछले घटनाओं या उदाहरणों का सही क्रम में विश्लेषण करता है।

डेटा माइन के कार्यान्वयन की चुनौतियाँ

डेटा माइनिंग प्रश्नों को तैयार करने के लिए कुशल विशेषज्ञों की आवश्यकता है।
ओवरफिटिंग: छोटे आकार के प्रशिक्षण डेटाबेस के कारण, मॉडल भविष्य की स्थितियों के अनुरूप नहीं हो सकता है।
डेटा माइनिंग के लिए बड़े डेटाबेस की आवश्यकता होती है, जिसे कभी-कभी प्रबंधित करना मुश्किल होता है
उजागर की गई जानकारी का उपयोग करने के लिए व्यावसायिक प्रथाओं को संशोधित करने की आवश्यकता हो सकती है।
यदि डेटा सेट विविध नहीं है, तो डेटा माइनिंग परिणाम सटीक नहीं हो सकते हैं।
विषम डेटाबेस और वैश्विक सूचना प्रणालियों से आवश्यक एकीकरण जानकारी जटिल हो सकती है

डेटा माइनिंग उदाहरण

अब इस डेटा माइनिंग कोर्स में, आइए उदाहरणों के साथ डेटा माइनिंग के बारे में जानें:

उदाहरण 1:

दूरसंचार सेवा प्रदाताओं के एक विपणन प्रमुख पर विचार करें जो लंबी दूरी की सेवाओं के राजस्व में वृद्धि करना चाहता है। उसकी बिक्री और विपणन प्रयासों पर उच्च ROI के लिए ग्राहक प्रोफाइलिंग महत्वपूर्ण है। उसके पास ग्राहक जानकारी जैसे आयु, लिंग, आय, क्रेडिट इतिहास आदि का एक विशाल डेटा पूल है। लेकिन मैन्युअल विश्लेषण के साथ लंबी दूरी की कॉल पसंद करने वाले लोगों की विशेषताओं को निर्धारित करना असंभव है। डेटा माइनिंग तकनीकों का उपयोग करके, वह उच्च लंबी दूरी की कॉल उपयोगकर्ताओं और उनकी विशेषताओं के बीच पैटर्न को उजागर कर सकता है।

उदाहरण के लिए, उसे पता चल सकता है कि उसके सबसे अच्छे ग्राहक 45 से 54 वर्ष की आयु की विवाहित महिलाएँ हैं, जो प्रति वर्ष 80,000 डॉलर से अधिक कमाती हैं। मार्केटिंग प्रयासों को ऐसे जनसांख्यिकीय पर लक्षित किया जा सकता है।

उदाहरण 2:

एक बैंक अपने क्रेडिट कार्ड संचालन से राजस्व बढ़ाने के लिए नए तरीके खोजना चाहता है। वे यह जांचना चाहते हैं कि अगर शुल्क आधा कर दिया जाए तो क्या उपयोग दोगुना हो जाएगा।

बैंक के पास औसत क्रेडिट कार्ड बैलेंस, भुगतान राशि, क्रेडिट सीमा उपयोग और अन्य प्रमुख मापदंडों पर कई वर्षों का रिकॉर्ड है। वे प्रस्तावित नई व्यावसायिक नीति के प्रभाव की जांच करने के लिए एक मॉडल बनाते हैं। डेटा परिणाम दिखाते हैं कि लक्षित ग्राहक आधार के लिए शुल्क में आधी कटौती करने से राजस्व में $10 मिलियन की वृद्धि हो सकती है।

डेटा माइनिंग उपकरण

निम्नलिखित 2 लोकप्रिय हैं डेटा माइनिंग उपकरण उद्योग में व्यापक रूप से उपयोग किया जाता है

आर-भाषा:

आर भाषा सांख्यिकीय कंप्यूटिंग और ग्राफिक्स के लिए एक ओपन सोर्स टूल है। आर में सांख्यिकीय, शास्त्रीय सांख्यिकीय परीक्षण, समय-श्रृंखला विश्लेषण, वर्गीकरण और ग्राफिकल तकनीकों की एक विस्तृत विविधता है। यह प्रभावी डेटा हैंडलिंग और भंडारण सुविधा प्रदान करता है।

यहाँ और अधिक जानें

Oracle डेटा खनन:

Oracle आँकड़ा खनन लोकप्रिय रूप से ODM के रूप में जाना जाता है Oracle उन्नत एनालिटिक्स डेटाबेस। यह डेटा माइनिंग टूल डेटा विश्लेषकों को विस्तृत जानकारी उत्पन्न करने और पूर्वानुमान लगाने की अनुमति देता है। यह ग्राहक व्यवहार की भविष्यवाणी करने, ग्राहक प्रोफाइल विकसित करने, क्रॉस-सेलिंग अवसरों की पहचान करने में मदद करता है।