ईएलके स्टैक ट्यूटोरियल: किबाना क्या है, Logstash और इलास्टिक्सर्च?
ईएलके स्टैक क्या है?
RSI ईएलके स्टैक तीन ओपन-सोर्स उत्पादों का एक संग्रह है - इलास्टिक्सर्च, Logstash, और किबाना। ELK स्टैक सर्वर या एप्लिकेशन में समस्याओं की पहचान करने के लिए केंद्रीकृत लॉगिंग प्रदान करता है। यह आपको एक ही स्थान पर सभी लॉग खोजने की अनुमति देता है। यह एक विशिष्ट समय सीमा के दौरान लॉग को जोड़कर कई सर्वरों में समस्याओं को खोजने में भी मदद करता है।
- E इलास्टिक सर्च का मतलब है: लॉग संग्रहीत करने के लिए उपयोग किया जाता है
- L लॉगस्टैश का अर्थ है: शिपिंग के साथ-साथ प्रसंस्करण और लॉग भंडारण दोनों के लिए उपयोग किया जाता है
- K किबाना का मतलब है: एक विज़ुअलाइज़ेशन उपकरण (एक वेब इंटरफ़ेस) जो Nginx या Apache के माध्यम से होस्ट किया जाता है
इलास्टिक सर्च, लॉगस्टैश और किबाना सभी का विकास, प्रबंधन और रखरखाव इलास्टिक नामक कंपनी द्वारा किया जाता है।
ईएलके स्टैक को उपयोगकर्ताओं को किसी भी स्रोत से, किसी भी प्रारूप में डेटा लेने और वास्तविक समय में उस डेटा को खोजने, विश्लेषण करने और देखने की अनुमति देने के लिए डिज़ाइन किया गया है।
ईएलके स्टैक Archiटेक्चर
अब इस ELK स्टैक ट्यूटोरियल में, हम ELK आर्किटेक्चर के बारे में जानेंगे:
यहाँ ELK स्टैक की सरल वास्तुकला है
- लॉग्स: जिन सर्वर लॉग का विश्लेषण करने की आवश्यकता है, उनकी पहचान की जाती है
- Logstash: लॉग और ईवेंट डेटा एकत्र करें। यह डेटा को पार्स और रूपांतरित भी करता है
- इलास्टिकसर्च: से परिवर्तित डेटा Logstash is भण्डारित करें, खोजें, और अनुक्रमित करें.
- किबाना: किबाना अन्वेषण, दृश्यांकन और साझा करने के लिए इलास्टिकसर्च डीबी का उपयोग करता है
हालाँकि, डेटा संग्रह के लिए एक और घटक की आवश्यकता है जिसे बीट्स कहा जाता है। इस कारण इलास्टिक ने ELK का नाम बदलकर इलास्टिक स्टैक रख दिया।
बहुत बड़ी मात्रा में डेटा से निपटने के दौरान, आपको बफरिंग और लचीलेपन के लिए काफ़्का, रैबिटएमक्यू की आवश्यकता हो सकती है। सुरक्षा के लिए, nginx का उपयोग किया जा सकता है।
अब इस इलास्टिक स्टैक ट्यूटोरियल में, आइये इन सभी ओपन सोर्स उत्पादों पर गहराई से नज़र डालें:
इलास्टिक्स खोज क्या है?
इलास्टिक्सर्च एक NoSQL डेटाबेसयह Lucene सर्च इंजन पर आधारित है, और इसे RESTful APIS के साथ बनाया गया है। यह सरल परिनियोजन, अधिकतम विश्वसनीयता और आसान प्रबंधन प्रदान करता है। यह विस्तृत विश्लेषण करने के लिए उन्नत क्वेरी भी प्रदान करता है और सभी डेटा को केंद्रीय रूप से संग्रहीत करता है। यह दस्तावेज़ों की त्वरित खोज को निष्पादित करने में सहायक है।
इलास्टिकसर्च आपको बड़ी मात्रा में डेटा संग्रहीत करने, खोजने और विश्लेषण करने की भी अनुमति देता है। इसका उपयोग अधिकतर उन अनुप्रयोगों को शक्ति प्रदान करने के लिए अंतर्निहित इंजन के रूप में किया जाता है जो खोज आवश्यकताओं को पूरा करते हैं। इसे आधुनिक वेब और मोबाइल अनुप्रयोगों के लिए खोज इंजन प्लेटफ़ॉर्म में अपनाया गया है। त्वरित खोज के अलावा, यह टूल जटिल विश्लेषण और कई उन्नत सुविधाएँ भी प्रदान करता है।
इलास्टिक खोज की विशेषताएं
- ओपन सोर्स सर्च सर्वर का उपयोग करके लिखा गया है Java
- किसी भी प्रकार के विषम डेटा को अनुक्रमित करने के लिए उपयोग किया जाता है
- JSON आउटपुट के साथ REST API वेब-इंटरफ़ेस है
- पूरा पाठ खोजें
- निकट वास्तविक समय (एनआरटी) खोज
- शार्डेड, प्रतिकृति खोज योग्य, JSON दस्तावेज़ संग्रह
- स्कीमा-मुक्त, REST और JSON आधारित वितरित दस्तावेज़ संग्रह
- बहुभाषी और भौगोलिक स्थान समर्थन
इलास्टिकसर्च के लाभ
- स्कीमा-रहित डेटा संग्रहीत करें और अपने डेटा के लिए स्कीमा भी बनाएं
- मल्टी-डॉक्यूमेंट एपीआई की सहायता से अपने डेटा रिकॉर्ड को रिकॉर्ड दर रिकॉर्ड बदलें
- अपने डेटा को फ़िल्टर करना और जानकारी के लिए क्वेरी करना
- Apache Lucene पर आधारित है और RESTful API प्रदान करता है
- खोज को तेज़ बनाने के लिए इंडेक्सिंग के वास्तविक समय उपयोग के लिए क्षैतिज मापनीयता, विश्वसनीयता और मल्टीटेनेंट क्षमता प्रदान करता है
- आपको ऊर्ध्वाधर और क्षैतिज रूप से स्केल करने में मदद करता है
इलास्टिक सर्च में प्रयुक्त महत्वपूर्ण शब्द
अब इस ELK ट्यूटोरियल में, आइए ElasticSearch में प्रयुक्त प्रमुख शब्दों के बारे में जानें:
अवधि | प्रयोग |
---|---|
Cluster | क्लस्टर नोड्स का एक संग्रह है जो एक साथ डेटा रखता है और संयुक्त अनुक्रमण और खोज क्षमताएं प्रदान करता है। |
आसंधि | नोड एक elasticsearch इंस्टेंस है। यह तब बनाया जाता है जब elasticsearch इंस्टेंस शुरू होता है। |
सूची | इंडेक्स उन दस्तावेजों का संग्रह है जिनकी विशेषताएँ समान होती हैं। उदाहरण के लिए, ग्राहक डेटा, उत्पाद कैटलॉग। इंडेक्सिंग, खोज, अपडेट और डिलीट ऑपरेशन करते समय यह बहुत उपयोगी होता है। यह आपको एक ही क्लस्टर में कई इंडेक्स परिभाषित करने की अनुमति देता है। |
दस्तावेज़ | यह सूचना की मूल इकाई है जिसे अनुक्रमित किया जा सकता है। इसे JSON (कुंजी: मान) जोड़ी में व्यक्त किया जाता है। '{“user”: “nullcon”}'। हर एक दस्तावेज़ एक प्रकार और एक अद्वितीय आईडी से जुड़ा होता है। |
ठीकरा | डेटा वितरित करने में सक्षम होने के लिए प्रत्येक इंडेक्स को कई शार्ड में विभाजित किया जा सकता है। शार्ड इंडेक्स का एटॉमिक हिस्सा होता है, जिसे क्लस्टर में वितरित किया जा सकता है यदि आप अधिक नोड्स जोड़ना चाहते हैं। |
एचएमबी क्या है? Logstash?
Logstash डेटा संग्रह पाइपलाइन उपकरण है। यह डेटा इनपुट एकत्र करता है और Elasticsearch में फ़ीड करता है। यह विभिन्न स्रोतों से सभी प्रकार के डेटा को इकट्ठा करता है और इसे आगे के उपयोग के लिए उपलब्ध कराता है।
Logstash अलग-अलग स्रोतों से डेटा को एकीकृत कर सकते हैं और डेटा को आपके इच्छित गंतव्यों में सामान्यीकृत कर सकते हैं। यह आपको उपयोग के मामलों के विश्लेषण और विज़ुअलाइज़ेशन के लिए अपने सभी डेटा को साफ़ और लोकतांत्रिक बनाने की अनुमति देता है।
इसमें तीन घटक शामिल हैं:
- निवेश: लॉग्स को मशीन द्वारा समझने योग्य प्रारूप में संसाधित करने के लिए पास करना
- फ़िल्टर: यह किसी विशेष कार्य या घटना को करने के लिए शर्तों का एक समूह है
- उत्पादन: संसाधित घटना या लॉग के लिए निर्णय निर्माता
की सुविधाएं Logstash
अब इस LogStash ट्यूटोरियल में, आइए LogStash की विशेषताओं के बारे में जानें:
- आंतरिक कतारों का उपयोग करके प्रत्येक चरण से घटनाओं को गुजारा जाता है
- आपके लॉग के लिए अलग-अलग इनपुट की अनुमति देता है
- आपके लॉग के लिए फ़िल्टरिंग/पार्सिंग
का लाभ Logstash
- डेटा प्रोसेसिंग को केंद्रीकृत करने की पेशकश
- यह संरचित/असंरचित डेटा और घटनाओं की एक बड़ी विविधता का विश्लेषण करता है
- ELK LogStash विभिन्न प्रकार के इनपुट स्रोतों और प्लेटफ़ॉर्म से कनेक्ट करने के लिए प्लगइन्स प्रदान करता है
किबाना क्या है?
किबाना एक डेटा विज़ुअलाइज़ेशन है जो ELK स्टैक को पूरा करता है। इस टूल का उपयोग इलास्टिकसर्च दस्तावेज़ों को विज़ुअलाइज़ करने के लिए किया जाता है और डेवलपर्स को इसके बारे में त्वरित जानकारी प्राप्त करने में मदद करता है। किबाना डैशबोर्ड जटिल क्वेरीज़ को विज़ुअलाइज़ करने के लिए विभिन्न इंटरैक्टिव आरेख, भू-स्थानिक डेटा और ग्राफ़ प्रदान करता है।
इसका उपयोग Elasticsearch निर्देशिकाओं में संग्रहीत डेटा को खोजने, देखने और उसके साथ बातचीत करने के लिए किया जा सकता है। Kibana आपको उन्नत कार्य करने में मदद करता है डेटा विश्लेषण और अपने डेटा को विभिन्न तालिकाओं, चार्टों और मानचित्रों में प्रदर्शित करें।
किबाना में आपके डेटा पर खोज करने के लिए अलग-अलग तरीके हैं।
यहां सबसे आम खोज प्रकार दिए गए हैं:
तलाश की विधि | प्रयोग |
---|---|
निःशुल्क पाठ खोजें | इसका उपयोग किसी विशिष्ट स्ट्रिंग को खोजने के लिए किया जाता है |
क्षेत्र-स्तरीय खोजें | इसका उपयोग किसी विशिष्ट फ़ील्ड में स्ट्रिंग की खोज के लिए किया जाता है |
तार्किक कथन | इसका उपयोग खोजों को तार्किक कथन में संयोजित करने के लिए किया जाता है। |
निकटता खोजें | इसका उपयोग विशिष्ट वर्ण निकटता के भीतर शब्दों को खोजने के लिए किया जाता है। |
अब इस किबाना ट्यूटोरियल में, आइए किबाना की महत्वपूर्ण विशेषताओं के बारे में जानें:
किंबना की विशेषताएं:
- शक्तिशाली फ्रंट-एंड डैशबोर्ड जो इलास्टिक क्लस्टर से अनुक्रमित जानकारी को देखने में सक्षम है
- अनुक्रमित जानकारी की वास्तविक समय खोज सक्षम करता है
- आप Elasticsearch में संग्रहीत डेटा को खोज सकते हैं, देख सकते हैं और उसके साथ इंटरैक्ट कर सकते हैं
- डेटा पर क्वेरी निष्पादित करें और चार्ट, तालिकाओं और मानचित्रों में परिणाम विज़ुअलाइज़ करें
- elasticsearch में लॉगस्टैश लॉग को स्लाइस और डाइस करने के लिए कॉन्फ़िगर करने योग्य डैशबोर्ड
- ग्राफ, चार्ट आदि के रूप में ऐतिहासिक डेटा प्रदान करने में सक्षम।
- वास्तविक समय डैशबोर्ड जो आसानी से कॉन्फ़िगर करने योग्य है
- किबाना इलास्टिकसर्च अनुक्रमित जानकारी की वास्तविक समय खोज को सक्षम बनाता है
किंबना के फायदे और नुकसान
- आसान दृश्यांकन
- Elasticsearch के साथ पूर्णतः एकीकृत
- विज़ुअलाइज़ेशन टूल
- वास्तविक समय विश्लेषण, चार्टिंग, सारांशीकरण और डिबगिंग क्षमताएं प्रदान करता है
- सहज और उपयोगकर्ता के अनुकूल इंटरफ़ेस प्रदान करता है
- खोजे गए लॉग के स्नैपशॉट को साझा करने की अनुमति देता है
- डैशबोर्ड को सहेजने और एकाधिक डैशबोर्ड प्रबंधित करने की अनुमति देता है
लॉग विश्लेषण क्यों?
क्लाउड-आधारित वातावरण में अवसंरचना, प्रदर्शन और अलगाव बहुत महत्वपूर्ण है। क्लाउड में वर्चुअल मशीनों का प्रदर्शन विशिष्ट लोड, वातावरण और सिस्टम में सक्रिय उपयोगकर्ताओं की संख्या के आधार पर भिन्न हो सकता है। इसलिए, विश्वसनीयता और नोड विफलता एक महत्वपूर्ण मुद्दा बन सकता है।
लॉग प्रबंधन प्लेटफ़ॉर्म ऊपर दिए गए सभी मुद्दों की निगरानी कर सकता है और साथ ही ऑपरेटिंग सिस्टम लॉग, एनजीआईएनएक्स, वेब ट्रैफ़िक विश्लेषण के लिए आईआईएस सर्वर लॉग, एप्लिकेशन लॉग और एडब्ल्यूएस पर लॉग की प्रक्रिया कर सकता है (Amazon वेब सेवाओं).
लॉग प्रबंधन DevOps इंजीनियरों, सिस्टम एडमिन को बेहतर व्यावसायिक निर्णय लेने में मदद करता है। इसलिए, इलास्टिक स्टैक या इसी तरह के उपकरणों के माध्यम से लॉग विश्लेषण महत्वपूर्ण है।
ईएलके बनाम स्प्लंक
गोज़न | Splunk |
---|---|
एल्क एक खुला स्रोत उपकरण है | स्पलंक एक वाणिज्यिक उपकरण है। |
एल्क स्टैक की पेशकश नहीं करता है Solaris किबाना के कारण पोर्टेबिलिटी. | स्प्लंक ऑफर Solaris पोर्टेबिलिटी। |
प्रसंस्करण गति सख्ती से सीमित है. | सटीक और त्वरित प्रक्रियाएं प्रदान करता है। |
ईएलके एक प्रौद्योगिकी स्टैक है जिसे इलास्टिक सर्च के संयोजन से बनाया गया है-Logstash-किबाना. | स्प्लंक एक मालिकाना उपकरण है। यह ऑन-प्रिमाइसेस और क्लाउड दोनों समाधान प्रदान करता है। |
ELK सर्चिंग में, विश्लेषण और विज़ुअलाइज़ेशन केवल ELK स्टैक सेटअप होने के बाद ही संभव होगा। | स्प्लंक आपके लिए एक सम्पूर्ण डेटा प्रबंधन पैकेज है। |
ELK उपकरण अन्य उपकरणों के साथ एकीकरण का समर्थन नहीं करता है। | स्प्लंक अन्य उपकरणों के साथ एकीकरण स्थापित करने के लिए एक उपयोगी उपकरण है। |
प्रकरण अध्ययन
NetFlix
Netflix ELK स्टैक पर बहुत ज़्यादा निर्भर करता है। ग्राहक सेवा संचालन के सुरक्षा लॉग की निगरानी और विश्लेषण करने के लिए कंपनी ELK स्टैक का उपयोग करती है। यह उन्हें पंद्रह से ज़्यादा क्लस्टर से दस्तावेज़ों को इंडेक्स करने, संग्रहीत करने और खोजने की अनुमति देता है, जिसमें लगभग 800 नोड्स शामिल हैं।
लिंक्डइन
प्रसिद्ध सोशल मीडिया मार्केटिंग साइट लिंक्डइन प्रदर्शन और सुरक्षा की निगरानी के लिए ELK स्टैक का उपयोग करती है। आईटी टीम ने वास्तविक समय में अपने लोड का समर्थन करने के लिए ELK को काफ्का के साथ एकीकृत किया। उनके ELK संचालन में छह अलग-अलग डेटा केंद्रों में 100 से अधिक क्लस्टर शामिल हैं।
Tripwire
ट्रिपवायर एक विश्वव्यापी सुरक्षा सूचना इवेंट प्रबंधन प्रणाली है। कंपनी सूचना पैकेट लॉग विश्लेषण का समर्थन करने के लिए ELK का उपयोग करती है।
मध्यम
मीडियम एक प्रसिद्ध ब्लॉग-पब्लिशिंग प्लेटफ़ॉर्म है। वे अपने उत्पादन संबंधी समस्याओं को डीबग करने के लिए ELK स्टैक का उपयोग करते हैं। कंपनी ELK का उपयोग करके पता लगाने के लिए भी करती है DynamoDB इसके अलावा, इस स्टैक का उपयोग करके, कंपनी 25 मिलियन अद्वितीय पाठकों के साथ-साथ प्रत्येक सप्ताह हजारों प्रकाशित पोस्ट का समर्थन कर सकती है।
ईएलके स्टैक के लाभ और नुकसान
फायदे
- ELK तब सबसे अच्छा काम करता है जब किसी उद्यम के विभिन्न ऐप्स के लॉग एक एकल ELK इंस्टेंस में एकत्रित होते हैं
- यह इस एकल उदाहरण के लिए अद्भुत जानकारी प्रदान करता है और सैकड़ों विभिन्न लॉग डेटा स्रोतों में लॉग इन करने की आवश्यकता को भी समाप्त करता है
- तीव्र ऑन-प्रिमाइसेस स्थापना
- स्केल को लंबवत और क्षैतिज रूप से तैनात करना आसान है
- इलास्टिक अनेक भाषा क्लाइंट्स प्रदान करता है जिसमें रूबी भी शामिल है। Python. पीएचपी, पर्ल, .नेट, Java, तथा Javaस्क्रिप्ट, और अधिक
- विभिन्न प्रोग्रामिंग और स्क्रिप्टिंग भाषाओं के लिए लाइब्रेरी की उपलब्धता
नुकसान
- जब आप जटिल सेटअप पर जाते हैं तो स्टैक में विभिन्न घटकों को संभालना मुश्किल हो सकता है
- परीक्षण और त्रुटि जैसा कुछ नहीं है। इसलिए, जितना अधिक आप करेंगे, उतना ही आप सीखेंगे
सारांश
- सर्वर या अनुप्रयोगों में समस्याओं की पहचान करने का प्रयास करते समय केंद्रीकृत लॉगिंग उपयोगी हो सकती है
- ELK सर्वर स्टैक केंद्रीकृत लॉगिंग सिस्टम से संबंधित समस्याओं को हल करने के लिए उपयोगी है
- ईएलके स्टैक तीन ओपन सोर्स टूल्स इलास्टिक्सर्च का एक संग्रह है, Logstash Kibana
- इलास्टिक्सर्च एक NoSQL डेटाबेस है
- Logstash डेटा संग्रह पाइपलाइन उपकरण है
- किबाना एक डेटा विज़ुअलाइज़ेशन है जो ELK स्टैक को पूरा करता है
- क्लाउड-आधारित पर्यावरण अवसंरचना में, प्रदर्शन और अलगाव बहुत महत्वपूर्ण है
- ईएलके स्टैक में प्रसंस्करण गति सख्ती से सीमित है जबकि Splunk सटीक और त्वरित प्रक्रियाएं प्रदान करता है
- Netflix, लिंक्डइन, ट्रिपवेयर, मीडियम सभी अपने व्यवसाय के लिए ईएलके स्टैक का उपयोग कर रहे हैं
- ELK Syslog तब सबसे अच्छा काम करता है जब किसी उद्यम के विभिन्न ऐप्स के लॉग एक एकल ELK इंस्टेंस में एकत्रित होते हैं
- जब आप जटिल सेटअप पर जाते हैं तो स्टैक में विभिन्न घटकों को संभालना मुश्किल हो सकता है
हमारा संदर्भ लें इलास्टिकसर्च साक्षात्कार प्रश्न और उत्तर नये और अनुभवी उम्मीदवारों के लिए।