Splunk-tutorial voor beginners: wat is Splunk Tool? Hoe te gebruiken?
David Carter
⚡ Slimme samenvatting
Splunk is een dataplatform dat machinaal gegenereerde data in realtime verzamelt, indexeert en correleert, en deze vervolgens omzet in doorzoekbare gebeurtenissen, dashboards, waarschuwingen en visualisaties die monitoring, probleemoplossing, beveiligingsanalyses en zakelijke besluitvorming binnen een hele organisatie ondersteunen.
Wat is Splunk?
Splunk Splunk is een softwareplatform dat wordt gebruikt om machinaal gegenereerde data in realtime te monitoren, doorzoeken, analyseren en visualiseren. Het legt streaming data vast, indexeert en correleert deze in een doorzoekbare database en produceert vervolgens grafieken, waarschuwingen, dashboards en visualisaties. Omdat log- en gebeurtenisdata binnen een organisatie gemakkelijk toegankelijk zijn, vertrouwen teams op Splunk voor snelle diagnostiek, monitoring van IT-activiteiten en zelfs Security Information and Event Management (SIEM).
Waarom hebben we Splunk nodig?
De monitoringtool Splunk biedt veel voordelen voor een organisatie. De belangrijkste voordelen van het gebruik van Splunk zijn:
- Biedt een verbeterde grafische gebruikersinterface met realtime inzicht via interactieve dashboards.
- Verkort de tijd die nodig is voor het oplossen van problemen door direct resultaat te leveren.
- Het is een zeer geschikt hulpmiddel voor oorzaakanalyse.
- Hiermee kunt u grafieken, waarschuwingen en dashboards genereren op basis van uw gegevens.
- Maakt het gemakkelijk om specifieke resultaten te zoeken en te onderzoeken.
- Helpt u bij het opsporen van storingen om de prestaties te verbeteren.
- Houdt bedrijfsstatistieken bij, zodat u weloverwogen beslissingen kunt nemen.
- Hiermee kunt u integreren Artificial Intelligence in uw datastrategie.
- Verzamelt nuttige operationele informatie uit uw machinegegevens.
- Vat waardevolle informatie uit verschillende logbestanden samen en verzamelt deze.
- Accepteert vrijwel elk gegevenstype, inclusief .csv, JSON en gangbare logformaten.
- Biedt krachtige zoek-, analyse- en visualisatiemogelijkheden voor gebruikers van alle soorten.
- Hiermee wordt een centrale opslagplaats gecreëerd voor het doorzoeken van Splunk-gegevens uit diverse bronnen.
Kenmerken van Splunk
De belangrijkste kenmerken van Splunk zijn onder andere de volgende:
- Versnelt de ontwikkeling en het testen.
- Hiermee kunt u realtime data-applicaties bouwen.
- Helpt u sneller rendement op uw investering te behalen.
- Biedt ondersteuning voor flexibele statistieken en rapportage met een realtime architectuur.
- Biedt zoek-, analyse- en visualisatiefuncties die gebruikers van alle soorten in staat stellen om effectief te werken.
Splunk-producten
Splunk is verkrijgbaar in drie verschillende edities, elk gericht op een andere schaal van gebruik:
- Splunk-onderneming
- Splunk-licht
- Splunk-wolk
Splunk-onderneming
Splunk Enterprise Edition wordt gebruikt door grote IT-bedrijven. Het helpt u bij het verzamelen en analyseren van gegevens uit applicaties, websites, servers en andere bronnen.
Splunk-wolk
Splunk Cloud is een gehost platform dat dezelfde functies biedt als de Enterprise-versie. Je kunt het rechtstreeks bij Splunk verkrijgen of via de AWS-cloudplatform.
Splunk-licht
Splunk Light is een gratis versie waarmee je loggegevens kunt doorzoeken, rapporteren en bewerken. De functionaliteit is beperkter dan die van de andere edities en de versie is het meest geschikt voor kleinschalig gebruik, met een indexeringslimiet van maximaal 500 MB aan gegevens per dag.
Splunk Architectuur
Nu je de verschillende edities begrijpt, laten we eens kijken naar de Splunk-architectuur en de belangrijkste bouwstenen ervan:
De volgende onderdelen vormen de basis van de Splunk-architectuur:
Universele Expediteur (UF)
De Universal Forwarder, ofwel UF, is een lichtgewicht agent die gegevens doorstuurt naar de zwaardere Splunk-forwarder. Je kunt hem installeren op een clientmachine of een applicatieserver, en zijn enige taak is het doorsturen van de loggegevens.
Load balancer (LB)
De load balancer is de standaard load balancer van Splunk. Je kunt echter ook je eigen, gepersonaliseerde load balancer gebruiken.
Zware Expediteur (HF)
De Heavy Forwarder is een zwaardere component waarmee je gegevens kunt filteren voordat ze verder worden verwerkt — bijvoorbeeld door alleen foutenlogboeken te verzamelen.
Indexer
De indexeerder slaat de binnenkomende gegevens op en indexeert deze, wat de zoekprestaties van Splunk verbetert. Standaard indexeert Splunk automatisch met behulp van velden zoals host, bron en datum en tijd.
Zoekhoofd (SH)
De zoekmodule wordt gebruikt om informatie te verzamelen en rapporten te genereren. Gebruikers schrijven hier SPL-query's (Search Processing Language) om de geïndexeerde gegevens te verkennen.
Implementatieserver (DS)
De implementatieserver helpt u bij het implementeren van configuraties — bijvoorbeeld het bijwerken van een Universal Forwarder-configuratiebestand — en kan instellingen delen tussen meerdere Splunk-componenten.
Licentiebeheerder (LM)
De licentiebeheerder tracks-licenties zijn gebaseerd op volume en gebruik (bijvoorbeeld 50 GB per dag). Splunk controleert deze licentiegegevens regelmatig.
Hoe werkt Splunk?
Laten we nu eens stap voor stap bekijken hoe Splunk werkt, van het verzamelen van de gegevens tot de uiteindelijke analyse:
expediteur
De Forwarder verzamelt gegevens van externe machines en stuurt deze vrijwel in realtime door naar de Indexer.
Indexer
De indexeerder verwerkt de binnenkomende gegevens in realtime. Hij slaat de gegevens ook op en indexeert ze op de schijf.
Zoek hoofd
Eindgebruikers communiceren met Splunk via de Search Head, waarmee ze de geïndexeerde gegevens kunnen doorzoeken, analyseren en visualiseren.
Toepassingen van Splunk
Om Splunk in actie te zien, nemen we een praktijkvoorbeeld. Probleemstelling: McDonald's had geen duidelijk inzicht in welke promotieaanbiedingen het beste werkten. De factoren die hierbij een rol speelden waren onder andere:
- Aanbiedingstype (bijvoorbeeld 20% korting)
- Culturele verschillen op regionaal niveau
- Tijdstip van aankoop
- Apparaat gebruikt door de klant
- Revenue gegenereerd per bestelling
Het bedrijf had behoefte aan inzicht in consumentengedrag en klantreacties.
Het gehele proces maakte gebruik van drie soorten gegevensbronnen:
- Bestellingen geplaatst bij een McDonald's-vestiging
- Bestellingen geplaatst via de mobiele applicatie
- Bestellingen geplaatst via de webapplicatie
De gegevens stroomden vervolgens van de ene fase naar de volgende, zoals weergegeven in het onderstaande diagram.
Invoer
De invoergegevens gaan door naar de parseerfase.
Parsing
Tijdens de parseerfase worden de relevante gegevens omgezet in gebeurtenissen:
- Klantregio
- Revper bestelling
- Tijdstip van bestelling (ochtend, middag, avond, nacht)
- Apparaat dat door klanten wordt gebruikt (mobiel, pc, tablet)
- Kortingsbonnen toegepast
Indexeringsfase
In deze fase worden gebeurtenissen gesorteerd en geïndexeerd voor opslag op basis van:
- Verkoopcijfers per geografische locatie
- Orderomzet
- Tijdstip van bestelling (ochtend, middag, avond, nacht)
- Apparaat gebruikt door de klant
- Waardebon toegepast
Zoek hoofd
De zoekmodule wordt gebruikt om inlichtingen te verzamelen en rapporten te genereren.
McDonald's gebruikte het om de volgende vragen te beantwoorden:
- Welk verkoopaanbod werkt het beste op welke geografische locatie?
- Hoe beïnvloedt klantgedrag de orderomzet?
- Wat is de beste tijd om hamburger- of combo-aanbiedingen toe te passen?
Hoe Splunk heeft geholpen?
- Toonde alle bestellingen afkomstig uit een specifieke regio in realtime.
- Er werd vastgesteld hoe verschillende promotieaanbiedingen in realtime presteerden.
- De prestaties van de interne kassasystemen van McDonald's werden gemonitord.
- Laat medewerkers de feedback van klanten in de gaten houden en de verwachtingen begrijpen.
- De snelheid van verschillende betaalmethoden is geanalyseerd.
- Er zijn foutloze betaalmethoden geïdentificeerd.
Beste praktijken voor het gebruik van Splunk
- Test eerst je index, zodat je snel tests kunt uitvoeren.
- Zorg dat de belangrijkste velden correct zijn tijdens het indexeren; alle andere velden kunnen pas na het indexeren worden aangemaakt of gewijzigd.
- Het opsplitsen van gebeurtenissen gebeurt automatisch in Splunk, dus controleer of het begin en einde van elke gebeurtenis correct worden gedetecteerd.
- Splunk kan de tijdstempel automatisch detecteren, maar als uw logformaat een andere tijdstempel gebruikt, moet u deze handmatig configureren.
Bekende bedrijven die Splunk gebruiken
Enkele bekende bedrijven die Splunk gebruiken zijn:
- Cisco
- Bosch
- IBM
- Motorola
- PepsiCo
- adobe
- Visa
- Adidas
- Salesforce
- Walmart
Alternatieven voor Splunk
1) Site24x7's Logbeheer
Site24x7 Biedt een gecentraliseerde, cloudgebaseerde tool voor logbeheer voor uw gehele infrastructuur. Het herkent automatisch applicatielogs en biedt direct ondersteuning voor meer dan 100 applicaties.
Belangrijkste kenmerken van Site24x7's logbeheertool:
- Ondersteunt meer dan 100 logtypen, waaronder logs van cloudplatformen.
- Maakt eenvoudig beheer van alle logbestanden mogelijk met simpele aanpassingsopties.
- Biedt een gebruiksvriendelijke, op zoekopdrachten gebaseerde zoekfunctie.
- Ondersteunt een breed scala aan logformaten (JSON, meerdere regels, sleutel-waardeparen, XML en meer).
- Clusterberichten op basis van patroonovereenkomst.
- Biedt IT-automatisering voor het automatisch herstellen van incidenten.
- Verstuurt meldingen van derden via tools zoals Microsoft Teams, ServiceNow, PagerDuty, Opsgenie, Jira, Webhooks, Zendesken Zoho Cliq.
2) Sumo Logic
Sumo Logic Het helpt u bij het onderhouden van uw applicatie-infrastructuur en het zoeken en analyseren van loggegevens in realtime is eenvoudig. Met de tool kunt u zowel historische als realtime gebeurtenissen monitoren en visualiseren.
Download link: https://www.sumologic.com/
3) Fluentd
Fluentd is een gratis, open-source dataverzamelaar. Het slaat uw logbestanden op in een FS-buffer, zodat u ze op elk gewenst moment kunt ophalen. Daarnaast biedt het functies zoals load balancing en herhaalpogingen voor extra robuustheid.
Download link: https://www.fluentd.org/
4) ELK Stack
De ELK stapel Hiermee kunnen gebruikers gegevens uit elke bron, in elk formaat, ophalen, doorzoeken, analyseren en visualiseren. Het biedt gecentraliseerde logboekregistratie, wat handig is bij het identificeren van problemen met servers of applicaties.
Download link: https://www.elastic.co/elk-stack
5) LogFaces
LogFaces is een ander alternatief voor Splunk waarmee u uw query's per e-mail kunt versturen en loggegevens lokaal kunt opslaan. Het wordt geleverd als een gebruiksvriendelijke desktopapplicatie.
Download link: http://www.moonlit-software.com/
Nadelen van het gebruik van Splunk
Ondanks de sterke punten heeft Splunk ook een paar nadelen die het vermelden waard zijn:
- Splunk kan duur worden bij grote hoeveelheden data.
- De dashboards zijn functioneel, maar niet altijd even effectief als sommige specifieke dashboards. monitoringtools.
- De leercurve is steil; omdat het een architectuur met meerdere lagen gebruikt, heb je training en tijd nodig om het onder de knie te krijgen.
- Zoekopdrachten kunnen lastig te begrijpen zijn, vooral reguliere expressies en zoekopdrachtsyntaxis.
