Hva er Data Lake? Det er ArchiTecture: Data Lake Tutorial

Hva er Data Lake?

En Data Lake er et lagringssted som kan lagre store mengder strukturerte, semistrukturerte og ustrukturerte data. Det er et sted å lagre alle typer data i sitt opprinnelige format uten faste grenser for kontostørrelse eller fil. Den tilbyr høy datamengde for å øke analytisk ytelse og integrering.

Data Lake er som en stor container som er veldig lik ekte innsjø og elver. Akkurat som i en innsjø har du flere sideelver som kommer inn, en datainnsjø har strukturerte data, ustrukturerte data, maskin til maskin, logger som strømmer gjennom i sanntid.

Data Lake demokratiserer data og er en kostnadseffektiv måte å lagre alle data fra en organisasjon for senere behandling. Forskningsanalytiker kan fokusere på å finne meningsmønstre i data og ikke data i seg selv.

I motsetning til en hierarkisk Datavarehus der data er lagret i filer og mappe, har Data lake en flat arkitektur. Hvert dataelement i en Data Lake er gitt en unik identifikator og merket med et sett med metadatainformasjon.

Hvorfor Data Lake?

Hovedmålet med å bygge en datainnsjø er å tilby et uraffinert syn på data til dataforskere.

Grunner til å bruke Data Lake er:

Med utbruddet av lagringsmotorer som Hadoop lagring av ulik informasjon har blitt enkelt. Det er ikke nødvendig å modellere data til et virksomhetsomfattende skjema med en Data Lake.
Med økningen i datavolum, datakvalitet og metadata øker også kvaliteten på analyser.
Data Lake tilbyr forretningsmessig smidighet
Maskinlæring og kunstig intelligens kan brukes til å lage lønnsomme spådommer.
Det gir et konkurransefortrinn til den implementerende organisasjonen.
Det er ingen datasilostruktur. Data Lake gir 360 graders visning av kunder og gjør analysen mer robust.

Data Lake Architecture

Figuren viser arkitekturen til en Business Data Lake. De nedre nivåene representerer data som stort sett er i ro, mens de øvre nivåene viser transaksjonsdata i sanntid. Disse dataene flyter gjennom systemet med ingen eller liten ventetid. Følgende er viktige nivåer i Data Lake Archilære:

Svelgingsnivå: Lagene på venstre side viser datakildene. Dataene kan lastes inn i datasjøen i grupper eller i sanntid
Innsiktsnivå: Lagene til høyre representerer forskningssiden der innsikt fra systemet brukes. SQL, NoSQL-spørringer eller til og med excel kan brukes til dataanalyse.
HDFS er en kostnadseffektiv løsning for både strukturerte og ustrukturerte data. Det er en landingssone for alle data som er i ro i systemet.
Destillasjonsnivå tar data fra lagringsdekket og konverterer det til strukturerte data for enklere analyse.
Behandlingsnivå kjøre analytiske algoritmer og brukerforespørsler med varierende sanntid, interaktiv, batch for å generere strukturerte data for enklere analyse.
Samlet driftsnivå styrer systemadministrasjon og overvåking. Det inkluderer revisjon og kompetansestyring, dataadministrasjon, arbeidsflytstyring.

Key Data Lake Concepts

Følgende er Key Data Lake-konsepter som man må forstå for å forstå Data Lake fullstendig Architecture

Svelging av data

Datainntak lar koblinger hente data fra en annen datakilde og laste inn i datasjøen.

Datainntak støtter:

Alle typer strukturerte, semi-strukturerte og ustrukturerte data.
Flere inntak som batch, sanntid, engangsbelastning.
Mange typer datakilder som databaser, webservere, e-poster, IoT, og FTP.

Datalagring

Datalagring skal være skalerbar, tilby kostnadseffektiv lagring og gi rask tilgang til datautforskning. Den skal støtte ulike dataformater.

Datastyring

Datastyring er en prosess for å administrere tilgjengelighet, brukervennlighet, sikkerhet og integritet til data som brukes i en organisasjon.

Trygghet

Sikkerhet må implementeres i hvert lag av datainnsjøen. Det starter med lagring, utgraving og forbruk. Det grunnleggende behovet er å stoppe tilgangen for uautoriserte brukere. Den skal støtte forskjellige verktøy for å få tilgang til data med GUI og Dashboards som er enkle å navigere.

Autentisering, regnskap, autorisasjon og databeskyttelse er noen viktige funksjoner ved datainnsjøsikkerhet.

Datakvalitet

Datakvalitet er en viktig del av Data Lake-arkitekturen. Data brukes til å oppnå forretningsverdi. F.eks.tracÅ få innsikt fra data av dårlig kvalitet vil føre til innsikt av dårlig kvalitet.

Dataoppdagelse

Data Discovery er et annet viktig stadium før du kan begynne å forberede data eller analyser. I dette stadiet brukes taggingsteknikk for å uttrykke dataforståelsen, ved å organisere og tolke dataene som tas inn i datasjøen.

Datarevisjon

To viktige datarevisjonsoppgaver er tracking endringer i nøkkeldatasettet.

Tracking endringer i viktige datasettelementer
Fanger hvordan/når/ og hvem som endrer til disse elementene.

Datarevisjon hjelper til med å evaluere risiko og samsvar.

Datalinje

Denne komponenten omhandler datas opprinnelse. Den handler hovedsakelig om hvor den beveger seg over tid og hva som skjer med den. Det letter feilrettinger i en dataanalyseprosess fra opprinnelse til destinasjon.

Dataforskning

Det er startfasen av dataanalyse. Det hjelper å identifisere riktig datasett er avgjørende før du starter datautforskning.

Alle gitte komponenter må fungere sammen for å spille en viktig rolle i at Data Lake-bygging enkelt kan utvikle seg og utforske miljøet.

Modenhetsstadier av Data Lake

Definisjonen av Data Lake-modenhetsstadier er forskjellig fra lærebok til annen. Selv om kjernen forblir den samme. Etter modenhet er scenedefinisjonen fra et lekmannssynspunkt.

Trinn 1: Håndtere og innta data i stor skala

Denne første fasen av datamodenhet innebærer å forbedre evnen til å transformere og analysere data. Her må bedriftseiere finne verktøyene i henhold til deres ferdigheter for å skaffe mer data og bygge analytiske applikasjoner.

Trinn 2: Bygge den analytiske muskelen

Dette er et andre trinn som innebærer å forbedre evnen til å transformere og analysere data. I denne fasen bruker bedrifter det verktøyet som passer best for deres ferdigheter. De begynner å skaffe mer data og bygge applikasjoner. Her brukes funksjonene til bedriftens datavarehus og datainnsjø sammen.

Trinn 3: EDW og Data Lake jobber unisont

Dette trinnet innebærer å få data og analyser i hendene på så mange mennesker som mulig. På dette stadiet begynner datainnsjøen og bedriftens datavarehus å jobbe i en fagforening. Begge spiller sin rolle i analysene

Trinn 4: Bedriftsevne i innsjøen

I dette modenhetsstadiet av datasjøen legges bedriftsfunksjoner til datasjøen. Adopsjon av informasjonsstyring, administrasjonsevner for informasjonslivssyklus og metadataadministrasjon. Imidlertid kan svært få organisasjoner nå dette modenhetsnivået, men dette antallet vil øke i fremtiden.

Beste praksis for Data Lake-implementering

Architektoniske komponenter, deres interaksjon og identifiserte produkter bør støtte innfødte datatyper
Design av Data Lake bør være drevet av det som er tilgjengelig i stedet for det som kreves. Skjema- og datakravet er ikke definert før det spørres
Design bør styres av engangskomponenter integrert med service API.
Dataoppdagelse, inntak, lagring, administrasjon, kvalitet, transformasjon og visualisering bør administreres uavhengig.
Data Lake-arkitekturen bør skreddersys til en spesifikk bransje. Det bør sikre at nødvendige egenskaper for dette domenet er en iboende del av designet
Raskere ombordstigning av nyoppdagede datakilder er viktig
Data Lake hjelper med tilpasset administrasjon for åtract maksimal verdi
Data Lake bør støtte eksisterende bedriftsdatabehandlingsteknikker og -metoder

Utfordringer med å bygge en datainnsjø:

I Data Lake er datavolumet høyere, så prosessen må være mer avhengig av programmatisk administrasjon
Det er vanskelig å håndtere sparsomme, ufullstendige, flyktige data
Større spekter av datasett og kilde trenger større datastyring og støtte

Forskjellen mellom datainnsjøer og datavarehus

Parametre	Datasjøer	Datavarehus
Data	Datainnsjøer lagrer alt.	Data Warehouse fokuserer kun på forretningsprosesser.
i prosess	Data er hovedsakelig ubehandlet	Høyt behandlet data.
Type data	Det kan være ustrukturert, semistrukturert og strukturert.	Det er stort sett i tabellform og struktur.
Oppgave	Del dataforvaltning	Optimalisert for datainnhenting
Agility	Svært smidig, konfigurer og rekonfigurer etter behov.	Sammenlignet med Data Lake er den mindre smidig og har fast konfigurasjon.
brukere	Data Lake brukes mest av Data Scientist	Forretningsfolk bruker datavarehus mye
Oppbevaring	Datainnsjø-design for rimelig lagring.	Det brukes dyr lagring som gir raske responstider
Trygghet	Gir mindre kontroll.	Gir bedre kontroll over dataene.
Erstatning av EDW	Datainnsjø kan være kilde for EDW	Komplementær til EDW (ikke erstatning)
Skjema	Skjema ved lesing (ingen forhåndsdefinerte skjemaer)	Skjema ved skriving (forhåndsdefinerte skjemaer)
Databehandling	Hjelper for rask inntak av nye data.	Tidkrevende å introdusere nytt innhold.
Datagranularitet	Data på et lavt detaljnivå eller granularitet.	Data på oppsummerings- eller aggregert detaljnivå.
verktøy	Kan bruke åpen kildekode/verktøy som Hadoop/ Map Reduce	For det meste kommersielle verktøy.

Fordeler og risikoer ved bruk av Data Lake

Her er noen store fordeler ved å bruke en Data Lake:

Hjelper fullt ut med produktionisering og avansert analyse
Tilbyr kostnadseffektiv skalerbarhet og fleksibilitet
Tilbyr verdi fra ubegrensede datatyper
Reduserer langsiktige eierkostnader
Tillater økonomisk lagring av filer
Kan raskt tilpasses endringer
Den største fordelen med datainnsjø er sentralisering av ulike innholdskilder
Brukere, fra ulike avdelinger, kan være spredt over hele kloden kan ha fleksibel tilgang til dataene

Risiko ved bruk av Data Lake:

Etter en tid kan Data Lake miste relevans og momentum
Det er større risiko involvert når du designer Data Lake
Ustrukturerte data kan føre til ukontrollert kao, ubrukelige data, uensartede og komplekse verktøy, bedriftsdekkende samarbeid, enhetlig, konsistent og felles
Det øker også lagrings- og beregningskostnadene
Det er ingen måte å få innsikt fra andre som har jobbet med dataene fordi det ikke er noen redegjørelse for linjen av funn fra tidligere analytikere
Den største risikoen ved datainnsjøer er sikkerhet og tilgangskontroll. Noen ganger kan data plasseres i en innsjø uten tilsyn, siden noen av dataene kan ha personvern og regulatoriske behov

Sammendrag

En Data Lake er et lagringssted som kan lagre store mengder strukturerte, semistrukturerte og ustrukturerte data.
Hovedmålet med å bygge en datainnsjø er å tilby et uraffinert syn på data til dataforskere.
Unified operations tier, Processing tier, Destillation tier og HDFS er viktige lag i Data Lake Architecture
Datainntak, datalagring, datakvalitet, datarevisjon, datautforskning, dataoppdagelse er noen viktige komponenter i Data Lake Architecture
Design av Data Lake bør være drevet av det som er tilgjengelig i stedet for det som kreves.
Data Lake reduserer langsiktige eierkostnader og tillater økonomisk lagring av filer
Den største risikoen ved datainnsjøer er sikkerhet og tilgangskontroll. Noen ganger kan data plasseres i en innsjø uten tilsyn, siden noen av dataene kan ha personvern og regulatoriske behov.