Data Lake vs Data Warehouse - Forskellen mellem dem
David Carter
Nøgleforskel mellem Data Lake og Data Warehouse
- Data Lake gemmer alle data uanset kilden og dens struktur, mens Data Warehouse gemmer data i kvantitative målinger med deres attributter.
- Data Lake er et lagerlager, der gemmer enorme strukturerede, semi-strukturerede og ustrukturerede data, mens Data Warehouse er en blanding af teknologier og komponenter, som tillader strategisk brug af data.
- Data Lake definerer skemaet efter data er gemt, mens Data Warehouse definerer skemaet før data gemmes.
- Data Lake bruger ELT (Extract Load Transform)-processen, mens Data Warehouse bruger ETL (Extract Transform Load)-processen.
- Ved at sammenligne Data Lake vs Warehouse er Data Lake ideel til dem, der ønsker dybdegående analyse, hvorimod Data Warehouse er ideelt til operationelle brugere.
Hvad er Data Lake?
A Data Lake er et lagerlager, der kan gemme en stor mængde strukturerede, semistrukturerede og ustrukturerede data. Det er et sted at gemme alle typer data i dets oprindelige format uden faste grænser for kontostørrelse eller fil. Det tilbyder en stor mængde data for øget analytisk ydeevne og indbygget integration.
Data Lake er som en stor container, der minder meget om ægte sø og floder. Ligesom i en sø har du flere bifloder, der kommer ind; på samme måde har en datasø strukturerede data, ustrukturerede data, maskine til maskine, logfiler, der flyder igennem i realtid.
Hvad er Data Warehouse?
Data varehus er en blanding af teknologier og komponenter til strategisk brug af data. Den indsamler og administrerer data fra forskellige kilder for at give meningsfuld forretningsindsigt. Det er den elektroniske lagring af en stor mængde information designet til forespørgsel og analyse i stedet for transaktionsbehandling. Det er en proces med at omdanne data til information.
Dernæst vil vi lære den vigtigste forskel mellem data warehouse vs data lake.
Forskellen mellem Data Lake og Data Warehouse
Her er de vigtigste forskelle mellem data lake versus data warehouse:
| parametre | Data Lake | Data varehus |
|---|---|---|
| Opbevaring | I datasøen opbevares alle data uanset kilden og dens struktur. Data opbevares i sin rå form. Den forvandles først, når den er klar til at blive brugt. | Et datavarehus vil bestå af data, der er udtrukket fra transaktionssystemer eller data, der består af kvantitative metrikker med deres attributter. Data renses og transformeres |
| Historie | Big data teknologier brugt i datasøer er relativt nyt. | Data warehouse koncept, i modsætning til big data, var blevet brugt i årtier. |
| Dataopsamling | Indfanger alle slags data og strukturer, semi-strukturerede og ustrukturerede i deres oprindelige form fra kildesystemer. | Indfanger struktureret information og organiserer dem i skemaer som defineret til datavarehusformål |
| Data tidslinje | Datasøer kan opbevare alle data. Dette omfatter ikke kun de data, der er i brug, men også data, som det kan bruge i fremtiden. Desuden opbevares data for altid, for at gå tilbage i tiden og lave en analyse. | I data warehouse udviklingsprocessen bruges der betydelig tid på at analysere forskellige datakilder. |
| Brugere | Data lake er ideel til brugere, der hengiver sig til dyb analyse. Sådanne brugere omfatter datavidenskabsfolk, som har brug for avanceret analytiske værktøjer med muligheder såsom prædiktiv modellering og statistisk analyse. | Datavarehuset er ideelt for operationelle brugere, fordi det er velstruktureret, nemt at bruge og forstå. |
| Opbevaringsomkostninger | Datalagring i big data-teknologier er relativt billigt end at lagre data i et datavarehus. | Lagring af data i Data warehouse er dyrere og tidskrævende. |
| Opgaver | Datasøer kan indeholde alle data og datatyper; det giver brugerne mulighed for at få adgang til data før processen med transformeret, renset og struktureret. | Datavarehuse kan give indsigt i foruddefinerede spørgsmål til foruddefinerede datatyper. |
| Behandlingstid | Datasøer giver brugerne mulighed for at få adgang til data, før de er blevet transformeret, renset og struktureret. Således giver det brugerne mulighed for at komme til deres resultat hurtigere sammenlignet med det traditionelle datavarehus. | Datavarehuse tilbyder indsigt i foruddefinerede spørgsmål til foruddefinerede datatyper. Så enhver ændring af datavarehuset krævede mere tid. |
| Skemaets position | Typisk defineres skemaet efter data er gemt. Dette giver høj smidighed og nem datafangst, men kræver arbejde i slutningen af processen | Typisk defineres skemaet før data gemmes. Kræver arbejde i starten af processen, men tilbyder ydeevne, sikkerhed og integration. |
| Databehandling | Data Lakes brug af ELT-processen (Extract Load Transform). | Data warehouse bruger en traditionel ETL (Extract Transform Load) proces. |
| Brokke sig | Data opbevares i sin rå form. Den forvandles først, når den er klar til at blive brugt. | Hovedklagen mod datavarehuse er manglende evne eller problemet, når man forsøger at foretage ændringer i dem. |
| Fordele | De integrerer forskellige typer data for at komme med helt nye spørgsmål, da disse brugere sandsynligvis ikke vil bruge datavarehuse, fordi de måske skal gå ud over deres muligheder. | De fleste brugere i en organisation er operationelle. Denne type brugere bekymrer sig kun om rapporter og nøgleresultater. |
Data Lake koncept
En Data Lake er et lager i stor størrelse, der rummer en stor mængde rå data i dets originale format, indtil det tidspunkt, det er nødvendigt. Hvert dataelement i en datasø er givet en unik identifikator og tagget med et sæt udvidede metadata-tags. Det tilbyder en bred vifte af analytiske muligheder.
Data Warehouse koncept
Data varehus gemmer data i filer eller mapper, som hjælper med at organisere og bruge dataene til at tage strategiske beslutninger. Dette lagringssystem giver også et multidimensionelt billede af atomare og sammenfattende data. De vigtige funktioner, der er nødvendige for at udføre er:
- Dataudtræk
- Data Rengøring
- Datatransformation
- Dataindlæsning og opdatering
