Hva er Big Data? Introduksjon, typer, kjennetegn, eksempler
Prafulla Ranadive
Hva er data?
Mengdene, tegnene eller symbolene som en datamaskin utfører operasjoner på, som kan lagres og transmiti form av elektriske signaler og tatt opp på magnetiske, optiske eller mekaniske opptaksmedier.
La oss nå lære Big Data-definisjonen
Hva er store data?
Store data er en samling av data som er enormt i volum, men som likevel vokser eksponentielt med tiden. Det er en data med så stor størrelse og kompleksitet at ingen av tradisjonelle databehandlingsverktøy kan lagre dem eller behandle dem effektivt. Big data er også en data, men med enorm størrelse.
Hva er et eksempel på Big Data?
Følgende er noen av Big Data-eksemplene-
Ocuco New York Stock Exchange er et eksempel på Big Data som genererer ca én terabyte av nye handelsdata per dag.
Sosiale medier
Statistikken viser det 500+terabyte av nye data blir tatt inn i databasene til sosiale medier Facebook , hver dag. Disse dataene genereres hovedsakelig i form av foto- og videoopplastinger, meldingsutvekslinger, kommentarer osv.
En enkelt Jetmotor kan generere 10+terabyte av data i 30 minutter av flytid. Med mange tusen flyvninger per dag, når generering av data opp til mange Petabyte.
Typer Big Data
Følgende er typene Big Data:
- Strukturert
- Ustrukturert
- Halvstrukturert
Strukturert
Alle data som kan lagres, nås og behandles i et fast format kalles «strukturerte» data. Over tid har talenter innen informatikk oppnådd større suksess i utviklingen.ping teknikker for å jobbe med slike datatyper (der formatet er godt kjent på forhånd) og også for å utvinne verdi fra dem. I dag ser vi imidlertid for oss problemer når størrelsen på slike data vokser enormt, typiske størrelser er på opptil flere zettabyte.
Vet du? 1021 bytes lik 1 zettabyte or en milliard terabyte skjemaer en zettabyte.
Når man ser på disse tallene, kan man lett forstå hvorfor navnet Big Data er gitt og forestille seg utfordringene knyttet til lagring og prosessering.
Vet du? Data lagret i et relasjonsdatabasestyringssystem er ett eksempel på en "strukturert" data.
Eksempler på strukturerte data
En 'Ansatt'-tabell i en database er et eksempel på strukturerte data
| Ansatt ID | Employee_Name | Kjønn | Avdeling | Lønn_I_lacs |
|---|---|---|---|---|
| 2365 | Rajesh Kulkarni | mann | Finans | 650000 |
| 3398 | Pratibha Joshi | Hunn | admin | 650000 |
| 7465 | Shushil Roy | mann | admin | 500000 |
| 7500 | Shubhojit Das | mann | Finans | 500000 |
| 7699 | Priya Sane | Hunn | Finans | 550000 |
Ustrukturert
Alle data med ukjent form eller struktur klassifiseres som ustrukturerte data. I tillegg til at størrelsen er enorm, utgjør ustrukturerte data flere utfordringer når det gjelder behandlingen for å hente verdi ut av dem. Et typisk eksempel på ustrukturerte data er en heterogen datakilde som inneholder en kombinasjon av enkle tekstfiler, bilder, videoer osv. I dag har organisasjoner et vell av data tilgjengelig med seg, men dessverre vet de ikke hvordan de skal hente verdi ut av det siden disse dataene er i rå form eller ustrukturert format.
Eksempler på ustrukturerte data
Utdataene som returneres av 'Google Søk'
Halvstrukturert
Semistrukturerte data kan inneholde begge dataformene. Vi kan se semistrukturerte data som en strukturert form, men de er faktisk ikke definert med f.eks. en tabelldefinisjon i relasjonell DBMS. Eksempel på semistrukturerte data er data representert i en XML-fil.
Eksempler på semistrukturerte data
Personopplysninger lagret i en XML-fil-
<rec><name>Prashant Rao</name><sex>Male</sex><age>35</age></rec> <rec><name>Seema R.</name><sex>Female</sex><age>41</age></rec> <rec><name>Satish Mane</name><sex>Male</sex><age>29</age></rec> <rec><name>Subrato Roy</name><sex>Male</sex><age>26</age></rec> <rec><name>Jeremiah J.</name><sex>Male</sex><age>35</age></rec>
Datavekst gjennom årene
Vær oppmerksom på at webapplikasjon data, som er ustrukturert, består av loggfiler, transaksjonshistorikkfiler etc. OLTP-systemer er bygget for å fungere med strukturerte data der data lagres i relasjoner (tabeller).
Kjennetegn på Big Data
Big data kan beskrives med følgende egenskaper:
- Volum
- Variasjon
- Velocity
- variasjon
(i) Volum – Selve navnet Big Data er knyttet til en størrelse som er enorm. Størrelsen på data spiller en svært avgjørende rolle for å bestemme verdien ut av data. Om en bestemt data faktisk kan betraktes som en Big Data eller ikke, er også avhengig av datavolumet. Derfor, 'Volum' er en egenskap som må vurderes når du arbeider med Big Data-løsninger.
(ii) Variasjon – Det neste aspektet av Big Data er dens variasjon.
Variasjon refererer til heterogene kilder og arten av data, både strukturerte og ustrukturerte. I løpet av tidligere dager var regneark og databaser de eneste datakildene som ble vurdert av de fleste applikasjonene. I dag vurderes også data i form av e-poster, bilder, videoer, overvåkingsenheter, PDF-er, lyd osv. i analyseapplikasjonene. Denne variasjonen av ustrukturerte data utgjør visse problemer for lagring, gruvedrift og analyse av data.
(iii) Hastighet – Begrepet 'hastighet' refererer til hastigheten på generering av data. Hvor raskt dataene genereres og behandles for å møte kravene, bestemmer det reelle potensialet i dataene.
Big Data Velocity omhandler hastigheten som data strømmer inn med fra kilder som forretningsprosesser, applikasjonslogger, nettverk og sosiale medier, sensorer, Mobil enheter osv. Dataflyten er massiv og kontinuerlig.
(iv) Variabilitet – Dette refererer til inkonsekvensen som kan vises av dataene til tider, og dermed hindrer prosessen med å kunne håndtere og administrere dataene effektivt.
Fordeler med Big Data Processing
Evnen til å behandle Big Data i DBMS gir flere fordeler, som f.
- Bedrifter kan bruke ekstern intelligens mens de tar beslutninger
Tilgang til sosiale data fra søkemotorer og nettsteder som Facebook, Twitter gjør det mulig for organisasjoner å finjustere forretningsstrategiene sine.
- Forbedret kundeservice
Tradisjonelle tilbakemeldingssystemer fra kunder blir erstattet av nye systemer designet med Big Data-teknologier. I disse nye systemene brukes Big Data og naturlig språkbehandlingsteknologi for å lese og evaluere forbrukersvar.
- Tidlig identifisering av risiko for produktet/tjenestene, hvis noen
- Bedre driftseffektivitet
Big Data-teknologier kan brukes til å lage et oppsamlingsområde eller landingssone for nye data før man identifiserer hvilke data som skal flyttes til datalager. I tillegg hjelper en slik integrasjon av Big Data-teknologier og datavarehus en organisasjon med å avlaste sjelden tilgang til data.
Sammendrag
- Big Data-definisjon: Big Data betyr data som er enorm i størrelse. Bigdata er et begrep som brukes for å beskrive en samling av data som er enorm i størrelse og som likevel vokser eksponentielt med tiden.
- Eksempler på Big Data-analyse inkluderer børser, sosiale medier, jetmotorer, etc.
- Big Data kan være 1) strukturert, 2) ustrukturert, 3) semi-strukturert
- Volum, variasjon, hastighet og variasjon er få Big Data-egenskaper
- Forbedret kundeservice, bedre driftseffektivitet, bedre beslutningstaking er få fordeler med Bigdata
