Što su veliki podaci? Vrste, karakteristike i primjeri

Prije nego što prijeđemo na uvod u velike podatke, prvo morate znati što su sami podaci.

Što su podaci?

Podaci su količine, znakovi ili simboli nad kojima računalo izvodi operacije, a koji se mogu pohraniti i transmitu obliku električnih signala i snimljeni na magnetskim, optičkim ili mehaničkim medijima za snimanje.

Sada, pogledajmo definiciju velikih podataka.

Što su veliki podaci?

Big Podaci je skup podataka koji je ogroman po volumenu, a s vremenom eksponencijalno raste. To su podaci toliko velike veličine i složenosti da ih nijedan tradicionalni alat za upravljanje podacima ne može učinkovito pohraniti ili obraditi. Veliki podaci (Big Data) su i dalje podaci, ali veličine koja nadmašuje uobičajene alate.

Donji dijagram uspoređuje tu definiciju s uobičajenim podacima koje organizacija već obrađuje, tako da je skok u opsegu lako uočljiv.

Što su veliki podaci?

Što je primjer Big Data?

Slijede neki od primjera Big Data-

Podaci burze

The New York Stock Exchange je primjer Big Data koji generira oko jedan terabajt novih trgovinskih podataka po danu.

Društveni mediji

Statistika to pokazuje 500+terabajta novih podataka unosi se u baze podataka društvenih medija Facebook, svaki dan. Ovi se podaci uglavnom generiraju u smislu prijenosa fotografija i videozapisa, razmjene poruka, stavljanja komentara itd.

Avionski motori

Jedan sam Mlazni motor može generirati 10+terabajta podataka u 30 minuta vremena leta. S mnogo tisuća letova dnevno, generiranje podataka doseže do mnogo Petabajti.

Ove tri brojke su snimke po izvoru iz razdoblja kada su primjeri prvi put objavljeni i od tada su samo rasle. Za trenutni osjećaj razmjera, svijet u cjelini sada stvara otprilike 402 milijuna terabajta podataka svaki dan, stavljajući godišnji ukupan iznos za 2026. track za više od 200 zettabajta.

Vrste velikih podataka

Slijede vrste Big Data:

1. Strukturirani
2. Nestrukturiran
3. Polustrukturirano

Strukturirani

Svi podaci koji se mogu pohraniti, pristupiti im i obraditi u fiksnom formatu nazivaju se 'strukturiranim' podacima. Tijekom vremena, računalna znanost postigla je veliki uspjeh u razvojuping tehnike za rad s ovom vrstom podataka, gdje je format unaprijed dobro poznat, i za izvlačenje vrijednosti iz njega. Međutim, sada se suočavamo s problemima kada veličina takvih podataka enormno naraste, s tipičnim veličinama koje dosežu više zetabajta.

Znate li? Jedan zettabajt je 10²¹ bajtova, Što je jedna milijarda terabajta.

Gledajući ove brojke lako je razumjeti zašto se daje naziv Veliki podaci i zamisliti izazove povezane s njihovom pohranom i obradom.

Znate li? Podaci pohranjeni u relacijskom sustavu za upravljanje bazama podataka jedan su primjer 'strukturirano' podatke.

Primjeri strukturiranih podataka

Tablica 'Zaposlenik' u bazi podataka primjer je strukturiranih podataka. Svaki redak ima istih pet stupaca, a svaki stupac ima poznati tip, što upravo olakšava upite o podacima.

Nestrukturiran

Svi podaci nepoznatog oblika ili strukture klasificirani su kao nestrukturirani podaci. Osim što su ogromne veličine, nestrukturirani podaci predstavljaju višestruke izazove u smislu njihove obrade radi izvlačenja vrijednosti. Tipičan primjer nestrukturiranih podataka je heterogeni izvor podataka koji sadrži kombinaciju jednostavnih tekstualnih datoteka, slika, videozapisa itd. Danas organizacije imaju bogatstvo dostupnih podataka, ali nažalost ne znaju kako iz njih izvući vrijednost, budući da su ti podaci u sirovom ili nestrukturiranom formatu.

Primjeri nestrukturiranih podataka

Izlaz koji vraća 'Google 'Pretraživanje' je nestrukturirano: isti upit vraća stranice, slike, isječke i poveznice bez zajedničke sheme koja stoji iza njih.

Primjer nestrukturiranih podataka

Polustrukturirano

Polustrukturirani podaci mogu sadržavati oba gore navedena oblika. Izgledaju strukturirano, ali nisu definirani formalnom shemom kao što je definicija tablice u relacijskom sustavu. DBMSUobičajeni primjer polustrukturiranih podataka su podaci predstavljeni u XML datoteci. JSON dokumenti i zapisnici s parovima ključ-vrijednost spadaju u istu kategoriju.

Primjeri polustrukturiranih podataka

Osobni podaci pohranjeni u XML datoteci-

<rec><name>Prashant Rao</name><sex>Male</sex><age>35</age></rec>
<rec><name>Seema R.</name><sex>Female</sex><age>41</age></rec>
<rec><name>Satish Mane</name><sex>Male</sex><age>29</age></rec>
<rec><name>Subrato Roy</name><sex>Male</sex><age>26</age></rec>
<rec><name>Jeremiah J.</name><sex>Male</sex><age>35</age></rec>

Rast podataka tijekom godina

Grafikon ispod tracpokazuje kako se mješavina strukturiranih i nestrukturiranih podataka promijenila s porastom ukupnog volumena.

Rast podataka tijekom godina

Imajte na umu da web aplikacija Nestrukturirani podaci sastoje se od datoteka zapisnika, datoteka povijesti transakcija itd. OLTP sustavi izgrađeni su za rad sa strukturiranim podacima, pri čemu se podaci pohranjuju u relacije (tablice).

Karakteristike velikih podataka

Velike podatke možemo opisati sljedećim karakteristikama:

• Volumen
• Raznolikost
• Brzina
• Varijabilnost

(i) Volumen – Sam naziv Veliki podaci povezan je s ogromnom veličinom. Veličina podataka igra vrlo važnu ulogu u određivanju vrijednosti koja se iz njih može izvući. Također, može li se određeni skup podataka zapravo smatrati Velikim podacima ili ne ovisi o njegovom obujmu. Dakle, 'Volumen' jedna je karakteristika koju treba uzeti u obzir pri radu s Big Data rješenjima.

(ii) Raznolikost – Sljedeći aspekt Big Data je njegov raznovrsnost.

Raznolikost se odnosi na heterogene izvore i prirodu podataka, i strukturiranih i nestrukturiranih. U prošlosti su proračunske tablice i baze podataka bili jedini izvori podataka koje je većina aplikacija uzimala u obzir. Danas se u analitičkim aplikacijama uzimaju u obzir i podaci u obliku e-pošte, fotografija, videozapisa, uređaja za praćenje, PDF-ova, zvuka itd. Ova raznolikost nestrukturiranih podataka predstavlja određene probleme za pohranu, rudarenje i analizu podataka.

(iii) Brzina – Pojam 'brzina' odnosi se na brzinu generiranja podataka. Brzina kojom se podaci generiraju i obrađuju kako bi se zadovoljila potražnja određuje stvarni potencijal podataka.

Brzina velikih podataka odnosi se na brzinu kojom podaci pristižu iz izvora poput poslovnih procesa, aplikacijskih zapisnika, mreža, društvenih mreža, senzora, mobilni uređaji itd. Protok podataka je masivan i kontinuiran.

(iv) Varijabilnost – To se odnosi na nekonzistentnost koja se ponekad može pokazati u podacima, čime se otežava proces mogućnosti učinkovitog rukovanja i upravljanja podacima.

Tom se popisu danas obično dodaju još dvije karakteristike, dajući često citiranih „pet V“:

• Istinitost – koliko su podaci pouzdani i točni. Duplicirani zapisi, pomak senzora i nedostajuća polja smanjuju vjerodostojnost, a nikakva količina to ne nadoknađuje.
• Još malo brojeva – koliko podaci zapravo vrijede nakon analize. Podaci koji se nikada ne pretvore u odluku samo povećavaju troškove pohrane.

Prednosti obrade velikih podataka

Mogućnost obrade velikih podataka u DBMS-u donosi višestruke prednosti, kao što su-

Tvrtke mogu koristiti vanjske obavještajne podatke prilikom donošenja odluka

Pristup društvenim podacima iz tražilice i stranice poput Facebooka i X-a (prije poznatog kao Twitter) omogućuju organizacijama da fino podese svoje poslovne strategije.

Poboljšana služba za korisnike

Tradicionalni sustavi za povratne informacije od kupaca zamjenjuju se novim sustavima dizajniranim s Big Data tehnologijama. U tim novim sustavima, Big Data i tehnologije obrade prirodnog jezika koriste se za čitanje i procjenu odgovora potrošača.

Rana identifikacija rizika za proizvode i usluge

Kontinuiranom analizom zapisa transakcija, očitanja senzora i zahtjeva za podršku otkrivaju se nedostaci, obrasci prijevara i kvarovi u uslugama dok su još mali, umjesto čekanja na mjesečno izvješće koje će ih otkriti.

Bolje Operacionalna učinkovitost

Tehnologije velikih podataka mogu se koristiti za stvaranje pripremnog područja ili zone za nove podatke prije nego što se utvrdi što treba premjestiti u skladište podatakaOsim toga, takva integracija Big Data tehnologija i skladišta podataka pomaže organizaciji da se riješi podataka kojima se rijetko pristupa.

Pitanja i odgovori