Ce sunt Big Data? Tipuri, caracteristici și exemple

Înainte de a trece la introducerea în Big Data, trebuie mai întâi să știi ce sunt datele în sine.

Ce sunt datele?

Datele reprezintă cantitățile, caracterele sau simbolurile asupra cărora un calculator efectuează operațiuni, care pot fi stocate și transmittransmise sub formă de semnale electrice și înregistrate pe suporturi de înregistrare magnetice, optice sau mecanice.

Acum, să analizăm definiția Big Data.

Ce este Big Data?

Datele mari este o colecție de date cu un volum imens, care însă crește exponențial în timp. Sunt date de o dimensiune și o complexitate atât de mari încât niciunul dintre instrumentele tradiționale de gestionare a datelor nu le poate stoca sau procesa eficient. Big Data este tot date, dar de o dimensiune care depășește limitele instrumentelor obișnuite.

Diagrama de mai jos compară această definiție cu datele obișnuite pe care o organizație le gestionează deja, astfel încât creșterea de scară este ușor de observat.

Ce este Big Data?

Ce este un exemplu de Big Data?

Iată câteva dintre exemplele de Big Data -

Datele Bursei de Valori

New York Stock Exchange este un exemplu de Big Data care generează aproximativ un terabyte de noi date comerciale pe zi.

Social Media

Statistica arată că 500+teraocteți de date noi sunt ingerate în bazele de date ale site-ului de social media Facebook, în fiecare zi. Aceste date sunt generate în principal în ceea ce privește încărcările de fotografii și videoclipuri, schimburile de mesaje, punerea de comentarii etc.

Motoare cu reactie

Un singur Motor turboreactor poate genera 10+teraocteți de date în 30 minute a timpului de zbor. Cu multe mii de zboruri pe zi, generarea de date ajunge la mulți Petabytes.

Aceste trei cifre sunt instantanee per sursă din perioada în care exemplele au fost publicate pentru prima dată și au crescut doar de atunci. Pentru o imagine actuală a scalei, lumea în ansamblu creează acum aproximativ 402 milioane de terabytes de date în fiecare zi, plasând totalul anual din 2026 la track pentru mai mult de 200 de zettaocteți.

Tipuri de Big Data

Următoarele sunt tipurile de Big Data:

1. structurat
2. Nestructurat
3. Semi-structurat

structurat

Orice date care pot fi stocate, accesate și procesate într-un format fix sunt denumite date „structurate”. De-a lungul timpului, informatica a obținut un mare succes în dezvoltareaping tehnici de lucru cu acest tip de date, unde formatul este bine cunoscut dinainte, și pentru obținerea valorii din acesta. Cu toate acestea, ne confruntăm acum cu probleme atunci când dimensiunea unor astfel de date crește enorm, dimensiunile tipice ajungând la mai mulți zettabytes.

Tu stii? Un zettabyte este 10²¹ bytes, Care este un miliard de terabyți.

Privind aceste cifre, se poate înțelege cu ușurință de ce este numită Big Data și se pot imagina provocările implicate în stocarea și procesarea lor.

Tu stii? Datele stocate într-un sistem de gestionare a bazelor de date relaționale sunt un exemplu de „structurat” de date.

Exemple de date structurate

Un tabel „Angajați” dintr-o bază de date este un exemplu de date structurate. Fiecare rând are aceleași cinci coloane, iar fiecare coloană are un tip cunoscut, ceea ce face ca datele să fie ușor de interogat.

Nestructurat

Orice date cu o formă sau structură necunoscută sunt clasificate drept date nestructurate. Pe lângă dimensiunea lor uriașă, datele nestructurate prezintă multiple provocări în ceea ce privește procesarea lor pentru a le obține valoare. Un exemplu tipic de date nestructurate este o sursă de date eterogenă care conține o combinație de fișiere text simple, imagini, videoclipuri etc. În zilele noastre, organizațiile au la dispoziție o multitudine de date, dar, din păcate, nu știu cum să obțină valoare din acestea, deoarece aceste date sunt în format brut sau nestructurat.

Exemple de date nestructurate

Rezultatul returnat de 'Google „Căutarea” este nestructurată: aceeași interogare returnează pagini, imagini, fragmente și linkuri fără o schemă comună în spatele lor.

Exemplu de date nestructurate

Semi-structurat

Datele semi-structurate pot conține ambele forme de mai sus. Acestea par structurate, dar nu sunt definite de o schemă formală, cum ar fi definiția unui tabel într-o rețea relațională. Baze de dateUn exemplu comun de date semi-structurate sunt datele reprezentate într-un fișier XML. Documentele JSON și liniile de jurnal cu perechi cheie-valoare se încadrează în aceeași categorie.

Exemple de date semistructurate

Date personale stocate într-un fișier XML -

<rec><name>Prashant Rao</name><sex>Male</sex><age>35</age></rec>
<rec><name>Seema R.</name><sex>Female</sex><age>41</age></rec>
<rec><name>Satish Mane</name><sex>Male</sex><age>29</age></rec>
<rec><name>Subrato Roy</name><sex>Male</sex><age>26</age></rec>
<rec><name>Jeremiah J.</name><sex>Male</sex><age>35</age></rec>

Creșterea datelor de-a lungul anilor

Graficul de mai jos tracks cum s-a schimbat mixul de date structurate și nestructurate odată cu creșterea volumului total.

Creșterea datelor de-a lungul anilor

Vă rugăm să reţineţi că aplicatie web Datele, care sunt nestructurate, constau din fișiere jurnal, fișiere istoric tranzacții etc. Sistemele OLTP sunt construite pentru a lucra cu date structurate, în care datele sunt stocate în relații (tabele).

Caracteristicile Big Data

Big Data poate fi descrisă prin următoarele caracteristici:

• Volum
• Varietate
• Viteză
• Variabilitate

(i) Volumul - Însuși numele Big Data este legat de o dimensiune enormă. Dimensiunea datelor joacă un rol crucial în determinarea valorii care poate fi extrasă din acestea. De asemenea, dacă un anumit set de date poate fi considerat Big Data sau nu depinde de volumul său. Prin urmare, 'Volum' este o caracteristică care trebuie luată în considerare atunci când se ocupă de soluții Big Data.

(ii) Varietate - Următorul aspect al Big Data este acesta varietate.

Varietatea se referă la surse eterogene și la natura datelor, atât structurate, cât și nestructurate. În trecut, foile de calcul și bazele de date erau singurele surse de date luate în considerare de majoritatea aplicațiilor. În zilele noastre, datele sub formă de e-mailuri, fotografii, videoclipuri, dispozitive de monitorizare, PDF-uri, fișiere audio etc. sunt, de asemenea, luate în considerare în aplicațiile de analiză. Această varietate de date nestructurate prezintă anumite probleme pentru stocarea, extragerea și analizarea datelor.

(iii) Viteza – Termenul 'viteză' se referă la viteza de generare a datelor. Cât de repede sunt generate și procesate datele pentru a satisface cererea determină potențialul real al datelor.

Viteza Big Data se referă la viteza cu care datele circulă din surse precum procese de business, jurnalele aplicațiilor, rețele, site-uri de socializare, senzori. mobil dispozitive etc. Fluxul de date este masiv și continuu.

(iv) Variabilitatea – Aceasta se referă la inconsecvența care poate fi arătată de date uneori, împiedicând astfel procesul de a putea gestiona și gestiona datele în mod eficient.

Încă două caracteristici sunt adăugate în mod obișnuit la această listă astăzi, dând naștere celor „cinci V” citate pe scară largă:

• Veridicitatea – cât de fiabile și precise sunt datele. Înregistrările duplicate, abaterile senzorilor și câmpurile lipsă reduc veridicitatea, iar volumul acestora nu poate compensa acest lucru.
• Valoare – cât valorează datele în realitate odată analizate. Datele care nu sunt niciodată transformate într-o decizie nu fac decât să adauge costuri de stocare.

Avantajele procesării Big Data

Capacitatea de a procesa Big Data într-un SGBD aduce multiple beneficii, cum ar fi:

Companiile pot folosi informații externe atunci când iau decizii

Acces la datele sociale de la motoarele de căutare iar site-uri precum Facebook și X (fostul Twitter) permit organizațiilor să își ajusteze strategiile de afaceri.

Serviciu Clienți îmbunătățit

Sistemele tradiționale de feedback ale clienților sunt înlocuite de sisteme noi, concepute cu tehnologii Big Data. În aceste noi sisteme, tehnologiile Big Data și de procesare a limbajului natural sunt utilizate pentru a citi și evalua răspunsurile consumatorilor.

Identificarea timpurie a riscurilor pentru produse și servicii

Rularea continuă a analizelor asupra înregistrărilor tranzacțiilor, citirilor senzorilor și tichetelor de asistență scoate la iveală defecte, tipare de fraudă și defecțiuni ale serviciilor cât timp acestea sunt încă minore, în loc să aștepte un raport lunar care să le dezvăluie.

Mai bine OperaEficiență națională

Tehnologiile Big Data pot fi utilizate pentru a crea o zonă de așteptare sau o zonă de aterizare pentru datele noi înainte de a identifica ce ar trebui mutat în depozit de dateÎn plus, o astfel de integrare a tehnologiilor Big Data și a depozitului de date ajută o organizație să descarce datele accesate rar.

Întrebări frecvente