Che cosa sono i Big Data? Tipologie, caratteristiche ed esempi.
Prafulla Ranadive
⚡ Riepilogo intelligente
I Big Data descrivono insiemi di informazioni talmente vasti, vari e in continuo cambiamento che i normali strumenti di database non sono in grado di memorizzarli o elaborarli; ecco perché si sono rese necessarie piattaforme distribuite e nuovi metodi di analisi.
Prima di addentrarci nell'introduzione ai Big Data, è necessario innanzitutto capire cosa siano i dati stessi.
Che cosa sono i dati?
I dati sono le quantità, i caratteri o i simboli su cui vengono eseguite operazioni da un computer, che possono essere memorizzati e transmittrasmessi sotto forma di segnali elettrici e registrati su supporti di registrazione magnetici, ottici o meccanici.
Ora, esaminiamo la definizione di Big Data.
Che cosa sono i Big Data?
Big Data Si tratta di una raccolta di dati di volume enorme, che cresce esponenzialmente nel tempo. Sono dati di dimensioni e complessità tali che nessuno degli strumenti tradizionali di gestione dei dati è in grado di archiviarli o elaborarli in modo efficiente. I Big Data sono pur sempre dati, ma di dimensioni tali da mettere in crisi gli strumenti tradizionali.
Il diagramma sottostante mette a confronto tale definizione con i dati ordinari che un'organizzazione già gestisce, in modo che il salto di scala sia facilmente visibile.
Che cosa sono i Big Data?
Qual è un esempio di Big Data?
Di seguito alcuni esempi di Big Data:
Dati di Borsa
Migliori New York Stock Exchange è un esempio di Big Data che genera circa un terabyte di nuovi dati commerciali al giorno.
Media sosial
La statistica lo dimostra 500+terabyte dei nuovi dati vengono inseriti nei database dei siti di social media Facebook, ogni giorno. Questi dati vengono generati principalmente in termini di caricamento di foto e video, scambio di messaggi, inserimento di commenti, ecc.
Motori jet
Un singolo Motore a reazione può generare 10+terabyte di dati in 30 minuti del tempo di volo. Con molte migliaia di voli al giorno, la generazione di dati arriva a molti Petabyte.
Queste tre cifre sono istantanee per fonte del periodo in cui gli esempi sono stati pubblicati per la prima volta, e da allora sono solo cresciute. Per avere un'idea della scala attuale, il mondo intero crea ora circa 402 milioni di terabyte di dati ogni giorno, portando il totale annuo del 2026 a track per più di 200 zettabyte.
Tipi di Big Data
Di seguito sono riportati i tipi di Big Data:
- Strutturato
- non strutturati
- Semi-strutturato
Strutturato
Qualsiasi dato che può essere memorizzato, consultato ed elaborato in un formato fisso è definito "dati strutturati". Nel corso del tempo, l'informatica ha ottenuto grandi successi nello sviluppoping Tecniche per lavorare con questo tipo di dati, il cui formato è noto in anticipo, e per ricavarne valore. Tuttavia, ora ci troviamo di fronte a problemi quando la dimensione di tali dati cresce in modo considerevole, con dimensioni tipiche che raggiungono diversi zettabyte.
Lo sai? Uno zettabyte è 1021 bytes, Che ha un miliardo di terabyte.
Osservando questi dati, si comprende facilmente perché si parli di Big Data e si possono immaginare le sfide legate alla loro archiviazione ed elaborazione.
Lo sai? I dati memorizzati in un sistema di gestione di database relazionali sono un esempio di 'strutturato' dati.
Esempi di dati strutturati
Una tabella "Dipendenti" in un database è un esempio di dati strutturati. Ogni riga ha le stesse cinque colonne e ogni colonna ha un tipo noto, il che rende i dati facili da interrogare.
| Numero Identità dell'impiegato | Nome dipendente | Genere | Shirts Department | Stipendio_In_lacs |
|---|---|---|---|---|
| 2365 | Rajesh Kulkarni | Maschio | Finanza | 650000 |
| 3398 | Pratibha Joshi | Femmina | Admin | 650000 |
| 7465 | Shushil Roy | Maschio | Admin | 500000 |
| 7500 | Shubhojit Das | Maschio | Finanza | 500000 |
| 7699 | Priya Sane | Femmina | Finanza | 550000 |
non strutturati
Qualsiasi dato con una forma o struttura sconosciuta viene classificato come dato non strutturato. Oltre alle dimensioni enormi, i dati non strutturati presentano molteplici sfide in termini di elaborazione per ricavarne valore. Un tipico esempio di dati non strutturati è una fonte di dati eterogenea contenente una combinazione di semplici file di testo, immagini, video, ecc. Oggi le organizzazioni dispongono di una grande quantità di dati, ma purtroppo non sanno come ricavarne valore, poiché questi dati sono in formato grezzo o non strutturato.
Esempi di dati non strutturati
L'output restituito da 'Google La ricerca non è strutturata: la stessa query restituisce pagine, immagini, frammenti di testo e link senza alcuno schema comune alla base.
Esempio di dati non strutturati
Semi-strutturato
I dati semistrutturati possono contenere entrambe le forme sopra descritte. Appaiono strutturati, ma non sono definiti da uno schema formale come la definizione di una tabella in un database relazionale. DBMSUn esempio comune di dati semistrutturati è rappresentato in un file XML. I documenti JSON e le righe di log con coppie chiave-valore rientrano nella stessa categoria.
Esempi di dati semistrutturati
Dati personali archiviati in un file XML-
<rec><name>Prashant Rao</name><sex>Male</sex><age>35</age></rec> <rec><name>Seema R.</name><sex>Female</sex><age>41</age></rec> <rec><name>Satish Mane</name><sex>Male</sex><age>29</age></rec> <rec><name>Subrato Roy</name><sex>Male</sex><age>26</age></rec> <rec><name>Jeremiah J.</name><sex>Male</sex><age>35</age></rec>
Crescita dei dati nel corso degli anni
Il grafico qui sotto tracsa come il mix di dati strutturati e non strutturati si sia modificato con l'aumento del volume totale.
Crescita dei dati nel corso degli anni
Tieni presente che web application I dati non strutturati sono costituiti da file di log, file di cronologia delle transazioni, ecc. I sistemi OLTP sono progettati per lavorare con dati strutturati, in cui i dati sono memorizzati in relazioni (tabelle).
Caratteristiche dei Big Data
I Big Data possono essere descritti dalle seguenti caratteristiche:
- Volume
- Variety
- Velocità
- Variabilità
(i) Volume – Il nome Big Data stesso è legato a una dimensione enorme. La dimensione dei dati gioca un ruolo cruciale nel determinare il valore che se ne può ricavare. Inoltre, il fatto che un particolare insieme di dati possa essere effettivamente considerato Big Data o meno dipende dal suo volume. Pertanto, 'Volume' è una caratteristica che deve essere considerata quando si affrontano soluzioni Big Data.
(ii) Varietà – Il prossimo aspetto dei Big Data è il suo varietà.
La varietà si riferisce all'eterogeneità delle fonti e alla natura dei dati, sia strutturati che non strutturati. In passato, fogli di calcolo e database erano le uniche fonti di dati considerate dalla maggior parte delle applicazioni. Oggi, anche dati come e-mail, foto, video, dispositivi di monitoraggio, PDF, audio, ecc. vengono presi in considerazione nelle applicazioni di analisi. Questa varietà di dati non strutturati pone alcune problematiche per l'archiviazione, l'estrazione e l'analisi dei dati.
(iii) Velocità – Il termine 'velocità' Si riferisce alla velocità di generazione dei dati. La rapidità con cui i dati vengono generati ed elaborati per soddisfare la domanda determina il reale potenziale dei dati stessi.
La velocità dei Big Data riguarda la velocità con cui i dati fluiscono da fonti come processi aziendali, log delle applicazioni, reti, siti di social media, sensori, mobile dispositivi, ecc. Il flusso di dati è massiccio e continuo.
(iv) Variabilità – Ciò si riferisce all'incoerenza che a volte può essere mostrata dai dati, ostacolando così il processo di capacità di gestire e gestire i dati in modo efficace.
Oggi a tale elenco si aggiungono comunemente altre due caratteristiche, dando origine alle cosiddette "cinque V":
- veracità – quanto siano affidabili e precisi i dati. Record duplicati, deriva del sensore e campi mancanti riducono la veridicità, e nessun volume di dati può compensare questo difetto.
- Valore – il valore effettivo dei dati una volta analizzati. I dati che non vengono mai trasformati in decisioni comportano solo costi di archiviazione aggiuntivi.
Vantaggi dell'elaborazione dei Big Data
La capacità di elaborare Big Data in un DBMS offre molteplici vantaggi, come ad esempio:
Le aziende possono utilizzare informazioni esterne per prendere decisioni.
Accesso ai dati sociali da motori di ricerca Siti come Facebook e X (precedentemente Twitter) consentono alle organizzazioni di affinare le proprie strategie aziendali.
Servizio clienti migliorato
I tradizionali sistemi di feedback dei clienti vengono sostituiti da nuovi sistemi progettati con tecnologie Big Data. In questi nuovi sistemi, i Big Data e le tecnologie di elaborazione del linguaggio naturale vengono utilizzati per leggere e valutare le risposte dei consumatori.
Identificazione precoce dei rischi relativi a prodotti e servizi
Eseguire analisi continue su registri delle transazioni, letture dei sensori e ticket di assistenza permette di individuare difetti, schemi di frode e disservizi quando sono ancora di lieve entità, anziché attendere un report mensile per scoprirli.
Meglio Operaefficienza nazionale
Le tecnologie Big Data possono essere utilizzate per creare un'area di staging o una zona di atterraggio per i nuovi dati prima di identificare cosa dovrebbe essere spostato nella data warehouseInoltre, tale integrazione tra le tecnologie Big Data e il data warehouse aiuta un'organizzazione a gestire i dati a cui si accede raramente.
