Τι είναι τα Μεγάλα Δεδομένα; ​​Τύποι, Χαρακτηριστικά & Παραδείγματα

Πριν προχωρήσουμε στην εισαγωγή στα Μεγάλα Δεδομένα, πρέπει πρώτα να γνωρίζουμε τι είναι τα ίδια τα δεδομένα.

Τι είναι τα Δεδομένα;

Τα δεδομένα είναι οι ποσότητες, οι χαρακτήρες ή τα σύμβολα στα οποία εκτελούνται λειτουργίες από έναν υπολογιστή, τα οποία μπορούν να αποθηκευτούν και transmitμε τη μορφή ηλεκτρικών σημάτων και καταγράφονται σε μαγνητικά, οπτικά ή μηχανικά μέσα εγγραφής.

Τώρα, ας δούμε τον ορισμό των Μεγάλων Δεδομένων.

Τι είναι το Big Data;

Big Data είναι μια συλλογή δεδομένων που έχει τεράστιο όγκο, αλλά αυξάνεται εκθετικά με την πάροδο του χρόνου. Πρόκειται για δεδομένα τόσο μεγάλου μεγέθους και πολυπλοκότητας που κανένα από τα παραδοσιακά εργαλεία διαχείρισης δεδομένων δεν μπορεί να τα αποθηκεύσει ή να τα επεξεργαστεί αποτελεσματικά. Τα Μεγάλα Δεδομένα εξακολουθούν να είναι δεδομένα, αλλά σε μέγεθος που ξεπερνά τα συνήθη εργαλεία.

Το παρακάτω διάγραμμα αντιπαραβάλλει αυτόν τον ορισμό με τα συνηθισμένα δεδομένα που ήδη χειρίζεται ένας οργανισμός, επομένως η αύξηση της κλίμακας είναι εύκολα αντιληπτή.

Τι είναι το Big Data;

Τι είναι ένα Παράδειγμα Μεγάλων Δεδομένων;

Ακολουθούν μερικά από τα παραδείγματα Big Data-

Δεδομένα Χρηματιστηρίου

The New York Stock Exchange είναι ένα παράδειγμα Big Data που δημιουργεί περίπου ένα terabyte νέα δεδομένα συναλλαγών ανά ημέρα.

Social Media

Η στατιστική το δείχνει 500+ terabyte των νέων δεδομένων εισέρχονται στις βάσεις δεδομένων του ιστότοπου κοινωνικών μέσων Facebook, κάθε μέρα. Αυτά τα δεδομένα παράγονται κυρίως όσον αφορά τις μεταφορτώσεις φωτογραφιών και βίντεο, τις ανταλλαγές μηνυμάτων, την υποβολή σχολίων κ.λπ.

Μηχανές αεροσκάφους

Ενα μονό Μηχανή αεροπλάνου μπορεί να δημιουργήσει 10+ terabyte των δεδομένων σε 30 λεπτά του χρόνου πτήσης. Με πολλές χιλιάδες πτήσεις την ημέρα, η παραγωγή δεδομένων φτάνει σε πολλές Petabytes.

Αυτά τα τρία στοιχεία είναι στιγμιότυπα ανά πηγή από την περίοδο που δημοσιεύθηκαν για πρώτη φορά τα παραδείγματα και έκτοτε έχουν αυξηθεί μόνο. ​​Για μια τρέχουσα αίσθηση κλίμακας, ο κόσμος ως σύνολο δημιουργεί τώρα περίπου 402 εκατομμύρια terabytes δεδομένων κάθε μέρα, τοποθετώντας το ετήσιο σύνολο του 2026 σε track για περισσότερα από 200 zettabytes.

Τύποι μεγάλων δεδομένων

Ακολουθούν οι τύποι Big Data:

1. Δομημένος
2. Αδόμητες
3. Ημιδομημένος

Δομημένος

Οποιαδήποτε δεδομένα που μπορούν να αποθηκευτούν, να προσπελαστούν και να υποστούν επεξεργασία σε σταθερή μορφή ονομάζονται «δομημένα» δεδομένα. Με την πάροδο του χρόνου, η επιστήμη των υπολογιστών έχει σημειώσει μεγάλη επιτυχία στην ανάπτυξηping τεχνικές για την εργασία με αυτό το είδος δεδομένων, όπου η μορφή είναι γνωστή εκ των προτέρων, και για την εξαγωγή αξίας από αυτήν. Ωστόσο, τώρα αντιμετωπίζουμε προβλήματα όταν το μέγεθος τέτοιων δεδομένων αυξάνεται σε τεράστιο βαθμό, με τυπικά μεγέθη να φτάνουν σε πολλά zettabytes.

Γνωρίζεις? Ένα ζέταμπαϊτ είναι 10²¹ bytes, Η οποία είναι ένα δισεκατομμύριο terabyte.

Κοιτάζοντας αυτά τα στοιχεία, μπορεί κανείς εύκολα να καταλάβει γιατί δίνεται η ονομασία Μεγάλα Δεδομένα και να φανταστεί τις προκλήσεις που συνεπάγεται η αποθήκευση και η επεξεργασία τους.

Γνωρίζεις? Τα δεδομένα που αποθηκεύονται σε ένα σύστημα διαχείρισης σχεσιακών βάσεων δεδομένων είναι ένα παράδειγμα 'δομημένος' δεδομένων.

Παραδείγματα δομημένων δεδομένων

Ένας πίνακας «Υπάλληλος» σε μια βάση δεδομένων είναι ένα παράδειγμα δομημένων δεδομένων. Κάθε γραμμή έχει τις ίδιες πέντε στήλες και κάθε στήλη έχει έναν γνωστό τύπο, κάτι που ακριβώς κάνει τα δεδομένα εύκολα στην υποβολή ερωτημάτων.

Αδόμητες

Οποιαδήποτε δεδομένα με άγνωστη μορφή ή δομή ταξινομούνται ως μη δομημένα δεδομένα. Εκτός από το τεράστιο μέγεθός τους, τα μη δομημένα δεδομένα θέτουν πολλαπλές προκλήσεις όσον αφορά την επεξεργασία τους για την εξαγωγή αξίας. Ένα τυπικό παράδειγμα μη δομημένων δεδομένων είναι μια ετερογενής πηγή δεδομένων που περιέχει έναν συνδυασμό απλών αρχείων κειμένου, εικόνων, βίντεο κ.λπ. Στις μέρες μας, οι οργανισμοί έχουν στη διάθεσή τους μια πληθώρα δεδομένων, αλλά δυστυχώς δεν γνωρίζουν πώς να αντλήσουν αξία από αυτά, καθώς αυτά τα δεδομένα βρίσκονται σε ακατέργαστη ή μη δομημένη μορφή.

Παραδείγματα μη δομημένων δεδομένων

Η έξοδος που επιστρέφεται από το 'Google Η «Αναζήτηση» είναι μη δομημένη: το ίδιο ερώτημα επιστρέφει σελίδες, εικόνες, αποσπάσματα και συνδέσμους χωρίς κοινό σχήμα πίσω από αυτά.

Παράδειγμα μη δομημένων δεδομένων

Ημιδομημένος

Τα ημιδομημένα δεδομένα μπορούν να περιέχουν και τις δύο παραπάνω μορφές. Φαίνονται δομημένα, αλλά δεν ορίζονται από ένα επίσημο σχήμα, όπως ένας ορισμός πίνακα σε ένα σχεσιακό σύστημα. DBMSΈνα συνηθισμένο παράδειγμα ημιδομημένων δεδομένων είναι τα δεδομένα που αναπαρίστανται σε ένα αρχείο XML. Τα έγγραφα JSON και οι γραμμές καταγραφής με ζεύγη κλειδιού-τιμής εμπίπτουν στην ίδια κατηγορία.

Παραδείγματα Ημιδομημένων Δεδομένων

Προσωπικά δεδομένα που είναι αποθηκευμένα σε αρχείο XML-

<rec><name>Prashant Rao</name><sex>Male</sex><age>35</age></rec>
<rec><name>Seema R.</name><sex>Female</sex><age>41</age></rec>
<rec><name>Satish Mane</name><sex>Male</sex><age>29</age></rec>
<rec><name>Subrato Roy</name><sex>Male</sex><age>26</age></rec>
<rec><name>Jeremiah J.</name><sex>Male</sex><age>35</age></rec>

Αύξηση Δεδομένων με την πάροδο των ετών

Το παρακάτω διάγραμμα tracks πώς έχει μεταβληθεί το μείγμα δομημένων και αδόμητων δεδομένων καθώς ο συνολικός όγκος έχει αυξηθεί.

Αύξηση δεδομένων με τα χρόνια

Παρακαλώ σημειώστε ότι εφαρμογή ιστού Τα δεδομένα, τα οποία είναι μη δομημένα, αποτελούνται από αρχεία καταγραφής, αρχεία ιστορικού συναλλαγών κ.λπ. Τα συστήματα OLTP έχουν σχεδιαστεί για να λειτουργούν με δομημένα δεδομένα, όπου τα δεδομένα αποθηκεύονται σε σχέσεις (πίνακες).

Χαρακτηριστικά Μεγάλων Δεδομένων

Τα Μεγάλα Δεδομένα μπορούν να περιγραφούν από τα ακόλουθα χαρακτηριστικά:

• Τόμος
• Ποικιλία
• Ταχύτητα
• Μεταβλητότητα

(i) Τόμος – Το ίδιο το όνομα Μεγάλα Δεδομένα σχετίζεται με ένα τεράστιο μέγεθος. Το μέγεθος των δεδομένων παίζει πολύ κρίσιμο ρόλο στον προσδιορισμό της αξίας που μπορεί να αντληθεί από αυτά. Επίσης, το αν ένα συγκεκριμένο σύνολο δεδομένων μπορεί στην πραγματικότητα να θεωρηθεί Μεγάλα Δεδομένα ή όχι εξαρτάται από τον όγκο του. Ως εκ τούτου, 'Ενταση ΗΧΟΥ' είναι ένα χαρακτηριστικό που πρέπει να λαμβάνεται υπόψη όταν ασχολούμαστε με λύσεις Big Data.

(ii) Ποικιλία - Η επόμενη πτυχή των Big Data είναι αυτή ποικιλία.

Η ποικιλία αναφέρεται σε ετερογενείς πηγές και στη φύση των δεδομένων, τόσο των δομημένων όσο και των μη δομημένων. Παλαιότερα, τα υπολογιστικά φύλλα και οι βάσεις δεδομένων ήταν οι μόνες πηγές δεδομένων που λαμβάνονταν υπόψη από τις περισσότερες εφαρμογές. Σήμερα, δεδομένα με τη μορφή email, φωτογραφιών, βίντεο, συσκευών παρακολούθησης, PDF, ήχου κ.λπ. λαμβάνονται επίσης υπόψη στις εφαρμογές ανάλυσης. Αυτή η ποικιλία μη δομημένων δεδομένων θέτει ορισμένα ζητήματα για την αποθήκευση, την εξόρυξη και την ανάλυση δεδομένων.

(iii) Ταχύτητα – Ο όρος 'ταχύτητα' αναφέρεται στην ταχύτητα δημιουργίας δεδομένων. Η ταχύτητα με την οποία παράγονται και υποβάλλονται σε επεξεργασία τα δεδομένα για την κάλυψη της ζήτησης καθορίζει το πραγματικό δυναμικό των δεδομένων.

Η ταχύτητα των μεγάλων δεδομένων (Big Data velocity) αφορά την ταχύτητα με την οποία τα δεδομένα ρέουν από πηγές όπως επιχειρηματικές διαδικασίες, αρχεία καταγραφής εφαρμογών, δίκτυα, ιστότοπους κοινωνικής δικτύωσης, αισθητήρες, κινητό συσκευές κλπ. Η ροή των δεδομένων είναι μαζική και συνεχής.

(iv) Μεταβλητότητα – Αυτό αναφέρεται στην ασυνέπεια που μπορεί να φανεί από τα δεδομένα κατά καιρούς, εμποδίζοντας έτσι τη διαδικασία αποτελεσματικής διαχείρισης και διαχείρισης των δεδομένων.

Δύο ακόμη χαρακτηριστικά προστίθενται συνήθως σε αυτήν τη λίστα σήμερα, δίνοντας τα ευρέως αναφερόμενα «πέντε V»:

• Φιλαλήθεια – πόσο αξιόπιστα και ακριβή είναι τα δεδομένα. Οι διπλότυπες εγγραφές, η απόκλιση των αισθητήρων και τα ελλείποντα πεδία μειώνουν την ακρίβεια και κανένας όγκος δεν το αντισταθμίζει.
• αξία – ποια είναι η πραγματική αξία των δεδομένων μετά την ανάλυσή τους. Τα δεδομένα που δεν μετατρέπονται ποτέ σε απόφαση απλώς προσθέτουν κόστος αποθήκευσης.

Πλεονεκτήματα της επεξεργασίας μεγάλων δεδομένων

Η δυνατότητα επεξεργασίας Μεγάλων Δεδομένων σε ένα ΣΔΒΔ προσφέρει πολλαπλά οφέλη, όπως:

Οι επιχειρήσεις μπορούν να χρησιμοποιούν εξωτερική πληροφόρηση κατά τη λήψη αποφάσεων

Πρόσβαση σε κοινωνικά δεδομένα από μηχανές αναζήτησης και ιστότοποι όπως το Facebook και το X (πρώην Twitter) επιτρέπουν στους οργανισμούς να βελτιώνουν τις επιχειρηματικές τους στρατηγικές.

Βελτιωμένη εξυπηρέτηση πελατών

Τα παραδοσιακά συστήματα ανατροφοδότησης πελατών αντικαθίστανται από νέα συστήματα που έχουν σχεδιαστεί με τεχνολογίες Big Data. Σε αυτά τα νέα συστήματα, οι τεχνολογίες επεξεργασίας Big Data και φυσικής γλώσσας χρησιμοποιούνται για την ανάγνωση και την αξιολόγηση των απαντήσεων των καταναλωτών.

Έγκαιρη Αναγνώριση Κινδύνου για Προϊόντα και Υπηρεσίες

Η συνεχής ανάλυση των αρχείων συναλλαγών, των μετρήσεων αισθητήρων και των αιτημάτων υποστήριξης φέρει στο φως ελαττώματα, μοτίβα απάτης και αποτυχίες υπηρεσιών όσο αυτά είναι ακόμη μικρά, αντί να περιμένει κανείς μια μηνιαία αναφορά για να τα αποκαλύψει.

Καλύτερα Operaεθνική αποτελεσματικότητα

Οι τεχνολογίες Big Data μπορούν να χρησιμοποιηθούν για τη δημιουργία μιας περιοχής σταδιοποίησης ή ζώνης προσγείωσης για νέα δεδομένα πριν από τον προσδιορισμό του τι πρέπει να μετακινηθεί. αποθήκη δεδομένωνΕπιπλέον, μια τέτοια ενσωμάτωση τεχνολογιών Big Data και της αποθήκης δεδομένων βοηθά έναν οργανισμό να απαλλαγεί από δεδομένα στα οποία η πρόσβαση είναι σπάνια.

Συχνές Ερωτήσεις