Τι είναι τα Big Data; Εισαγωγή, Τύποι, Χαρακτηριστικά, Παραδείγματα

Πριν πάμε στην εισαγωγή στα Μεγάλα Δεδομένα, πρέπει πρώτα να ξέρετε

Τι είναι τα Δεδομένα;

Οι ποσότητες, οι χαρακτήρες ή τα σύμβολα στα οποία εκτελούνται λειτουργίες από έναν υπολογιστή, τα οποία μπορούν να αποθηκευτούν και να μεταδοθούν με τη μορφή ηλεκτρικών σημάτων και να καταγραφούν σε μαγνητικά, οπτικά ή μηχανικά μέσα εγγραφής.

Τώρα, ας μάθουμε τον ορισμό των Μεγάλων Δεδομένων

Τι είναι το Big Data;

Big Data είναι μια συλλογή δεδομένων που είναι τεράστιος σε όγκο, αλλά αυξάνεται εκθετικά με το χρόνο. Είναι δεδομένα με τόσο μεγάλο μέγεθος και πολυπλοκότητα που κανένα από τα παραδοσιακά εργαλεία διαχείρισης δεδομένων δεν μπορεί να τα αποθηκεύσει ή να τα επεξεργαστεί αποτελεσματικά. Τα μεγάλα δεδομένα είναι επίσης δεδομένα αλλά με τεράστιο μέγεθος.

Τι είναι ένα Παράδειγμα Μεγάλων Δεδομένων;

Ακολουθούν μερικά από τα παραδείγματα Big Data-

The New York Stock Exchange είναι ένα παράδειγμα Big Data που δημιουργεί περίπου ένα terabyte νέα δεδομένα συναλλαγών ανά ημέρα.

Social Media

Η στατιστική το δείχνει 500+ terabyte των νέων δεδομένων εισέρχονται στις βάσεις δεδομένων του ιστότοπου κοινωνικών μέσων Facebook, κάθε μέρα. Αυτά τα δεδομένα παράγονται κυρίως όσον αφορά τις μεταφορτώσεις φωτογραφιών και βίντεο, τις ανταλλαγές μηνυμάτων, την υποβολή σχολίων κ.λπ.

Ενα μονό Μηχανή αεροπλάνου μπορεί να δημιουργήσει 10+ terabyte των δεδομένων σε 30 λεπτά του χρόνου πτήσης. Με πολλές χιλιάδες πτήσεις την ημέρα, η παραγωγή δεδομένων φτάνει σε πολλές Petabytes.

Τύποι Μεγάλων Δεδομένων

Ακολουθούν οι τύποι Big Data:

1. Δομημένος
2. Αδόμητες
3. Ημιδομημένος

Δομημένος

Οποιαδήποτε δεδομένα μπορούν να αποθηκευτούν, να προσπελαστούν και να υποβληθούν σε επεξεργασία με τη μορφή σταθερής μορφής ονομάζονται «δομημένα» δεδομένα. Με την πάροδο του χρόνου, το ταλέντο στην επιστήμη των υπολογιστών έχει επιτύχει μεγαλύτερη επιτυχία στην ανάπτυξη τεχνικών για εργασία με τέτοιου είδους δεδομένα (όπου η μορφή είναι γνωστή εκ των προτέρων) και επίσης να αντλεί αξία από αυτά. Ωστόσο, στις μέρες μας, προβλέπουμε προβλήματα όταν ένα μέγεθος τέτοιων δεδομένων αυξάνεται σε τεράστιο βαθμό, τα τυπικά μεγέθη βρίσκονται στην οργή πολλαπλών zettabyte.

Γνωρίζεις? 10²¹ bytes ίσο με 1 zettabyte or ένα δισεκατομμύριο terabyte μορφές ένα zettabyte.

Κοιτάζοντας αυτά τα στοιχεία μπορεί κανείς εύκολα να καταλάβει γιατί δίνεται το όνομα Big Data και να φανταστεί τις προκλήσεις που συνεπάγεται η αποθήκευση και η επεξεργασία τους.

Γνωρίζεις? Τα δεδομένα που είναι αποθηκευμένα σε ένα σύστημα διαχείρισης σχεσιακής βάσης δεδομένων είναι ένα παράδειγμα α 'δομημένος' δεδομένων.

Παραδείγματα δομημένων δεδομένων

Ένας πίνακας "Εργαζόμενος" σε μια βάση δεδομένων είναι ένα παράδειγμα δομημένων δεδομένων

Ταυτότητα Υπαλλήλου	Ονομα υπαλλήλου	Φύλο	Τμήμα	Μισθός_σε_λακ
2365	Ρατζές Κουλκάρνι	Άντρας	Υπηρεσίες	650000
3398	Πράτιμπα Τζόσι	Γυναίκα	διαχειριστής	650000
7465	Σουσίλ Ρόι	Άντρας	διαχειριστής	500000
7500	Shubhojit Das	Άντρας	Υπηρεσίες	500000
7699	Priya Sane	Γυναίκα	Υπηρεσίες	550000

Αδόμητες

Οποιαδήποτε δεδομένα με άγνωστη μορφή ή δομή ταξινομούνται ως μη δομημένα δεδομένα. Εκτός από το μέγεθος που είναι τεράστιο, τα μη δομημένα δεδομένα θέτουν πολλαπλές προκλήσεις όσον αφορά την επεξεργασία τους για την εξαγωγή αξίας από αυτά. Ένα τυπικό παράδειγμα μη δομημένων δεδομένων είναι μια ετερογενής πηγή δεδομένων που περιέχει έναν συνδυασμό απλών αρχείων κειμένου, εικόνων, βίντεο κ.λπ. Σήμερα οι οργανισμοί έχουν πλήθος δεδομένων διαθέσιμα μαζί τους, αλλά δυστυχώς, δεν ξέρουν πώς να αντλήσουν αξία από αυτά, καθώς αυτά τα δεδομένα είναι σε ακατέργαστη ή μη δομημένη μορφή.

Παραδείγματα μη δομημένων δεδομένων

Η έξοδος που επιστράφηκε από την "Αναζήτηση Google"

Ημιδομημένος

Τα ημιδομημένα δεδομένα μπορούν να περιέχουν και τις δύο μορφές δεδομένων. Μπορούμε να δούμε ημι-δομημένα δεδομένα ως δομημένα σε μορφή, αλλά στην πραγματικότητα δεν ορίζονται με π.χ. ορισμό πίνακα σε σχεσιακό DBMS. Παράδειγμα ημιδομημένων δεδομένων είναι δεδομένα που αντιπροσωπεύονται σε ένα αρχείο XML.

Παραδείγματα Ημιδομημένων Δεδομένων

Προσωπικά δεδομένα που είναι αποθηκευμένα σε αρχείο XML-

<rec><name>Prashant Rao</name><sex>Male</sex><age>35</age></rec>
<rec><name>Seema R.</name><sex>Female</sex><age>41</age></rec>
<rec><name>Satish Mane</name><sex>Male</sex><age>29</age></rec>
<rec><name>Subrato Roy</name><sex>Male</sex><age>26</age></rec>
<rec><name>Jeremiah J.</name><sex>Male</sex><age>35</age></rec>

Ανάπτυξη δεδομένων με την πάροδο των ετών

Παρακαλώ σημειώστε ότι εφαρμογή ιστού δεδομένα, τα οποία δεν είναι δομημένα, αποτελούνται από αρχεία καταγραφής, αρχεία ιστορικού συναλλαγών κ.λπ. Τα συστήματα OLTP είναι κατασκευασμένα για να λειτουργούν με δομημένα δεδομένα όπου τα δεδομένα αποθηκεύονται σε σχέσεις (πίνακες).

Χαρακτηριστικά Μεγάλων Δεδομένων

Τα μεγάλα δεδομένα μπορούν να περιγραφούν από τα ακόλουθα χαρακτηριστικά:

• Τόμος
• Ποικιλία
• Ταχύτητα
• Μεταβλητότητα

(i) Τόμος – Το ίδιο το όνομα Big Data σχετίζεται με ένα μέγεθος που είναι τεράστιο. Το μέγεθος των δεδομένων παίζει πολύ σημαντικό ρόλο στον προσδιορισμό της αξίας των δεδομένων. Επίσης, εάν ένα συγκεκριμένο δεδομένο μπορεί πράγματι να θεωρηθεί ως Big Data ή όχι, εξαρτάται από τον όγκο των δεδομένων. Ως εκ τούτου, 'Ενταση ΗΧΟΥ' είναι ένα χαρακτηριστικό που πρέπει να λαμβάνεται υπόψη όταν ασχολούμαστε με λύσεις Big Data.

(ii) Ποικιλία - Η επόμενη πτυχή των Big Data είναι αυτή ποικιλία.

Η ποικιλία αναφέρεται σε ετερογενείς πηγές και τη φύση των δεδομένων, τόσο δομημένων όσο και μη. Κατά τη διάρκεια των προηγούμενων ημερών, τα υπολογιστικά φύλλα και οι βάσεις δεδομένων ήταν οι μόνες πηγές δεδομένων που έλαβαν υπόψη οι περισσότερες εφαρμογές. Στις μέρες μας, στις εφαρμογές ανάλυσης εξετάζονται και δεδομένα με τη μορφή email, φωτογραφιών, βίντεο, συσκευών παρακολούθησης, PDF, ήχου κ.λπ. Αυτή η ποικιλία μη δομημένων δεδομένων θέτει ορισμένα ζητήματα για την αποθήκευση, την εξόρυξη και την ανάλυση δεδομένων.

(iii) Ταχύτητα – Ο όρος 'ταχύτητα' αναφέρεται στην ταχύτητα παραγωγής δεδομένων. Το πόσο γρήγορα παράγονται και επεξεργάζονται τα δεδομένα για να ανταποκριθούν στις απαιτήσεις, καθορίζει τις πραγματικές δυνατότητες στα δεδομένα.

Το Big Data Velocity ασχολείται με την ταχύτητα με την οποία ρέουν δεδομένα από πηγές όπως επιχειρηματικές διαδικασίες, αρχεία καταγραφής εφαρμογών, δίκτυα και ιστότοποι μέσων κοινωνικής δικτύωσης, αισθητήρες, Κινητό συσκευές κλπ. Η ροή των δεδομένων είναι μαζική και συνεχής.

(iv) Μεταβλητότητα – Αυτό αναφέρεται στην ασυνέπεια που μπορεί να φανεί από τα δεδομένα κατά καιρούς, εμποδίζοντας έτσι τη διαδικασία αποτελεσματικής διαχείρισης και διαχείρισης των δεδομένων.

Πλεονεκτήματα της επεξεργασίας μεγάλων δεδομένων

Η δυνατότητα επεξεργασίας Big Data στο DBMS αποφέρει πολλαπλά οφέλη, όπως-

• Οι επιχειρήσεις μπορούν να χρησιμοποιήσουν εξωτερική ευφυΐα κατά τη λήψη αποφάσεων

Πρόσβαση σε κοινωνικά δεδομένα από μηχανές αναζήτησης και ιστότοποι όπως το Facebook, το Twitter δίνουν τη δυνατότητα στους οργανισμούς να συντονίζουν τις επιχειρηματικές τους στρατηγικές.

• Βελτιωμένη εξυπηρέτηση πελατών

Τα παραδοσιακά συστήματα σχολίων πελατών αντικαθίστανται από νέα συστήματα σχεδιασμένα με τεχνολογίες Big Data. Σε αυτά τα νέα συστήματα, οι τεχνολογίες επεξεργασίας Big Data και φυσικής γλώσσας χρησιμοποιούνται για την ανάγνωση και την αξιολόγηση των απαντήσεων των καταναλωτών.

• Έγκαιρη αναγνώριση κινδύνου για το προϊόν/υπηρεσίες, εάν υπάρχει
• Καλύτερη λειτουργική αποτελεσματικότητα

Οι τεχνολογίες Big Data μπορούν να χρησιμοποιηθούν για τη δημιουργία μιας περιοχής σταδιοποίησης ή μιας ζώνης προσγείωσης για νέα δεδομένα πριν προσδιοριστούν ποια δεδομένα πρέπει να μετακινηθούν στο αποθήκη δεδομένων. Επιπλέον, μια τέτοια ενοποίηση τεχνολογιών Big Data και αποθήκης δεδομένων βοηθά έναν οργανισμό να εκφορτώνει δεδομένα με σπάνια πρόσβαση.

Περίληψη

• Ορισμός Μεγάλων Δεδομένων: Μεγάλα Δεδομένα που σημαίνει δεδομένα που είναι τεράστιου μεγέθους. Bigdata είναι ένας όρος που χρησιμοποιείται για να περιγράψει μια συλλογή δεδομένων που είναι τεράστια σε μέγεθος και ωστόσο αυξάνεται εκθετικά με το χρόνο.
• Τα παραδείγματα ανάλυσης Big Data περιλαμβάνουν χρηματιστήρια, ιστότοπους μέσων κοινωνικής δικτύωσης, κινητήρες τζετ κ.λπ.
• Τα μεγάλα δεδομένα θα μπορούσαν να είναι 1) δομημένα, 2) μη δομημένα, 3) ημιδομημένα
• Ο όγκος, η ποικιλία, η ταχύτητα και η μεταβλητότητα είναι λίγα χαρακτηριστικά Big Data
• Η βελτιωμένη εξυπηρέτηση πελατών, η καλύτερη λειτουργική αποτελεσματικότητα, η καλύτερη λήψη αποφάσεων είναι λίγα πλεονεκτήματα του Bigdata