Was ist Big Data? Einführung, Typen, Eigenschaften, Beispiele

Bevor wir mit der Einführung in Big Data beginnen, müssen Sie es zunächst wissen

Was sind Daten?

Die Mengen, Zeichen oder Symbole, an denen Operationen eines Computers durchgeführt werden. Diese können in Form von elektrischen Signalen gespeichert und übertragen und auf magnetischen, optischen oder mechanischen Aufzeichnungsmedien aufgezeichnet werden.

Lassen Sie uns nun die Definition von Big Data lernen

Was sind Big Data?

Big Data ist eine Sammlung von Daten, die ein riesiges Volumen hat und mit der Zeit exponentiell wächst. Diese Daten sind so groß und komplex, dass sie mit keinem herkömmlichen Datenverwaltungstool effizient gespeichert oder verarbeitet werden können. Big Data sind ebenfalls Daten, allerdings mit riesigem Umfang.

Was ist ein Beispiel für Big Data?

Im Folgenden sind einige Beispiele für Big Data aufgeführt:

Die New York Stock Exchange ist ein Beispiel für Big Data, das etwa generiert ein Terabyte neuer Handelsdaten pro Tag.

Soziale Medien

Das zeigt die Statistik 500+Terabyte Neue Daten werden in die Datenbanken der Social-Media-Sites aufgenommen Facebook, täglich. Diese Daten werden hauptsächlich durch das Hochladen von Fotos und Videos, den Austausch von Nachrichten, das Setzen von Kommentaren usw. generiert.

Ein einzelner Düsentriebwerk erzeugen kann 10+Terabyte von Daten ein 30 Мinuten der Flugzeit. Bei vielen tausend Flügen pro Tag reicht die Datengenerierung bis zu viele Petabyte.

Arten von Big Data

Im Folgenden sind die Typen von Big Data aufgeführt:

1. Strukturierte
2. Unstrukturiert
3. Halbstrukturiert

Strukturierte

Alle Daten, die in einem festen Format gespeichert, abgerufen und verarbeitet werden können, werden als „strukturierte“ Daten bezeichnet. Im Laufe der Zeit haben Talente in der Informatik größere Erfolge bei der Entwicklung von Techniken für die Arbeit mit solchen Daten (bei denen das Format im Voraus bekannt ist) und der Wertschöpfung daraus erzielt. Heutzutage sehen wir jedoch Probleme, wenn die Größe solcher Daten enorm zunimmt; typische Größen liegen im Bereich mehrerer Zettabyte.

Weißt du es? 10²¹ Bytes gleich 1 Zettabyte or eine Milliarde Terabyte Formen ein Zettabyte.

Wenn man sich diese Zahlen ansieht, kann man leicht verstehen, warum der Name Big Data gegeben wird, und sich die Herausforderungen vorstellen, die mit der Speicherung und Verarbeitung dieser Daten verbunden sind.

Weißt du es? Ein Beispiel hierfür sind Daten, die in einem relationalen Datenbankverwaltungssystem gespeichert sind 'strukturiert' Daten.

Beispiele für strukturierte Daten

Eine „Mitarbeiter“-Tabelle in einer Datenbank ist ein Beispiel für strukturierte Daten

Mitarbeiter-ID	Mitarbeitername	Geschlecht	Abteilung	Salary_In_lacs
2365	Rajesh Kulkarni	Männlich	Finanzen	650000
3398	Pratibha Joshi	Weiblich	Administrator	650000
7465	Shushil Roy	Männlich	Administrator	500000
7500	Shubhojit Das	Männlich	Finanzen	500000
7699	Priya Sane	Weiblich	Finanzen	550000

Unstrukturiert

Alle Daten mit unbekannter Form oder Struktur werden als unstrukturierte Daten klassifiziert. Unstrukturierte Daten sind nicht nur enorm groß, sondern stellen auch zahlreiche Herausforderungen bei der Verarbeitung dar, um daraus einen Nutzen zu ziehen. Ein typisches Beispiel für unstrukturierte Daten ist eine heterogene Datenquelle, die eine Kombination aus einfachen Textdateien, Bildern, Videos usw. enthält. Heutzutage verfügen Organisationen über eine Fülle von Daten, wissen aber leider nicht, wie sie daraus einen Nutzen ziehen können, da diese Daten in Rohform oder unstrukturiertem Format vorliegen.

Beispiele für unstrukturierte Daten

Die von „Google Search“ zurückgegebene Ausgabe

Halbstrukturiert

Halbstrukturierte Daten können beide Datenformen enthalten. Wir können halbstrukturierte Daten als eine strukturierte Form betrachten, sie sind jedoch tatsächlich nicht beispielsweise durch eine Tabellendefinition in relationaler Form definiert DBMS. Ein Beispiel für halbstrukturierte Daten sind Daten, die in einer XML-Datei dargestellt werden.

Beispiele für halbstrukturierte Daten

In einer XML-Datei gespeicherte personenbezogene Daten-

<rec><name>Prashant Rao</name><sex>Male</sex><age>35</age></rec>
<rec><name>Seema R.</name><sex>Female</sex><age>41</age></rec>
<rec><name>Satish Mane</name><sex>Male</sex><age>29</age></rec>
<rec><name>Subrato Roy</name><sex>Male</sex><age>26</age></rec>
<rec><name>Jeremiah J.</name><sex>Male</sex><age>35</age></rec>

Datenwachstum im Laufe der Jahre

Bitte beachten Sie, dass Web-Anwendung Daten, die unstrukturiert sind, bestehen aus Protokolldateien, Transaktionsverlaufsdateien usw. OLTP-Systeme sind für die Arbeit mit strukturierten Daten konzipiert, wobei Daten in Beziehungen (Tabellen) gespeichert werden.

Merkmale von Big Data

Big Data kann durch die folgenden Merkmale beschrieben werden:

• Volume
• Vielfalt
• Geschwindigkeit
• Variabilität

(i) Volumen – Der Name Big Data selbst bezieht sich auf eine enorme Größe. Die Größe der Daten spielt eine sehr entscheidende Rolle bei der Bestimmung des Werts der Daten. Ob bestimmte Daten tatsächlich als Big Data betrachtet werden können oder nicht, hängt auch von der Datenmenge ab. Somit, 'Volumen' ist ein Merkmal, das beim Umgang mit Big-Data-Lösungen berücksichtigt werden muss.

(ii) Vielfalt – Der nächste Aspekt von Big Data ist sein Vielfalt.

Vielfalt bezieht sich auf heterogene Quellen und die Art der Daten, sowohl strukturiert als auch unstrukturiert. Früher waren Tabellenkalkulationen und Datenbanken die einzigen Datenquellen, die von den meisten Anwendungen berücksichtigt wurden. Heutzutage werden in den Analyseanwendungen auch Daten in Form von E-Mails, Fotos, Videos, Überwachungsgeräten, PDFs, Audio usw. berücksichtigt. Diese Vielfalt unstrukturierter Daten wirft bestimmte Probleme bei der Speicherung, dem Mining und der Analyse von Daten auf.

(iii) Geschwindigkeit – Die 'Geschwindigkeit' bezieht sich auf die Geschwindigkeit der Datengenerierung. Wie schnell die Daten generiert und verarbeitet werden, um den Anforderungen gerecht zu werden, bestimmt das tatsächliche Potenzial der Daten.

Big Data Velocity befasst sich mit der Geschwindigkeit, mit der Daten aus Quellen wie Geschäftsprozessen, Anwendungsprotokollen, Netzwerken und Social-Media-Sites, Sensoren usw. einfließen. Mobil Geräte usw. Der Datenfluss ist massiv und kontinuierlich.

(iv) Variabilität – Damit ist die Inkonsistenz gemeint, die die Daten zeitweise aufweisen können und die den Prozess der effektiven Handhabung und Verwaltung der Daten erschwert.

Vorteile der Big-Data-Verarbeitung

Die Fähigkeit, Big Data in DBMS zu verarbeiten, bringt mehrere Vorteile mit sich, wie z.

• Unternehmen können bei der Entscheidungsfindung externe Informationen nutzen

Zugriff auf soziale Daten von Suchmaschinen und Websites wie Facebook und Twitter ermöglichen es Unternehmen, ihre Geschäftsstrategien zu verfeinern.

• Verbesserter Kundenservice

Traditionelle Kundenfeedbacksysteme werden durch neue Systeme ersetzt, die mit Big-Data-Technologien entwickelt wurden. In diesen neuen Systemen werden Big Data und Technologien zur Verarbeitung natürlicher Sprache genutzt, um Verbraucherreaktionen zu lesen und auszuwerten.

• Frühzeitige Erkennung von Risiken für das Produkt/die Dienstleistung, falls vorhanden
• Bessere betriebliche Effizienz

Big-Data-Technologien können zum Erstellen eines Staging-Bereichs oder einer Landezone für neue Daten verwendet werden, bevor ermittelt wird, welche Daten dorthin verschoben werden sollen Data Warehouse. Darüber hinaus hilft eine solche Integration von Big-Data-Technologien und Data Warehouse einem Unternehmen, selten abgerufene Daten auszulagern.

Zusammenfassung

• Big Data-Definition: Big Data bedeutet Daten von enormer Größe. Der Begriff Big Data beschreibt eine Datensammlung von enormer Größe, die mit der Zeit exponentiell wächst.
• Beispiele für Big-Data-Analysen sind Börsen, Social-Media-Seiten, Flugzeugtriebwerke usw.
• Big Data könnte 1) strukturiert, 2) unstrukturiert, 3) halbstrukturiert sein
• Volumen, Vielfalt, Geschwindigkeit und Variabilität sind einige Big-Data-Merkmale
• Verbesserter Kundenservice, bessere Betriebseffizienz, bessere Entscheidungsfindung sind nur einige Vorteile von Bigdata