Wat is big data? Soorten, kenmerken en voorbeelden

Voordat we ingaan op de inleiding tot Big Data, is het belangrijk om eerst te weten wat data precies is.

Wat zijn gegevens?

Gegevens zijn de hoeveelheden, tekens of symbolen waarop een computer bewerkingen uitvoert, die kunnen worden opgeslagen en transmitovergebracht in de vorm van elektrische signalen en vastgelegd op magnetische, optische of mechanische opslagmedia.

Laten we nu eens kijken naar de definitie van Big Data.

Wat zijn Big Data?

Big data Big Data is een verzameling gegevens die enorm groot is en bovendien exponentieel groeit. De gegevens zijn zo omvangrijk en complex dat geen van de traditionele tools voor gegevensbeheer ze efficiënt kan opslaan of verwerken. Big Data is nog steeds data, maar van een omvang die de gebruikelijke tools overstijgt.

Het onderstaande diagram zet die definitie af tegen de gebruikelijke gegevens die een organisatie al verwerkt, waardoor de schaalvergroting gemakkelijk te zien is.

Wat zijn Big Data?

Wat is een voorbeeld van Big Data?

Hier volgen enkele voorbeelden van Big Data:

Beursgegevens

De New York Stock Exchange is een voorbeeld van Big Data die ongeveer genereert één terabyte van nieuwe handelsgegevens per dag.

Sociale Media

De statistiek laat dat zien 500+terabytes van nieuwe gegevens worden opgenomen in de databases van sociale-mediasites Facebook, elke dag. Deze gegevens worden voornamelijk gegenereerd in termen van foto- en video-uploads, berichtenuitwisseling, commentaar plaatsen enz.

Jet motoren

Een Straalmotor kan genereren 10+terabytes van gegevens binnen 30 minuten van vliegtijd. Met vele duizenden vluchten per dag bereikt het genereren van gegevens een groot aantal Petabytes.

Deze drie cijfers zijn momentopnamen per bron uit de periode waarin de voorbeelden voor het eerst werden gepubliceerd, en ze zijn sindsdien alleen maar gegroeid. Om een ​​idee te geven van de huidige schaal: de wereld als geheel genereert nu ongeveer 402 miljoen terabytes aan data per dagwaardoor het jaarlijkse totaal voor 2026 op track voor meer dan 200 zettabytes.

Soorten Big Data

Hieronder volgen de typen Big Data:

1. Gestructureerde
2. Ongestructureerd
3. Semi-gestructureerd

Gestructureerde

Alle gegevens die in een vast formaat kunnen worden opgeslagen, geraadpleegd en verwerkt, worden 'gestructureerde' gegevens genoemd. De informatica heeft in de loop der tijd grote successen geboekt in de ontwikkeling van gestructureerde gegevens.ping Er bestaan ​​technieken om met dit soort data te werken, waarbij het formaat van tevoren bekend is, en om er waarde uit te halen. We stuiten echter op problemen wanneer de omvang van dergelijke data enorm toeneemt, met typische groottes van meerdere zettabytes.

Weet jij het? Eén zettabyte is 10²¹ bytesDit is een miljard terabyte.

Aan de hand van deze cijfers is het gemakkelijk te begrijpen waarom de naam Big Data is bedacht en welke uitdagingen er spelen bij de opslag en verwerking ervan.

Weet jij het? Gegevens die zijn opgeslagen in een relationeel databasebeheersysteem zijn een voorbeeld van 'gestructureerd' data.

Voorbeelden van gestructureerde gegevens

Een tabel 'Werknemer' in een database is een voorbeeld van gestructureerde data. Elke rij heeft dezelfde vijf kolommen en elke kolom heeft een bekend gegevenstype, wat het opvragen van gegevens juist zo gemakkelijk maakt.

Ongestructureerd

Alle gegevens met een onbekende vorm of structuur worden geclassificeerd als ongestructureerde data. Naast de enorme omvang brengt ongestructureerde data diverse uitdagingen met zich mee als het gaat om de verwerking ervan om er waarde uit te halen. Een typisch voorbeeld van ongestructureerde data is een heterogene databron die een combinatie bevat van eenvoudige tekstbestanden, afbeeldingen, video's, enzovoort. Organisaties beschikken tegenwoordig over een schat aan data, maar weten helaas niet hoe ze er waarde uit kunnen halen, omdat deze data zich in ruwe of ongestructureerde vorm bevindt.

Voorbeelden van ongestructureerde gegevens

De uitvoer die wordt geretourneerd door 'Google 'Zoeken' is ongestructureerd: dezelfde zoekopdracht levert pagina's, afbeeldingen, fragmenten en links op zonder een gemeenschappelijk schema erachter.

Voorbeeld van ongestructureerde data

Semi-gestructureerd

Semi-gestructureerde data kan beide bovenstaande vormen bevatten. Het ziet er gestructureerd uit, maar het is niet gedefinieerd door een formeel schema, zoals een tabeldefinitie in een relationele database. dbmsEen veelvoorkomend voorbeeld van semi-gestructureerde data is data die is opgeslagen in een XML-bestand. JSON-documenten en logregels met sleutel-waardeparen vallen in dezelfde categorie.

Voorbeelden van semi-gestructureerde data

Persoonlijke gegevens opgeslagen in een XML-bestand

<rec><name>Prashant Rao</name><sex>Male</sex><age>35</age></rec>
<rec><name>Seema R.</name><sex>Female</sex><age>41</age></rec>
<rec><name>Satish Mane</name><sex>Male</sex><age>29</age></rec>
<rec><name>Subrato Roy</name><sex>Male</sex><age>26</age></rec>
<rec><name>Jeremiah J.</name><sex>Male</sex><age>35</age></rec>

Gegevensgroei door de jaren heen

De onderstaande grafiek trachoe de verhouding tussen gestructureerde en ongestructureerde data is veranderd naarmate het totale volume is toegenomen.

Gegevensgroei door de jaren heen

Let op: webapplicatie Ongestructureerde data bestaat uit logbestanden, transactiegeschiedenisbestanden, enzovoort. OLTP-systemen zijn ontworpen om te werken met gestructureerde data, waarbij de data is opgeslagen in relaties (tabellen).

Kenmerken van Big Data

Big Data kan worden omschreven aan de hand van de volgende kenmerken:

• Volume
• Verscheidenheid
• Snelheid
• Flexibiliteit

(i) Volume – De naam Big Data zelf verwijst naar een enorme omvang. De grootte van de data speelt een cruciale rol bij het bepalen van de waarde die eruit kan worden gehaald. Of een bepaalde dataset daadwerkelijk als Big Data kan worden beschouwd, hangt af van het volume ervan. Vandaar dat... 'Volume' is een kenmerk waarmee rekening moet worden gehouden bij het omgaan met Big Data-oplossingen.

(ii) Variëteit – Het volgende aspect van Big Data is het variëteit.

Variëteit verwijst naar heterogene bronnen en de aard van de gegevens, zowel gestructureerd als ongestructureerd. Vroeger waren spreadsheets en databases de enige gegevensbronnen die door de meeste applicaties werden gebruikt. Tegenwoordig worden gegevens in de vorm van e-mails, foto's, video's, monitoringapparatuur, pdf's, audio, enzovoort, ook meegenomen in analyses. Deze verscheidenheid aan ongestructureerde gegevens brengt bepaalde problemen met zich mee voor het opslaan, verwerken en analyseren ervan.

(iii) Snelheid – De term 'snelheid' Dit verwijst naar de snelheid waarmee gegevens worden gegenereerd. Hoe snel de gegevens worden gegenereerd en verwerkt om aan de vraag te voldoen, bepaalt het werkelijke potentieel van de gegevens.

Big Data-snelheid heeft betrekking op de snelheid waarmee gegevens binnenstromen vanuit bronnen zoals bedrijfsprocessen, applicatielogboeken, netwerken, sociale mediasites, sensoren, mobiel apparaten, enz. De gegevensstroom is enorm en continu.

(iv) Variabiliteit – Dit verwijst naar de inconsistentie die soms uit de gegevens kan blijken, waardoor het proces van het effectief kunnen verwerken en beheren van de gegevens wordt belemmerd.

Tegenwoordig worden daar vaak nog twee kenmerken aan toegevoegd, wat leidt tot de veel geciteerde "vijf V's":

• Betrouwbaarheid – hoe betrouwbaar en nauwkeurig de gegevens zijn. Dubbele records, sensorafwijkingen en ontbrekende velden verminderen de betrouwbaarheid, en geen enkele hoeveelheid gegevens kan dat compenseren.
• Waarde – wat de data daadwerkelijk waard is na analyse. Data die nooit tot een beslissing leidt, zorgt alleen maar voor extra opslagkosten.

Voordelen van big data-verwerking

De mogelijkheid om big data te verwerken in een DBMS biedt diverse voordelen, zoals:

Bedrijven kunnen externe informatie gebruiken bij het nemen van beslissingen.

Toegang tot sociale gegevens van zoekmachines En platforms zoals Facebook en X (voorheen Twitter) stellen organisaties in staat hun bedrijfsstrategieën te verfijnen.

Verbeterde klantenservice

Traditionele klantfeedbacksystemen worden vervangen door nieuwe systemen die zijn ontworpen met behulp van big data-technologieën. In deze nieuwe systemen worden big data en technologieën voor natuurlijke taalverwerking gebruikt om reacties van consumenten te lezen en te evalueren.

Vroegtijdige identificatie van risico's voor producten en diensten

Door continu analyses uit te voeren op transactiegegevens, sensorwaarden en supporttickets worden defecten, fraudepatronen en servicefouten aan het licht gebracht terwijl ze nog klein zijn, in plaats van te wachten tot een maandelijks rapport ze onthult.

Betere Operanationale efficiëntie

Big Data-technologieën kunnen worden gebruikt om een ​​tijdelijke opslagplaats of landingszone te creëren voor nieuwe gegevens, voordat wordt bepaald welke gegevens naar de uiteindelijke bestemming moeten worden verplaatst. datawarehouseDaarnaast helpt een dergelijke integratie van big data-technologieën en het datawarehouse een organisatie bij het opslaan van data die zelden wordt geraadpleegd.

Veelgestelde vragen