Czym są Big Data? Typy, cechy i przykłady
Prafulli Ranadive
⚡ Inteligentne podsumowanie
Big Data to pojęcie opisujące zbiory informacji tak duże, tak różnorodne i tak szybko zmieniające się, że zwykłe narzędzia bazodanowe nie są w stanie ich przechowywać ani przetwarzać. Z tego powodu konieczne stało się opracowanie rozproszonych platform i nowych metod analizy.
Zanim przejdziemy do wprowadzenia do Big Data, musimy najpierw dowiedzieć się, czym są dane.
Co to są dane?
Dane to ilości, znaki lub symbole, na których komputer wykonuje operacje, które mogą być przechowywane i transmitprzekazywane w formie sygnałów elektrycznych i zapisywane na nośnikach magnetycznych, optycznych lub mechanicznych.
Przyjrzyjmy się teraz definicji Big Data.
Co to jest Big Data?
Big Data Big Data to zbiór danych o ogromnej objętości, który jednak rośnie wykładniczo z czasem. Są to dane o tak dużym rozmiarze i złożoności, że żadne z tradycyjnych narzędzi do zarządzania danymi nie jest w stanie ich efektywnie przechowywać ani przetwarzać. Big Data to wciąż dane, ale o rozmiarze, który przewyższa możliwości standardowych narzędzi.
Poniższy diagram zestawia tę definicję ze zwykłymi danymi, którymi organizacja już przetwarza, dzięki czemu łatwo zauważyć wzrost skali.
Co to jest Big Data?
Jaki jest przykład Big Data?
Oto kilka przykładów Big Data:
Dane giełdowe
New York Stock Exchange to przykład Big Data, który generuje ok jeden terabajt nowych danych handlowych dziennie.
Media społecznościowe
Statystyka to pokazuje 500+ terabajtów nowych danych trafia do baz danych serwisów społecznościowych Facebook, codziennie. Dane te są generowane głównie w związku z przesyłaniem zdjęć i filmów, wymianą wiadomości, umieszczaniem komentarzy itp.
Silniki odrzutowe
Pojedynczy Silnik odrzutowy może generować 10+ terabajtów danych w 30 minut czasu lotu. Przy wielu tysiącach lotów dziennie liczba generowanych danych sięga wielu Petabajty.
Te trzy liczby to migawki z poszczególnych źródeł z okresu, w którym przykłady zostały opublikowane po raz pierwszy, a od tego czasu tylko się powiększają. Dla obecnego poczucia skali, świat jako całość tworzy obecnie około 402 miliony terabajtów danych każdego dnia, co daje roczną sumę na rok 2026 track dla ponad 200 zettabajtów.
Rodzaje Big Data
Oto rodzaje Big Data:
- Zbudowany
- Brak struktury
- Częściowo ustrukturyzowane
Zbudowany
Wszelkie dane, które można przechowywać, uzyskiwać do nich dostęp i przetwarzać w ustalonym formacie, nazywane są danymi „ustrukturyzowanymi”. Z biegiem czasu informatyka odniosła ogromny sukces w rozwojuping Techniki pracy z tego typu danymi, których format jest z góry dobrze znany, i wyciągania z nich wartości. Jednak obecnie napotykamy problemy, gdy rozmiar takich danych rośnie w ogromnym stopniu, a typowe rozmiary sięgają wielu zettabajtów.
Czy wiesz? Jeden zettabajt to 1021 bajtów, który jest jeden miliard terabajtów.
Patrząc na te dane można łatwo zrozumieć, skąd wzięła się nazwa Big Data, a także wyobrazić sobie wyzwania związane z ich przechowywaniem i przetwarzaniem.
Czy wiesz? Dane przechowywane w systemie zarządzania relacyjną bazą danych to jeden z przykładów 'zbudowany' danych.
Przykłady danych strukturalnych
Tabela „Pracownicy” w bazie danych jest przykładem danych ustrukturyzowanych. Każdy wiersz ma te same pięć kolumn, a każda kolumna ma znany typ, co ułatwia wyszukiwanie danych.
| Dowód pracownika | Imię i nazwisko pracownika | Płeć | Departament | Wynagrodzenie_In_lacs |
|---|---|---|---|---|
| 2365 | Rajesh Kulkarni | Mężczyzna | Finanse | 650000 |
| 3398 | Pratibha Joshi | Kobieta | Admin | 650000 |
| 7465 | Shushil Roy | Mężczyzna | Admin | 500000 |
| 7500 | Shubhojit Das | Mężczyzna | Finanse | 500000 |
| 7699 | Priya Sane | Kobieta | Finanse | 550000 |
Brak struktury
Wszelkie dane o nieznanej formie lub strukturze są klasyfikowane jako dane nieustrukturyzowane. Oprócz ogromnego rozmiaru, dane nieustrukturyzowane stwarzają liczne wyzwania w zakresie przetwarzania w celu uzyskania wartości. Typowym przykładem danych nieustrukturyzowanych jest heterogeniczne źródło danych zawierające kombinację prostych plików tekstowych, obrazów, filmów itp. Obecnie organizacje dysponują ogromną ilością danych, ale niestety nie wiedzą, jak czerpać z nich wartość, ponieważ dane te są w formacie surowym, czyli nieustrukturyzowanym.
Przykłady danych niestrukturalnych
Wynik zwrócony przez 'Google Wyszukiwanie jest niestrukturalne: to samo zapytanie zwraca strony, obrazy, fragmenty kodu i linki niemające ze sobą żadnego wspólnego schematu.
Przykład danych niestrukturalnych
Częściowo ustrukturyzowane
Dane półstrukturalne mogą zawierać obie powyższe formy. Wyglądają na ustrukturyzowane, ale nie są zdefiniowane przez formalny schemat, taki jak definicja tabeli w modelu relacyjnym. DBMSTypowym przykładem danych półustrukturyzowanych są dane reprezentowane w pliku XML. Dokumenty JSON i wiersze logów z parami klucz-wartość należą do tej samej kategorii.
Przykłady danych półustrukturyzowanych
Dane osobowe zapisane w pliku XML-
<rec><name>Prashant Rao</name><sex>Male</sex><age>35</age></rec> <rec><name>Seema R.</name><sex>Female</sex><age>41</age></rec> <rec><name>Satish Mane</name><sex>Male</sex><age>29</age></rec> <rec><name>Subrato Roy</name><sex>Male</sex><age>26</age></rec> <rec><name>Jeremiah J.</name><sex>Male</sex><age>35</age></rec>
Wzrost danych na przestrzeni lat
Poniższy wykres tracks jak zmieniał się podział danych ustrukturyzowanych i nieustrukturyzowanych wraz ze wzrostem ich całkowitej objętości.
Wzrost danych na przestrzeni lat
Należy pamiętać, że Aplikacja internetowa dane, które są niestrukturyzowane, składają się z plików dziennika, plików historii transakcji itd. Systemy OLTP są zbudowane do pracy ze strukturalnymi danymi, przy czym dane są przechowywane w relacjach (tabelach).
Charakterystyka Big Data
Big Data można opisać za pomocą następujących cech:
- objętość
- Odmiana
- Szybkość
- Zmienność
(i) Objętość – Sama nazwa Big Data wiąże się z ogromnym rozmiarem. Rozmiar danych odgrywa kluczową rolę w określaniu wartości, jaką można z nich wyciągnąć. Ponadto, to, czy dany zbiór danych można uznać za Big Data, zależy od jego objętości. Stąd też, 'Tom' to jedna cecha, którą należy wziąć pod uwagę podczas pracy z rozwiązaniami Big Data.
(ii) Różnorodność – Kolejnym aspektem Big Data jest jego różnorodność.
Różnorodność odnosi się do heterogenicznych źródeł i charakteru danych, zarówno ustrukturyzowanych, jak i nieustrukturyzowanych. Dawniej arkusze kalkulacyjne i bazy danych były jedynymi źródłami danych branymi pod uwagę przez większość aplikacji. Obecnie aplikacje analityczne uwzględniają również dane w postaci wiadomości e-mail, zdjęć, filmów, urządzeń monitorujących, plików PDF, plików audio itp. Ta różnorodność nieustrukturyzowanych danych stwarza pewne problemy w zakresie przechowywania, eksploracji i analizy danych.
(iii) Prędkość – Termin 'prędkość' Odnosi się do szybkości generowania danych. To, jak szybko dane są generowane i przetwarzane, aby sprostać zapotrzebowaniu, określa rzeczywisty potencjał danych.
Prędkość dużych zbiorów danych odnosi się do szybkości, z jaką dane napływają ze źródeł takich jak procesy biznesowe, dzienniki aplikacji, sieci, serwisy społecznościowe, czujniki, MOBILNA urządzeń itp. Przepływ danych jest masowy i ciągły.
(iv) Zmienność – Odnosi się to do niespójności, którą czasami mogą wykazywać dane, utrudniając w ten sposób proces skutecznego przetwarzania danych i zarządzania nimi.
Do tej listy dziś powszechnie dodaje się dwie kolejne cechy, co daje powszechnie cytowane „pięć V”:
- Prawdziwość – jak wiarygodne i dokładne są dane. Duplikaty rekordów, dryft czujnika i brakujące pola – wszystko to zmniejsza wiarygodność, a żadna ilość danych tego nie zrekompensuje.
- Wartość: – ile dane są faktycznie warte po przeanalizowaniu. Dane, które nigdy nie zostaną przekształcone w decyzję, jedynie zwiększają koszty przechowywania.
Zalety przetwarzania dużych zbiorów danych
Możliwość przetwarzania dużych zbiorów danych w systemie DBMS przynosi wiele korzyści, takich jak:
Firmy mogą korzystać z zewnętrznych informacji wywiadowczych przy podejmowaniu decyzji
Dostęp do danych społecznościowych z Wyszukiwarki a witryny takie jak Facebook i X (dawniej Twitter) umożliwiają organizacjom udoskonalenie strategii biznesowych.
Ulepszona obsługa klienta
Tradycyjne systemy informacji zwrotnej od klientów są zastępowane nowymi systemami zaprojektowanymi w oparciu o technologie Big Data. W tych nowych systemach do odczytywania i oceny reakcji konsumentów wykorzystywane są technologie Big Data i przetwarzania języka naturalnego.
Wczesna identyfikacja ryzyka dla produktów i usług
Ciągła analiza zapisów transakcji, odczytów czujników i zgłoszeń do pomocy technicznej pozwala wykryć wady, wzorce oszustw i awarie usług już na wczesnym etapie, zamiast czekać na miesięczny raport, który je ujawni.
Ulepsz Swój Operaefektywność narodowa
Technologie Big Data można wykorzystać do utworzenia obszaru przejściowego lub strefy docelowej dla nowych danych przed określeniem, co należy do nich przenieść. hurtownia danychPonadto taka integracja technologii Big Data i magazynu danych pomaga organizacji pozbyć się rzadko używanych danych.
