Co to jest nauka danych? Wprowadzenie, podstawowe Concepts & Proces

Co to jest Data Science?

Nauka danych to obszar badań obejmujący wydobywanie spostrzeżeń z ogromnych ilości danych przy użyciu różnych naukowych metod, algorytmów i procesów. Pomaga odkryć ukryte wzorce w surowych danych. Termin Data Science pojawił się z powodu ewolucji statystyki matematycznej, analizy danych i big danych.

Data Science to interdyscyplinarna dziedzina, która pozwala wydobywać wiedzę z danych ustrukturyzowanych lub nieustrukturyzowanych. Analiza danych pozwala przełożyć problem biznesowy na projekt badawczy, a następnie przełożyć go z powrotem na praktyczne rozwiązanie.

Dlaczego analiza danych?

Oto znaczące zalety stosowania technologii analizy danych:

• Dane są olejem dla dzisiejszego świata. Dzięki odpowiednim narzędziom, technologiom, algorytmom możemy wykorzystać dane i przekształcić je w wyraźną przewagę biznesową
• Nauka o danych może pomóc Ci wykryć oszustwa przy użyciu zaawansowanych algorytmów uczenia maszynowego
• Pomaga zapobiegać znaczącym stratom pieniężnym
• Pozwala budować zdolności inteligencji w maszynach
• Możesz przeprowadzić analizę nastrojów, aby zmierzyć lojalność klientów wobec marki
• Dzięki niemu możesz podejmować lepsze i szybsze decyzje
• Pomaga Ci polecić właściwy produkt właściwemu klientowi, aby ulepszyć Twój biznes

Komponenty nauki o danych

Statystyki

Statystyka jest najważniejszą jednostką podstaw nauki o danych i jest metodą lub nauką polegającą na gromadzeniu i analizowaniu danych liczbowych w dużych ilościach w celu uzyskania przydatnych spostrzeżeń.

Wizualizacja

Technika wizualizacji pomaga uzyskać dostęp do ogromnych ilości danych w formie łatwych do zrozumienia i przyswajalnych wizualizacji.

Nauczanie maszynowe

Nauczanie maszynowe zajmuje się tworzeniem i badaniem algorytmów, które uczą się formułować przewidywania na podstawie nieprzewidzianych/przyszłych danych.

głęboki Learning

głęboki Learning metoda to nowe badania nad uczeniem maszynowym, w których algorytm wybiera model analityczny, który ma zastosować.

Proces nauki danych

Teraz w tym Samouczek dotyczący nauki o danych, poznamy Proces Nauki Danych:

1. Odkrycie

Etap odkrywania polega na pozyskaniu danych ze wszystkich zidentyfikowanych źródeł wewnętrznych i zewnętrznych, co pomaga odpowiedzieć na pytanie biznesowe.

Dane mogą być:

• Logi z serwerów WWW
• Dane zebrane z mediów społecznościowych
• Zbiory danych spisowych
• Dane przesyłane strumieniowo ze źródeł internetowych przy użyciu interfejsów API

2. Przygotowanie

Dane mogą zawierać wiele niespójności, takich jak brakujące wartości, puste kolumny, nieprawidłowy format danych, który należy wyczyścić. Przed modelowaniem należy przetworzyć, eksplorować i kondycjonować dane. Im czystsze są Twoje dane, tym lepsze są Twoje przewidywania.

3. Planowanie modelowe

Na tym etapie należy określić metodę i technikę rysowania relacji pomiędzy zmiennymi wejściowymi. Planowanie modelu odbywa się przy użyciu różnych wzorów statystycznych i narzędzia do wizualizacji. Usługi analizy SQL, R i SAS/access to tylko niektóre z narzędzi wykorzystywanych w tym celu.

4. Budowa modelu

Na tym etapie rozpoczyna się rzeczywisty proces budowania modelu. Tutaj Data Scientist dystrybuuje zestawy danych do szkolenia i testowania. Techniki takie jak asocjacja, klasyfikacja i klastrowanie są stosowane do zestawu danych szkoleniowych. Po przygotowaniu model jest testowany względem zestawu danych „testowych”.

5. Operanacjonalizować

Na tym etapie dostarczasz ostateczny model bazowy z raportami, kodem i dokumentami technicznymi. Model jest wdrażany w środowisku produkcyjnym w czasie rzeczywistym po dokładnym przetestowaniu.

6. Komunikuj wyniki

Na tym etapie najważniejsze ustalenia są przekazywane wszystkim zainteresowanym stronom. Pomaga to w podjęciu decyzji, czy wyniki projektu okażą się sukcesem, czy porażką, na podstawie danych wejściowych z modelu.

Role w pracy związanej z nauką o danych

Najbardziej znane stanowiska analityków danych to:

• Dane Scientist
• Data Engineer
• Analityk danych
• Statystyk
• Dane ArchiTECT
• Administrator danych
• Analitycy Biznesowi
• Menedżer danych/analiz

Przyjrzyjmy się szczegółowo, na czym polega każda rola:

Dane Scientist

Rola: Data Scientist to specjalista, który zarządza ogromnymi zbiorami danych w celu opracowywania interesujących wizji biznesowych przy użyciu różnych narzędzi, technik, metodologii, algorytmów itp.

Języki: R, SAS, Python, SQL, Hive, Matlab, Świnia, Spark

Data Engineer

Rola: Rola A inżynier danych jest praca z dużymi ilościami danych. Rozwija, konstruuje, testuje i utrzymuje architektury takie jak systemy przetwarzania na dużą skalę i bazy danych.

Języki: SQL, Hive, R, SAS, Matlab, Python, Java, Ruby, C++ i Perl

Analityk danych

Rola: Analityk danych jest odpowiedzialny za eksplorację ogromnych ilości danych. Będą szukać zależności, wzorców, trendów w danych. Later dostarczy przekonujące raporty i wizualizacje umożliwiające analizę danych w celu podjęcia najbardziej realnych decyzji biznesowych.

Języki: R, Python, HTML, JS, C, C++, SQL

Statystyk

Rola: Statystyk gromadzi, analizuje i rozumie dane jakościowe i ilościowe, korzystając z teorii i metod statystycznych.

Języki: SQL, R, Matlab, Tableau, Python, Perł, Sparki Ula

Administrator danych

Rola: Administrator danych powinien upewnić się, że plik baza danych jest dostępny dla wszystkich odpowiednich użytkowników. Zapewnia również, że działa prawidłowo i chroni go przed włamanie.

Języki: Ruby on Rails, SQL, Java, C# i Python

Analitycy Biznesowi

Rola: Ten profesjonalista musi ulepszyć procesy biznesowe. Jest pośrednikiem pomiędzy zespołem wykonawczym firmy a działem IT.

Języki: SQL, Tableau, Power BI i, Python

Przeczytaj także pytania i odpowiedzi dotyczące wywiadu dotyczącego analityki danych: Kliknij tutaj

Narzędzia do nauki o danych

Analiza danych	Magazyn danych	Wizualizacja danych	Nauczanie maszynowe
R, Spark, Python oraz SAS	Hadoop, SQL, Ul	R, Żywy obraz, Surowy	Spark, Azure Studio ML, Mahout

Różnica między nauką o danych a BI (Business Intelligence)

Parametry	Wywiad Gospodarczy	Nauka danych
Postrzeganie	Patrząc wstecz	Patrząc w przyszłość
Źródła danych	Dane strukturalne. Głównie SQL, ale czasami hurtownia danych)	Dane strukturalne i nieustrukturyzowane. Podobnie jak dzienniki, SQL, NoSQL lub tekst
Podejście	Statystyki i wizualizacje	Statystyki, uczenie maszynowe i wykresy
nacisk	Przeszłość i teraźniejszość	Analiza i programowanie neurolingwistyczne
Narzędzia	Pentaho. Microsoft Bl, QlikView,	R, TensorFlow

Przeczytaj także różnicę między nauką o danych a maszyną: Kliknij tutaj

Zastosowania nauki o danych

Niektóre zastosowania nauki o danych to:

Wyszukiwanie w Internecie

Wyszukiwarka Google korzysta z technologii analizy danych, aby wyszukać konkretny wynik w ułamku sekundy

Systemy rekomendacji

Stworzenie systemu rekomendacji. Na przykład „sugerowani znajomi” na Facebooku lub sugerowane filmy wideo na stronie YouTube, wszystko odbywa się za pomocą Data Science.

Rozpoznawanie obrazu i mowy

Mowa rozpoznaje systemy takie jak Siri, Google Assistant i Alexa, które działają w oparciu o technikę analizy danych. Co więcej, Facebook rozpoznaje Twojego znajomego, gdy przesyłasz z nim zdjęcie, za pomocą Data Science.

Świat gier

EA Sports, Sony i Nintendo korzystają z technologii Data Science. Zwiększa to Twoje wrażenia z gry. Gry są obecnie tworzone przy użyciu technik uczenia maszynowego i mogą się same aktualizować, gdy przejdziesz na wyższy poziom.

Porównanie cen w Internecie

PriceRunner, Junglee, Shopzilla pracują nad mechanizmem Data Science. W tym przypadku dane są pobierane z odpowiednich stron internetowych za pomocą interfejsów API.

Wyzwania technologii nauki o danych

• Do dokładnej analizy wymagana jest duża różnorodność informacji i danych
• Niedostępna odpowiednia pula talentów do analityki danych
• Kierownictwo nie zapewnia wsparcia finansowego zespołowi zajmującemu się analizą danych
• Niedostępność/trudny dostęp do danych
• Decydenci biznesowi nie wykorzystują efektywnie wyników Data Science
• Wyjaśnianie innym nauki o danych jest trudne
• Prywatne problemy
• Brak znaczącego eksperta dziedzinowego
• Jeśli organizacja jest bardzo mała, nie może mieć zespołu Data Science

Podsumowanie

• Nauka o danych to dziedzina nauki zajmująca się wyciąganiem wniosków z ogromnych ilości danych przy użyciu różnych metod naukowych, algorytmów i procesów.
• Statystyka, wizualizacja, głębokie uczenie i uczenie maszynowe to ważne koncepcje nauki o danych.
• Proces nauki o danych obejmuje odkrywanie, przygotowywanie danych, planowanie modelu, budowanie modelu, Operacjonalizować i komunikować wyniki.
• Ważne role na stanowisku analityka danych to: 1) analityk danych 2) inżynier danych 3) analityk danych 4) statystyk 5) dane Architect 6) Administrator danych 7) Analityk biznesowy 8) Menedżer danych/analityków.
• R, SQL, Python, SaS to podstawowe narzędzia do nauki o danych.
• Przewidywania Business Intelligence patrzą wstecz, natomiast w przypadku Data Science patrzą w przyszłość.
• Ważne zastosowania nauki o danych to 1) Wyszukiwanie w Internecie 2) Systemy rekomendacji 3) Rozpoznawanie obrazu i mowy 4) Świat gier 5) Porównywarka cen online.
• Duża różnorodność informacji i danych jest największym wyzwaniem technologii analityki danych.