Co to jest analiza danych? Badania, typy i przykłady

⚡ Inteligentne podsumowanie

Analiza danych to proces oczyszczania, przekształcania i modelowania danych, dzięki któremu organizacja możetracUzyskaj przydatne informacje i działaj zgodnie z nimi. Pięć technik i sześciofazowy przepływ pracy tworzą strukturę pracy.

  • 🔘 Definicja: Czyszczenie, transformacja i modelowanie surowych danych w celu uzyskania informacji wspierających decyzje biznesowe.
  • Pięć technik: Analiza tekstowa, statystyczna, diagnostyczna, predykcyjna i normatywna pozwalają odpowiedzieć na coraz trudniejsze pytania.
  • Drabina pytań: Każda technika zaczyna się od tego, co się wydarzyło, dlaczego, co jest prawdopodobne i co należy zrobić.
  • 🧪 Sześć faz: Gromadzenie, kolekcjonowanie, czyszczenie, analiza, interpretacja i wizualizacja wymagań przebiegają w określonej kolejności.
  • 🛠️. Obróbka: Arkusze kalkulacyjne, SQL, PythonPlatformy R i Business Intelligence pokrywają większość obciążeń analitycznych.
  • ⚠️ Jakość danych: Zduplikowane rekordy, puste pola i przypadkowe odstępy zniekształcają każdy wynik generowany dalej.

Czym jest analiza danych

Co to jest analiza danych?

Analiza danych jest definiowana jako proces oczyszczania, transformacji i modelowania danych w celu odkrycia użytecznych informacji do podejmowania decyzji biznesowych. Celem analizy danych jest np.tracwyciągać użyteczne informacje z danych i podejmować decyzje na podstawie tej analizy.

Prosty przykład analizy danych pojawia się, gdy podejmujemy decyzję w życiu codziennym, zastanawiając się nad tym, co wydarzyło się ostatnio lub co się stanie, jeśli wybierzemy konkretną opcję. To nic innego jak analiza naszej przeszłości lub przyszłości i podejmowanie decyzji na jej podstawie, gromadzenie wspomnień z przeszłości lub oczekiwań dotyczących przyszłości. Analityk robi to samo w celach biznesowych i to właśnie nazywa się analizą danych.

Analiza danych mieści się w szerszym obszarze Nauka danych, która obejmuje również inżynierię danych, uczenie maszynowe i wdrażanie.

Dlaczego analiza danych jest ważna?

Aby rozwinąć swój biznes, a nawet swoje życie, czasami wystarczy analiza.

Jeśli Twój biznes się nie rozwija, musisz spojrzeć wstecz, przyznać się do błędów i ponownie opracować plan, unikając ich powtarzania. A nawet jeśli Twój biznes się rozwija, musisz myśleć o tym, jak sprawić, by rozwijał się jeszcze bardziej. Wystarczy przeanalizować dane biznesowe i procesy biznesowe.

Narzędzia do analizy danych

Każda z faz opisana poniżej jest realizowana przy użyciu oprogramowania. Zrzut ekranu poniżej pokazuje rodzaj interfejsu, jaki prezentuje narzędzie analityczne.

Interfejs narzędzia do analizy danych pokazujący zbiór danych gotowy do eksploracji
Narzędzia do analizy danych

Narzędzia do analizy danych ułatwiają użytkownikom przetwarzanie i manipulowanie danymi, analizowanie relacji i korelacji między zbiorami danych oraz identyfikację wzorców i trendów w celu ich interpretacji. Arkusze kalkulacyjne obejmują małe zbiory danych, zapytania SQL do magazynu danych, Python oraz R Obsługują statystyki i modelowanie, a platformy Business Intelligence publikują wyniki na pulpicie nawigacyjnym. Oto pełna lista narzędzia stosowane w badaniach.

Rodzaje analizy danych: techniki i metody

Istnieje kilka rodzaje analizy danych Istnieją techniki oparte na biznesie i technologii. Jednak głównymi metodami analizy danych są:

  • Analiza tekstu
  • Analiza statystyczna
  • Analiza diagnostyczna
  • Analiza predykcyjna
  • Analiza nakazowa

Pięć z nich nawiązuje do siebie nawzajem. Poniższa tabela przedstawia pytania, na które odpowiada każda z nich, zanim kolejne sekcje wyjaśnią je indywidualnie.

Technika Pytanie, na które odpowiada Typowy wynik
Analiza tekstu Jakie wzorce kryją się w tekście niestrukturyzowanym? Tematy, słowa kluczowe, wydobyte reguły
Analiza statystyczna Co się stało? Panele, statystyki podsumowujące
Analiza diagnostyczna Dlaczego to się stało? Przyczyny źródłowe, wzorce zachowań
Analiza predykcyjna Co może się wydarzyć? Prognozy, wyniki ryzyka
Analiza nakazowa Co powinniśmy z tym zrobić? Rekomendowane działania

Analiza tekstu

Analiza tekstu jest również nazywana eksploracją danych. Jest to jedna z metod analizy danych służąca do odkrywania wzorców w dużych zbiorach danych za pomocą baz danych lub narzędzia eksploracji danychPrzekształca surowe dane w informacje biznesowe. Narzędzia Business Intelligence dostępne na rynku służą do podejmowania strategicznych decyzji biznesowych. Ogólnie rzecz biorąc, oferuje sposób na…traci analizować dane, wywodzić wzorce i na koniec interpretować dane.

Analiza statystyczna

Analiza statystyczna pokazuje „Co się stało?”, wykorzystując dane historyczne w formie pulpitów nawigacyjnych. Obejmuje ona gromadzenie, analizę, interpretację, prezentację i modelowanie danych i działa na pełnym zestawie danych lub na próbie. Istnieją dwie kategorie tego typu analizy – analiza opisowa i analiza wnioskowania.

Descriptżywa analiza

DescriptAnaliza dynamiczna podsumowuje kompletne dane lub próbkę danych liczbowych. Raportuje średnią i odchylenie standardowe dla danych ciągłych oraz wartości procentowe i częstości dla danych kategorycznych.

Analiza wnioskowania

Analiza inferencyjna opiera się na próbie pobranej z kompletnych danych. W tym typie analizy można wyciągnąć różne wnioski z tej samej populacji, wybierając różne próby.

Analiza diagnostyczna

Analiza diagnostyczna pokazuje „Dlaczego tak się stało?”, znajdując przyczynę leżącą u podstaw wniosków uzyskanych w analizie statystycznej. Analiza ta jest przydatna do identyfikacji wzorców zachowań w danych. Jeśli w Twoim procesie biznesowym pojawi się nowy problem, możesz przeanalizować tę analizę, aby znaleźć podobne wzorce. Istnieje duże prawdopodobieństwo, że podobne rozwiązanie będzie miało zastosowanie do nowego problemu.

Analiza predykcyjna

Analiza predykcyjna pokazuje „Co jest prawdopodobne?” na podstawie danych z przeszłości. Prosty przykład analizy danych: jeśli w zeszłym roku kupiłam dwie sukienki z oszczędności, a w tym roku moja pensja się podwoi, to mogę kupić cztery sukienki. Oczywiście nie jest to takie proste, ponieważ trzeba wziąć pod uwagę inne okoliczności — ceny ubrań mogły wzrosnąć w tym roku, albo zamiast sukienek możesz chcieć kupić nowy rower, albo możesz potrzebować kupić dom.

Zatem ta analiza prognozuje przyszłe wyniki na podstawie bieżących lub historycznych danych. Prognoza to jedynie szacunek; jej dokładność zależy od ilości szczegółowych informacji i ich dogłębnego przeanalizowania.

Analiza nakazowa

Analiza preskryptywna łączy wnioski z wszystkich poprzednich analiz, aby określić, jakie działania należy podjąć w związku z bieżącym problemem lub decyzją. Większość firm opartych na danych korzysta z analizy preskryptywnej, ponieważ same analizy predykcyjne i opisowe nie wystarczają do poprawy wydajności danych. Na podstawie bieżących sytuacji i problemów, firmy analizują dane i podejmują decyzje.

Proces analizy danych

Wybór techniki odpowiada na to, co chcesz wiedzieć; poniższy proces odpowiada na pytanie, jak przebiega praca. proces analizy danych To gromadzenie informacji za pomocą odpowiedniej aplikacji lub narzędzia, które pozwala na eksplorację danych i znalezienie w nich wzorca. Na podstawie tych informacji można podejmować decyzje lub wyciągać wnioski.

Analiza danych składa się z następujących faz:

  • Gromadzenie wymagań dotyczących danych
  • Zbieranie danych
  • Czyszczenie danych
  • Analiza danych
  • Interpretacja danych
  • Wizualizacja danych

Gromadzenie wymagań dotyczących danych

Przede wszystkim zastanów się, dlaczego chcesz przeprowadzić tę analizę danych. Musisz określić cel analizy danych i zdecydować, jaki rodzaj analizy chcesz przeprowadzić. Na tym etapie decydujesz, co analizować i jak to mierzyć, a także wyjaśniasz, dlaczego prowadzisz badanie i jakie miary będą w nim stosowane.

Gromadzenie danych

Po zebraniu wymagań będziesz mieć jasny obraz tego, co musisz zmierzyć i jakie powinny być Twoje wyniki. Teraz nadszedł czas na zebranie danych w oparciu o te wymagania. Po zebraniu dane muszą zostać przetworzone lub uporządkowane do analizy. Ponieważ dane pochodzą z różnych źródeł, prowadź dziennik z datą zebrania i źródłem każdego zestawu danych.

Czyszczenie danych

Zebrane dane mogą być bezużyteczne lub nieistotne dla zamierzonego celu, dlatego należy je oczyścić. Zebrane dane mogą zawierać zduplikowane rekordy, przypadkowe spacje lub błędy. Dane powinny być czyste i wolne od błędów. Ten etap należy wykonać przed analizą, ponieważ jakość oczyszczania decyduje o tym, jak bardzo wynik jest zbliżony do oczekiwanego.

Analiza danych

Po zebraniu, oczyszczeniu i przetworzeniu danych są one gotowe do analizy. Podczas przetwarzania danych możesz odkryć, że posiadasz dokładnie te informacje, których potrzebujesz, lub że musisz zebrać ich więcej. Na tym etapie korzystasz z oprogramowania do analizy danych, aby zrozumieć, zinterpretować i wyciągnąć wnioski na podstawie wymagań.

Interpretacja danych

Po przeanalizowaniu danych nadszedł wreszcie czas na interpretację wyników. Możesz wybrać sposób przedstawienia lub zakomunikowania analizy – w sposób słowny, w formie tabeli lub wykresu. Następnie wykorzystaj wyniki analizy danych, aby wybrać najlepszy sposób działania.

Wizualizacja danych

Wizualizacja danych jest bardzo powszechna w życiu codziennym i często przybiera formę wykresów i diagramów. Innymi słowy, dane są prezentowane graficznie, aby ułatwić ludzkiemu mózgowi ich zrozumienie i przetwarzanie. Wizualizacja danych jest często wykorzystywana do odkrywania nieznanych faktów i trendów. Obserwując relacje i porównując zbiory danych, można wydobyć istotne informacje.

FAQ

Analiza danych bada istniejący zbiór danych, aby odpowiedzieć na zdefiniowane pytanie. Analityka danych to szersza dyscyplina naukowa, obejmująca gromadzenie, przechowywanie, modelowanie i operacjonalizację danych. W codziennym użyciu te dwa terminy są często traktowane zamiennie.

Analiza ilościowa opiera się na liczbach i odpowiada na pytania „ile”, „jak często” i „jak dużo” za pomocą testów statystycznych. Analiza jakościowa opiera się na słowach, obrazach i obserwacjach z wywiadów lub odpowiedziach otwartych, wyjaśniając znaczenie i kontekst, a nie wielkość.

Eksploracyjna analiza danych to pierwsze otwarte spojrzenie na zbiór danych: rozkłady, wartości brakujące, obserwacje odstające i relacje parami, głównie poprzez szybkie wykresy. Kształtuje ona hipotezy, które później formalnie testujesz, więc jest wykonywana przed dopasowaniem jakiegokolwiek modelu.

Prawdziwe dane zawierają duplikaty, niespójne kody, mieszane formaty dat i brakujące pola, a każde źródło dodaje swoje własne dziwactwa. Każdy z tych defektów ma wpływ na wynik, dlatego analitycy rutynowo poświęcają największą część projektu na przygotowanie danych.

SQL do pobierania danych, arkusz kalkulacyjny do szybkich kontroli, Python or R do statystyk i jednego narzędzia do wizualizacji. Poza narzędziami, analityk potrzebuje wiedzy specjalistycznej i umiejętności wyjaśnienia wyników osobom, które nigdy nie widzą kodu źródłowego.

Odczytanie korelacji jako związku przyczynowo-skutkowego, pobranie próbki z grupy, która nie reprezentuje populacji, porzucenieping Niewygodne obserwacje odstające bez powodu i testowanie wielu hipotez, aż jedna z nich okaże się istotna. Rejestrowanie każdej decyzji z wyprzedzeniem chroni przed większością z nich.

Funkcje sztucznej inteligencji są teraz dostępne w większości narzędzi analitycznych: profilują zbiór danych, proponują reguły czyszczenia, tworzą zapytania na podstawie pytań w języku potocznym i tworzą podsumowanie. Przyspieszają uczenie maszynowe praca, ale analityk nadal jest odpowiedzialny za interpretację.

Tak. Drugi pilot GitHub Uzupełnia polecenia pandas, dplyr i SQL na podstawie komentarza opisującego cel, co usuwa większość szablonów. Posit ostrzega, że ​​sugestie są niedeterministyczne, dlatego przed zaufaniem danej liczbie należy przejrzeć każdy wygenerowany wiersz.

Podsumuj ten post następująco: