Što je znanost o podacima? Uvod, Concepts & Postupak

⚡ Pametni sažetak

Znanost o podacima, extracts dobiva uvid iz velikih količina strukturiranih i nestrukturiranih podataka korištenjem statistike, vizualizacije i strojnog učenja. Njegov šesterofazni proces, ključne radne uloge, skup alata i glavne poslovne aplikacije navedene su u nastavku.

🔘 Definicija: Interdisciplinarno područje koje pretvara sirove podatke u znanje na temelju kojeg tvrtka može djelovati.
☑️ Četiri komponente: Statistika, vizualizacija, strojno učenje i duboko učenje temelj su svakog projekta.
✅ Šest faza: Otkrivanje, priprema, planiranje modela, izgradnja modela, operacionalizacija i komuniciranje rezultata.
🧪 Uloge: Znanstvenik podataka, inženjer, analitičar, statističar, arhitekt, administrator, poslovni analitičar i voditelj analitike.
🛠️ alat: R, Python, SAS i Spark za analizu; Hadoop i Hive za pohranu; Tableau za vizualne prikaze.
⚠️ Ograničenje: Nedostatak talenata, ograničen pristup podacima i pravila o privatnosti ograničavaju ono što timovi mogu isporučiti.

Pročitaj više

Što je znanost o podacima?

Znanost podatke je područje istraživanja koje uključuje npr.tracdobivanje uvida iz ogromnih količina podataka korištenjem različitih znanstvenih metoda, algoritama i procesa. Pomaže vam otkriti skrivene obrasce u sirovim podacima. Pojam znanost o podacima nastao je zbog evolucije matematičke statistike, analize podataka i Veliki podataka.

Znanost o podacima je interdisciplinarno područje koje vam omogućujetracznanje iz strukturiranih ili nestrukturiranih podataka. Znanost o podacima omogućuje vam prevođenje poslovnog problema u istraživački projekt, a zatim ga natrag u praktično rješenje.

Zašto Data Science?

Evo značajnih prednosti korištenja tehnologije analize podataka:

Podaci su ulje današnjeg svijeta. S pravim alatima, tehnologijama i algoritmima, možemo koristiti podatke i pretvoriti ih u izrazitu poslovnu prednost.
Data Science može vam pomoći da otkrijete prijevaru pomoću naprednih algoritama strojnog učenja
Pomaže vam da spriječite značajne novčane gubitke
Omogućuje vam ugradnju inteligencije u strojeve
Možete izvršiti analizu sentimenta kako biste procijenili lojalnost kupaca robnoj marki
Omogućuje vam donošenje boljih i bržih odluka
Pomaže vam da preporučite pravi proizvod pravom kupcu kako biste poboljšali svoje poslovanje

Vremenska crta u nastavku prikazuje kako je disciplina izrasla iz statistike i analitike.

Vremenska crta koja prikazuje evoluciju znanosti o podacima od statistike do velikih podataka — Evolucija znanosti o podacima

Komponente znanosti o podacima

Donji dijagram sažima četiri građevna bloka.

Statistika

Statistika je najkritičnija jedinica osnova znanosti o podacima, a to je metoda ili znanost prikupljanja i analize brojčanih podataka u velikim količinama kako bi se dobili korisni uvidi.

Vizualizacija

Tehnika vizualizacije pomaže vam pristupiti ogromnim količinama podataka u lako razumljivim i probavljivim vizualnim prikazima.

Strojno učenje

Strojno učenje istražuje izgradnju i proučavanje algoritama koji uče predviđati nepredviđene ili buduće podatke. Široko se dijeli na pod nadzorom i bez nadzora Tehnike.

Duboko učenje

Duboko učenje je pristup strojnog učenja u kojem slojevite neuronske mreže same uče značajke, pa algoritam odabire model analize koji će slijediti.

Proces znanosti o podacima

Sada u ovome Vodič za znanost o podacima, naučit ćemo proces znanosti o podacima. Šest faza u nastavku odvija se prikazanim redoslijedom:

1. Otkriće

Korak otkrivanja uključuje prikupljanje podataka iz svih identificiranih unutarnjih i vanjskih izvora, što vam pomaže odgovoriti na poslovno pitanje.

Podaci mogu biti:

Dnevnici s web poslužitelja
Podaci prikupljeni s društvenih medija
Skupovi popisnih podataka
Podaci se prenose iz mrežnih izvora pomoću API-ja

2. Priprema

Podaci mogu imati mnogo nedosljednosti poput nedostajućih vrijednosti, praznih stupaca i neispravnog formata podataka, a sve to treba očistiti. Prije modeliranja morate obraditi, istražiti i uvjetovati podatke. Što su vaši podaci čišći, to su vaša predviđanja bolja.

3. Planiranje modela

U ovoj fazi trebate odrediti metodu i tehniku crtanja odnosa između ulaznih varijabli. Planiranje modela provodi se korištenjem različitih statističkih formula i alati za vizualizacijuSQL analitičke usluge, R i SAS/ACCESS su neki od alata koji se koriste u tu svrhu.

4. Izrada modela

U ovom koraku započinje stvarni proces izgradnje modela. Ovdje znanstvenik podataka dijeli skup podataka na podskupove za učenje i testiranje. Tehnike poput povezivanja, klasifikacije i klasteriranja primjenjuju se na skup podataka za učenje. Model se, nakon što je pripremljen, testira u odnosu na skup podataka za „testiranje“.

5. Operanacionalizirati

U ovoj fazi isporučujete konačni osnovni model s izvješćima, kodom i tehničkom dokumentacijom. Model se nakon temeljitog testiranja implementira u produkcijsko okruženje u stvarnom vremenu.

6. Komunicirajte rezultate

U ovoj fazi, ključni nalazi se priopćuju svim dionicima. To vam pomaže da odlučite jesu li rezultati projekta uspješni ili neuspješni na temelju ulaznih podataka iz modela.

Uloge poslova u znanosti o podacima

Najistaknutiji poslovi Data Scientista su:

Data Scientist
Inženjer podataka
Analitičar podataka
Statističar
Datum Archizaötitili
Administrator podataka
Poslovni analitičar
Upravitelj podataka/analitike

Naučimo detaljno što svaka uloga uključuje:

Data Scientist

Uloga: Data Scientist je profesionalac koji upravlja golemim količinama podataka kako bi došao do uvjerljivih poslovnih vizija koristeći različite alate, tehnike, metodologije, algoritme itd.

jezici: R, SAS, Python, SQL, Hive, MATLAB, Pig, Spark

Inženjer podataka

Uloga: Uloga a inženjer podataka radi s velikim količinama podataka. Razvijaju, konstruiraju, testiraju i održavaju arhitekture kao što su veliki sustavi za obradu podataka i baze podataka.

jeziciSQL, Hive, R, SAS, MATLAB, Python, Java, Ruby, C++i Perl

Analitičar podataka

UlogaAnalitičar podataka odgovoran je za rudarenje ogromnih količina podataka. Tražit će odnose, obrasce i trendove u podacima. Later Pružit će uvjerljiva izvješća i vizualizaciju za analizu podataka kako bi se donijele najodrživije poslovne odluke.

jezici: R, Python, HTML, JS, C, C++, SQL

Statističar

Uloga: Statističar prikuplja, analizira i razumije kvalitativne i kvantitativne podatke koristeći se statističkim teorijama i metodama.

jeziciSQL, R, MATLAB, Tableau, Python, Perl, Sparki Košnica

Administrator podataka

Uloga: Administrator podataka treba osigurati da baza podataka dostupan je svim relevantnim korisnicima. Također osiguravaju da ispravno funkcionira i čuvaju ga od cjepkanje.

jezici: Ruby on Rails, SQL, Java, C# i Python

Poslovni analitičar

Uloga: Ovaj stručnjak treba poboljšati poslovne procese. On/ona je posrednik između poslovnog izvršnog tima i IT odjela.

jeziciSQL, Tableau, Power BI i Python

Također, pročitajte naše Pitanja i odgovori za intervju o znanosti o podacima za vježbu prije intervjua.

Alati za podatkovnu znanost

Alati su podijeljeni u četiri skupine, prikazane u nastavku.

Analiza podataka	Skladištenje podataka	Statistike	Strojno učenje
R, Spark, Python i SAS	Hadoop, SQL, Košnica	R, Tablo, Sirovo	Spark, Azure ML Studio, Mahout

Razlika između znanosti o podacima i BI (poslovna inteligencija)

Donja tablica pokazuje kako se to dvoje razlikuje.

Parametri	Business Intelligence	Znanost podatke
Percepcija	gledajući unatrag	Gledajući naprijed
Izvori podataka	Strukturirani podaci, uglavnom SQL, a ponekad i skladište podataka	Strukturirani i nestrukturirani podaci. Kao zapisnici, SQL, NoSQL ili tekst
Pristup	Statistika i vizualizacija	Statistika, strojno učenje i grafikon
isticanje	Prošlost i sadašnjost	Analiza i obrada prirodnog jezika
Alati	Pentaho, Microsoft Poslovna inteligencija, QlikView	R, TensorFlow

Također, pročitajte razliku između Znanost o podacima i strojno učenje.

Primjena znanosti o podacima

Neke primjene znanosti o podacima su:

Internet pretraživanje

Google Pretraga koristi tehnologiju znanosti o podacima za pretraživanje određenog rezultata unutar djelića sekunde.

Sustavi preporuka

Za izradu sustava preporuka. Na primjer, „predloženi prijatelji“ na Facebooku ili „predloženi videozapisi“ na YouTube, sve se radi uz pomoć Data Science.

Prepoznavanje slike i govora

Sustavi za prepoznavanje govora poput Siri, Google Assistant i Alexa rade na tehnici znanosti o podacima. Štoviše, Facebook prepoznaje vašeg prijatelja kada prenesete fotografiju s njim, uz pomoć znanosti o podacima.

Svijet igara

EA Sports, Sony, Nintendo koriste tehnologiju znanosti o podacima. Ovo poboljšava vaše iskustvo igranja. Igre su sada razvijene pomoću tehnika strojnog učenja i mogu se same ažurirati kada prijeđete na više razine.

Online usporedba cijena

PriceRunner, Junglee, Shopzilla rade na Data science mehanizmu. Ovdje se podaci dohvaćaju s relevantnih web stranica pomoću API-ja.

Izazovi tehnologije znanosti o podacima

Za točnu analizu potrebna je velika raznolikost informacija i podataka
Nije dostupan odgovarajući tim talenata za znanost o podacima
Uprava ne pruža financijsku potporu timu za podatkovne znanosti
Nedostupnost ili otežan pristup podacima
Donositelji poslovnih odluka ne koriste učinkovito rezultate znanosti o podacima
Teško je drugima objasniti znanost o podacima
Problemi s privatnošću
Nedostatak značajnog stručnjaka za domenu
Ako je organizacija vrlo mala, ne može imati tim za znanost o podacima

Pitanja i odgovori

Analiza podataka ispituje postojeće podatke kako bi objasnila što se dogodilo i zašto, obično putem izvještavanja i nadzornih ploča. Znanost o podacima gradi modele koji predviđaju što će se sljedeće dogoditi i više se oslanja na programiranje, statistiku i strojno učenje.

Poslodavci traže kvantitativnu diplomu ili ekvivalentan portfolio, tečno poznavanje Python ili R, SQL i statistika. Poznavanje domene često je jednako važno kao i akreditacija.

Python je sigurniji prvi izbor jer također pokriva inženjering, implementaciju i duboko učenje. R ostaje jači za klasičnu statistiku i akademska istraživanja. Većina radnih timova čita oboje.

Trebate deskriptivnu statistiku, vjerojatnost, testiranje hipoteza i linearnu algebru. Analiza je uglavnom važna kada dizajnirate ili podešavate modele. Dokazi su rijetki, ali formule vam moraju biti čitljive.

Sirovi zapisi stižu s nedostajućim poljima, duplikatima, nekonzistentnim jedinicama i pogrešnim tipovima. Svaka se greška širi u model, pa timovi velik dio rasporeda prvo ispravljaju te podatke.

Znanstvenik podataka postavlja pitanje, istražuje podatke i validira modele u istraživačkom okruženju. Inženjer strojnog učenja uzima validirani model i omogućuje mu pouzdano pokretanje u produkciji, imajući na umu praćenje, ponovnu obuku i skaliranje.

Generativna umjetna inteligencija izrađuje istraživački kod, sažima skupove podataka i predlaže značajke, komprimirajući rutinsku analizu. Prosudba o tome koje pitanje postaviti i može li se rezultatu vjerovati ostaje ljudska.

GitHub kopilot autodovršava pande, scikit-learn i iscrtava kod unutra Jupyter i VS Codei objašnjava nepoznate funkcije. Provjerite svaki prijedlog u odnosu na vlastite podatke - ne može vidjeti vaše stupce niti njihovo značenje.