Hvad er datavidenskab? Introduktion, Grundlæggende Concepts & Proces
Evelyn Clarke
Hvad er datavidenskab?
data, Science er det studieområde, der involverer at udvinde indsigt fra enorme mængder data ved hjælp af forskellige videnskabelige metoder, algoritmer og processer. Det hjælper dig med at opdage skjulte mønstre fra de rå data. Udtrykket Data Science er opstået på grund af udviklingen af matematisk statistik, dataanalyse og big data.
Data Science er et tværfagligt felt, der giver dig mulighed for at udtrække viden fra strukturerede eller ustrukturerede data. Datavidenskab gør dig i stand til at omsætte et forretningsproblem til et forskningsprojekt og derefter oversætte det tilbage til en praktisk løsning.
Hvorfor Data Science?
Her er væsentlige fordele ved at bruge dataanalyseteknologi:
- Data er olien for nutidens verden. Med de rigtige værktøjer, teknologier, algoritmer kan vi bruge data og konvertere dem til en klar forretningsfordel
- Data Science kan hjælpe dig med at opdage svindel ved hjælp af avancerede maskinlæringsalgoritmer
- Det hjælper dig med at forhindre betydelige økonomiske tab
- Giver mulighed for at opbygge intelligensevne i maskiner
- Du kan udføre sentimentanalyse for at måle kundemærkeloyalitet
- Det giver dig mulighed for at tage bedre og hurtigere beslutninger
- Det hjælper dig med at anbefale det rigtige produkt til den rigtige kunde for at forbedre din forretning
Datavidenskabskomponenter
Statistik
Statistik er den mest kritiske enhed af datavidenskabens grundlæggende principper, og det er metoden eller videnskaben til at indsamle og analysere numeriske data i store mængder for at få nyttig indsigt.
Visualisering
Visualiseringsteknik hjælper dig med at få adgang til enorme mængder data i letforståelige og fordøjelige billeder.
Maskinelæring
Maskinelæring udforsker opbygning og undersøgelse af algoritmer, der lærer at lave forudsigelser om uforudsete/fremtidige data.
Deep Learning
Deep Learning metode er ny maskinlæringsforskning, hvor algoritmen vælger den analysemodel, der skal følges.
Data Science proces
Nu i dette Data Science Tutorial, vil vi lære datavidenskabsprocessen:
1. Opdagelse
Opdagelsestrinet involverer indhentning af data fra alle de identificerede interne og eksterne kilder, hvilket hjælper dig med at besvare forretningsspørgsmålet.
Dataene kan være:
- Logs fra webservere
- Data indsamlet fra sociale medier
- Folketællingsdatasæt
- Data streamet fra onlinekilder ved hjælp af API'er
2. Forberedelse
Data kan have mange uoverensstemmelser som manglende værdier, tomme kolonner, et forkert dataformat, som skal renses. Du skal behandle, udforske og konditionere data før modellering. Jo renere dine data er, jo bedre er dine forudsigelser.
3. Modelplanlægning
I denne fase skal du bestemme metoden og teknikken til at tegne sammenhængen mellem inputvariabler. Planlægning af en model udføres ved at bruge forskellige statistiske formler og visualiseringsværktøjer. SQL-analysetjenester, R og SAS/adgang er nogle af de værktøjer, der bruges til dette formål.
4. Modelbygning
I dette trin starter selve modelbygningsprocessen. Her distribuerer Data scientist datasæt til træning og test. Teknikker som association, klassificering og klyngedannelse anvendes på træningsdatasættet. Når modellen er klargjort, testes den mod "testning"-datasættet.
5. Operationalisere
Du leverer den endelige baselinede model med rapporter, kode og tekniske dokumenter i denne fase. Modellen implementeres i et produktionsmiljø i realtid efter grundig test.
6. Kommuniker resultater
I denne fase kommunikeres de vigtigste resultater til alle interessenter. Dette hjælper dig med at beslutte, om projektresultaterne er en succes eller en fiasko baseret på input fra modellen.
Data Science jobroller
De mest fremtrædende jobtitler for Data Scientist er:
- Dataforsker
- Data Engineer
- Data Analytiker
- statistiker
- data Architect
- Data Admin
- Business Analyst
- Data/Analytics Manager
Lad os lære, hvad hver rolle indebærer i detaljer:
Dataforsker
Rolle: En dataforsker er en professionel, der administrerer enorme mængder data for at komme med overbevisende forretningsvisioner ved at bruge forskellige værktøjer, teknikker, metoder, algoritmer osv.
Other languages: R, SAS, Python, SQL, Hive, Matlab, Pig, Spark
Data Engineer
roller: Rollen som en dataingeniør er at arbejde med store mængder data. Han udvikler, konstruerer, tester og vedligeholder arkitekturer som storskala behandlingssystemer og databaser.
Other languages: SQL, Hive, R, SAS, Matlab, Python, Java, Ruby, C++ og Perl
Data Analytiker
roller: En dataanalytiker er ansvarlig for at udvinde store mængder data. De vil lede efter relationer, mønstre, tendenser i data. Later han eller hun vil levere overbevisende rapportering og visualisering til at analysere dataene for at tage de mest levedygtige forretningsbeslutninger.
Other languages:R, Python, HTML, JS, C, C++, SQL
statistiker
roller: Statistikeren indsamler, analyserer og forstår kvalitative og kvantitative data ved hjælp af statistiske teorier og metoder.
Other languages: SQL, R, Matlab, Tableau, Python, Perl, Spark, og Hive
Dataadministrator
roller: Dataadministrator skal sikre, at database er tilgængelig for alle relevante brugere. Han sikrer også, at den fungerer korrekt og beskytter den mod hacking.
Other languages: Ruby on Rails, SQL, Java, C# og Python
Business Analyst
roller: Denne professionelle skal forbedre forretningsprocesser. Han/hun er en mellemmand mellem virksomhedsledelsen og IT-afdelingen.
Other languages: SQL, Tableau, Power BI og, Python
Læs også Data Science Interview Spørgsmål og Svar: Klik her
Værktøjer til datavidenskab
| Dataanalyse | Datavarehousing | Datavisualisering | Maskinelæring |
|---|---|---|---|
| R, Spark, Python og SAS | Hadoop, SQL, Hive | R, Tableau, Rå | Spark, Azure ML studie, Mahout |
Forskellen mellem Data Science med BI (Business Intelligence)
| parametre | Business Intelligence | data, Science |
|---|---|---|
| Perception | Ser tilbage | Ser frem |
| Data Sources | Strukturerede data. Mest SQL, men nogen tid Data Warehouse) | Strukturerede og ustrukturerede data. Som logfiler, SQL, NoSQL eller tekst |
| Tilgang | Statistik & Visualisering | Statistik, Machine Learning og Graph |
| vægt | Fortid & nutid | Analyse & Neurolingvistisk Programmering |
| Værktøjer | Pentaho. Microsoft Bl, QlikView, | R, TensorFlow |
Læs også forskellen mellem Data Science vs Machine: Klik her
Anvendelser af datavidenskab
Nogle anvendelser af Data Science er:
Internetsøgning
Google-søgning bruger datavidenskabsteknologi til at søge efter et bestemt resultat inden for en brøkdel af et sekund
Anbefalingssystemer
At oprette et anbefalingssystem. For eksempel "foreslåede venner" på Facebook eller foreslåede videoer" på YouTube, alt sker ved hjælp af Data Science.
Billed- og talegenkendelse
Tale genkender systemer som Siri, Google Assistant og Alexa, der kører på datavidenskabsteknikken. Desuden genkender Facebook din ven, når du uploader et billede med dem, ved hjælp af Data Science.
Gaming verden
EA Sports, Sony, Nintendo bruger datavidenskabsteknologi. Dette forbedrer din spiloplevelse. Spil er nu udviklet ved hjælp af Machine Learning-teknikker, og de kan opdatere sig selv, når du flytter til højere niveauer.
Online prissammenligning
PriceRunner, Junglee, Shopzilla arbejder på datavidenskabsmekanismen. Her hentes data fra de relevante hjemmesider ved hjælp af API'er.
Udfordringer ved datavidenskabsteknologi
- Et stort udvalg af information og data er påkrævet for nøjagtig analyse
- Der er ikke tilstrækkelig data science talentpulje tilgængelig
- Ledelsen yder ikke økonomisk støtte til et datavidenskabsteam
- Utilgængelighed/vanskelig adgang til data
- Forretningsbeslutningstagere bruger ikke data Science resultater effektivt
- Det er svært at forklare datavidenskab til andre
- Privatlivsproblemer
- Mangel på betydelig domæneekspert
- Hvis en organisation er meget lille, kan den ikke have et Data Science-team
Resumé
- Data Science er det studieområde, der involverer at udtrække indsigt fra enorme mængder data ved at bruge forskellige videnskabelige metoder, algoritmer og processer.
- Statistik, visualisering, Deep Learning, Machine Learning er vigtige datavidenskabsbegreber.
- Datavidenskabsprocessen går gennem opdagelse, dataforberedelse, modelplanlægning, modelbygning, Operationalisere, kommunikere resultater.
- Vigtige Data Scientist-jobroller er: 1) Data Scientist 2) Dataingeniør 3) Dataanalytiker 4) Statistiker 5) Data Architect 6) Data Admin 7) Forretningsanalytiker 8) Data/Analytics Manager.
- R, SQL, Python, SaS er vigtige datavidenskabelige værktøjer.
- Forudsigelserne om Business Intelligence kigger bagud, mens det for Data Science ser fremad.
- Vigtige anvendelser af datavidenskab er 1) Internetsøgning 2) Anbefalingssystemer 3) Billed- og talegenkendelse 4) Spilverden 5) Online prissammenligning.
- Det store udvalg af information og data er den største udfordring ved datavidenskabsteknologi.
