Wat is datawetenschap? Inleiding, Basis Concepts & Proces
Evelien Clarke
Wat is Data Science?
data Science is het studiegebied dat het extraheren van inzichten uit enorme hoeveelheden data omvat met behulp van verschillende wetenschappelijke methoden, algoritmen en processen. Het helpt je om verborgen patronen te ontdekken in de ruwe data. De term Data Science is ontstaan door de evolutie van wiskundige statistieken, data-analyse en big data.
Data Science is een interdisciplinair vakgebied waarmee je kennis kunt extraheren uit gestructureerde of ongestructureerde data. Met data science kun je een bedrijfsprobleem vertalen naar een onderzoeksproject en dit vervolgens weer vertalen naar een praktische oplossing.
Waarom datawetenschap?
Hier zijn belangrijke voordelen van het gebruik van Data Analytics-technologie:
- Data is de olie voor de wereld van vandaag. Met de juiste tools, technologieën en algoritmes kunnen we data gebruiken en omzetten in een duidelijk zakelijk voordeel.
- Data Science kan u helpen fraude te detecteren met behulp van geavanceerde algoritmen voor machinaal leren
- Het helpt u om aanzienlijke financiële verliezen te voorkomen
- Maakt het mogelijk om intelligentievermogen in machines op te bouwen
- U kunt sentimentanalyses uitvoeren om de merkloyaliteit van klanten te meten
- Het zorgt ervoor dat u betere en snellere beslissingen kunt nemen
- Het helpt u het juiste product aan de juiste klant aan te bevelen om uw bedrijf te verbeteren
Data Science-componenten
Statistieken
Statistiek is de meest kritische eenheid van de basisbeginselen van Data Science, en het is de methode of wetenschap voor het verzamelen en analyseren van numerieke gegevens in grote hoeveelheden om bruikbare inzichten te verkrijgen.
Visualisatie
Met de visualisatietechniek krijgt u toegang tot grote hoeveelheden gegevens in gemakkelijk te begrijpen en verteerbare beelden.
Machine leren
Machine leren onderzoekt de bouw en studie van algoritmen die leren voorspellingen te doen over onvoorziene/toekomstige gegevens.
Diepe leren
Diepe leren De methode is nieuw machine learning-onderzoek waarbij het algoritme het te volgen analysemodel selecteert.
Data Science-proces
Nu in dit Data Science-zelfstudie, zullen we het Data Science-proces leren:
1. Ontdekking
De ontdekkingsstap omvat het verzamelen van gegevens uit alle geïdentificeerde interne en externe bronnen, waardoor u de zakelijke vraag kunt beantwoorden.
De gegevens kunnen zijn:
- Logboeken van webservers
- Gegevens verzameld via sociale media
- Census-gegevenssets
- Gegevens gestreamd vanuit online bronnen met behulp van API's
2. Voorbereiding
Gegevens kunnen veel inconsistenties bevatten, zoals ontbrekende waarden, lege kolommen, een onjuist gegevensformaat dat moet worden opgeschoond. U moet gegevens verwerken, verkennen en conditioneren voordat u gaat modelleren. Hoe schoner uw gegevens, hoe beter uw voorspellingen.
3. Modelplanning
In deze fase moet u de methode en techniek bepalen om de relatie tussen invoervariabelen te tekenen. De planning voor een model wordt uitgevoerd met behulp van verschillende statistische formules visualisatie tools. SQL-analyseservices, R en SAS/access zijn enkele van de tools die hiervoor worden gebruikt.
4. Modelbouw
In deze stap start het daadwerkelijke modelbouwproces. Hier distribueert de datawetenschapper datasets voor training en testen. Technieken zoals associatie, classificatie en clustering worden toegepast op de trainingsdataset. Het model wordt, zodra het is voorbereid, getest tegen de 'test'-dataset.
5. Operarationaliseren
U levert in deze fase het definitieve baselinemodel met rapporten, code en technische documenten. Het model wordt na grondige tests geïmplementeerd in een realtime productieomgeving.
6. Communiceer resultaten
In deze fase worden de belangrijkste bevindingen aan alle belanghebbenden gecommuniceerd. Dit helpt u te beslissen of de projectresultaten een succes of een mislukking zijn op basis van de input uit het model.
Data Science-banenrollen
De meest prominente functietitels van Data Scientist zijn:
- Gegevens Scientist
- Data Engineer
- Data Analyst
- Statisticus
- Data ArchiTect
- Gegevensbeheerder
- Bedrijfsanalist
- Gegevens-/analysemanager
Laten we eens nader bekijken wat elke rol inhoudt:
Gegevens Scientist
Rol: Een datawetenschapper is een professional die enorme hoeveelheden data beheert om overtuigende bedrijfsvisies te ontwikkelen. Hiervoor gebruikt hij diverse hulpmiddelen, technieken, methodologieën, algoritmen, etc.
Talen: R, SAS, Python, SQL, Bijenkorf, Matlab, Varken, Spark
Data Engineer
Rol: De rol van een data engineer is van het werken met grote hoeveelheden data. Hij ontwikkelt, construeert, test en onderhoudt architecturen zoals grootschalige verwerkingssystemen en databases.
Talen: SQL, Hive, R, SAS, Matlab, Python, Java, Ruby, C++ en Perl
Data Analyst
Rol: Een data-analist is verantwoordelijk voor het ontginnen van grote hoeveelheden gegevens. Ze gaan op zoek naar relaties, patronen, trends in data. Later hij of zij levert overtuigende rapportage en visualisatie voor het analyseren van de gegevens om de meest haalbare zakelijke beslissingen te nemen.
Talen: R, Python, HTML, JS, C, C++, SQL
Statisticus
Rol: De statisticus verzamelt, analyseert en begrijpt kwalitatieve en kwantitatieve gegevens met behulp van statistische theorieën en methoden.
Talen: SQL, R, Matlab, Tableau, Python, Perl, Spark, en Hive
Gegevensbeheerder
Rol: Gegevensbeheerder moet ervoor zorgen dat de databank is toegankelijk voor alle relevante gebruikers. Hij zorgt er ook voor dat het correct functioneert en beschermt het tegen hacking.
Talen: Ruby op rails, SQL, Java, C# en Python
Bedrijfsanalist
Rol: Deze professional moet bedrijfsprocessen verbeteren. Hij/zij is een intermediair tussen het business executive team en de IT-afdeling.
Talen: SQL, Tableau, Power BI en, Python
Lees ook de vragen en antwoorden over Data Science-interviews: Klik Hier
Tools voor data science
| Data-analyse | Data opslagplaats | Data visualisatie | Machine leren |
|---|---|---|---|
| R, Spark, Python en SAS | Hadoop, SQL-, Bijenkorf | R, Tableau, Rauw | Spark, Azure ML-studio, Mahout |
Verschil tussen datawetenschap met BI (Business Intelligence)
| parameters | Business Intelligence | data Science |
|---|---|---|
| Perceptie | Achteruit kijken | We zien je graag |
| Data bronnen | Gestructureerde gegevens. Meestal SQL, maar soms Data Warehouse) | Gestructureerde en ongestructureerde gegevens. Zoals logs, SQL, NoSQL of tekst |
| Aanpak | Statistieken & Visualisatie | Statistieken, machinaal leren en grafieken |
| nadruk | Verleden en heden | Analyse en neurolinguïstisch programmeren |
| Tools | Pentaho. Microsoft Bl, QlikView, | R, TensorFlow |
Lees ook het verschil tussen Data Science versus Machine: Klik Hier
Toepassingen van Data Science
Enkele toepassingen van Data Science zijn:
Internet zoekopdracht
Google Zoeken maakt gebruik van Data Science-technologie om binnen een fractie van een seconde naar een specifiek resultaat te zoeken
Aanbevelingssystemen
Om een aanbevelingssysteem te creëren. Bijvoorbeeld 'voorgestelde vrienden' op Facebook of voorgestelde video's' YouTube, alles gebeurt met behulp van Data Science.
Beeld- en spraakherkenning
Spraak herkent systemen als Siri, Google Assistant en Alexa die draaien op de Data Science-techniek. Bovendien herkent Facebook je vriend(in) als je met hem/haar een foto uploadt, met behulp van Data Science.
Gaming wereld
EA Sports, Sony en Nintendo gebruiken datawetenschapstechnologie. Dit verbetert uw game-ervaring. Games worden nu ontwikkeld met behulp van Machine Learning-technieken, en ze kunnen zichzelf updaten wanneer je naar een hoger niveau gaat.
Online prijsvergelijking
PriceRunner, Junglee en Shopzilla werken aan het Data Science-mechanisme. Hierbij worden met behulp van API’s gegevens van de betreffende websites opgehaald.
Uitdagingen van datawetenschapstechnologie
- Voor een nauwkeurige analyse is een grote verscheidenheid aan informatie en gegevens vereist
- Er is niet voldoende data science-talentpool beschikbaar
- Het management biedt geen financiële steun aan een data science-team
- Onbeschikbaarheid/moeilijke toegang tot gegevens
- Zakelijke besluitvormers maken niet effectief gebruik van data Science-resultaten
- Data science aan anderen uitleggen is lastig
- Priveproblemen
- Gebrek aan significante domeinexpert
- Als een organisatie erg klein is, kan deze geen Data Science-team hebben
Samenvatting
- Datawetenschap is het vakgebied waarin je inzichten haalt uit enorme hoeveelheden data door gebruik te maken van verschillende wetenschappelijke methoden, algoritmen en processen.
- Statistiek, visualisatie, deep learning en machine learning zijn belangrijke concepten in Data Science.
- Het datawetenschapsproces verloopt via ontdekking, gegevensvoorbereiding, modelplanning, modelbouw, Operarationaliseren, resultaten communiceren.
- Belangrijke functies voor datawetenschappers zijn: 1) Datawetenschapper 2) Data-ingenieur 3) Data-analist 4) Statisticus 5) Data Architect 6) Databeheerder 7) Businessanalist 8) Data/Analytics Manager.
- R, SQL, Python, SaS zijn essentiële datawetenschapstools.
- De voorspellingen van Business Intelligence kijken terug, terwijl die van Data Science vooruit kijken.
- Belangrijke toepassingen van Data science zijn 1) Zoeken op internet 2) Aanbevelingssystemen 3) Beeld- en spraakherkenning 4) Gamingwereld 5) Online prijsvergelijking.
- De grote verscheidenheid aan informatie en data is de grootste uitdaging van data science-technologie.
