Wat is datawetenschap? Inleiding. Concepts & Proces

Door: Evelien Clarke Evelien Clarke
Hours Bijgewerkt

⚡ Slimme samenvatting

Data Science extracHet bedrijf haalt inzichten uit grote hoeveelheden gestructureerde en ongestructureerde data met behulp van statistiek, visualisatie en machine learning. Het zesstappenproces, de belangrijkste functies, de gebruikte tools en de belangrijkste zakelijke toepassingen worden hieronder beschreven.

  • 🔘 Definitie: Een interdisciplinair vakgebied dat ruwe data omzet in kennis waarop een bedrijf actie kan ondernemen.
  • ☑️ Vier componenten: Statistiek, visualisatie, machine learning en deep learning vormen de basis van elk project.
  • ✅ Zes fasen: Ontdekking, voorbereiding, modelplanning, modelbouw, operationalisering en communicatie van de resultaten.
  • 🧪 Rollen: Data scientist, engineer, analist, statisticus, architect, administrator, business analyst en analytics manager.
  • ️ tooling: R, Python, SAS en Spark Voor analyse; Hadoop en Hive voor opslag; Tableau voor visualisaties.
  • ⚠️ Beperking: Tekorten aan talent, beperkte toegang tot gegevens en privacyregels beperken wat teams kunnen leveren.
Meer informatie

Wat is datawetenschap

Wat is Data Science?

data Science is het vakgebied dat zich bezighoudt met extracHet verkrijgen van inzichten uit enorme hoeveelheden data met behulp van diverse wetenschappelijke methoden, algoritmen en processen. Het helpt je om verborgen patronen in de ruwe data te ontdekken. De term Data Science is ontstaan ​​door de evolutie van wiskundige statistiek, data-analyse en big data.

Data Science is een interdisciplinair vakgebied waarmee je kunt experimenteren met data science.tracData science verkrijgt kennis uit gestructureerde of ongestructureerde data. Het stelt je in staat om een ​​bedrijfsprobleem te vertalen naar een onderzoeksproject en dit vervolgens weer om te zetten in een praktische oplossing.

Waarom datawetenschap?

Hier zijn belangrijke voordelen van het gebruik van Data Analytics-technologie:

  • Data is de olie voor de wereld van vandaag. Met de juiste tools, technologieën en algoritmen kunnen we data gebruiken en omzetten in een duidelijk concurrentievoordeel.
  • Data Science kan u helpen fraude te detecteren met behulp van geavanceerde algoritmen voor machinaal leren
  • Het helpt u om aanzienlijke financiële verliezen te voorkomen
  • Hiermee kun je intelligentie in machines inbouwen.
  • U kunt sentimentanalyses uitvoeren om de merkloyaliteit van klanten te meten
  • Het zorgt ervoor dat u betere en snellere beslissingen kunt nemen
  • Het helpt u het juiste product aan de juiste klant aan te bevelen om uw bedrijf te verbeteren

De onderstaande tijdlijn laat zien hoe de discipline is ontstaan ​​uit statistiek en data-analyse.

Tijdlijn die de evolutie van datawetenschap laat zien, van statistiek tot big data.
De evolutie van datawetenschap

Data Science-componenten

Het onderstaande diagram vat de vier bouwstenen samen.

De datawetenschap bestaat uit vier onderdelen: statistiek, visualisatie, machine learning en deep learning.

Statistieken

Statistiek is de meest kritische eenheid van de basisbeginselen van Data Science, en het is de methode of wetenschap voor het verzamelen en analyseren van numerieke gegevens in grote hoeveelheden om bruikbare inzichten te verkrijgen.

Visualisatie

Met de visualisatietechniek krijgt u toegang tot grote hoeveelheden gegevens in gemakkelijk te begrijpen en verteerbare beelden.

Machine leren

Machine leren Het onderzoekt de ontwikkeling en bestudering van algoritmen die leren voorspellingen te doen over onvoorziene of toekomstige gegevens. Het is grofweg onder te verdelen in: toezicht en ongecontroleerd technieken.

Diepe leren

Diepe leren Dit is een machine learning-aanpak waarbij gelaagde neurale netwerken zelf de kenmerken leren, zodat het algoritme het te volgen analysemodel kan selecteren.

Data Science-proces

Nu in dit Data Science-zelfstudieWe zullen het data science-proces leren kennen. De zes onderstaande stappen worden in de aangegeven volgorde uitgevoerd:

Zesstappenproces voor datawetenschap, van ontdekking tot het communiceren van de resultaten.

1. Ontdekking

De ontdekkingsstap omvat het verzamelen van gegevens uit alle geïdentificeerde interne en externe bronnen, waardoor u de zakelijke vraag kunt beantwoorden.

De gegevens kunnen zijn:

  • Logboeken van webservers
  • Gegevens verzameld via sociale media
  • Census-gegevenssets
  • Gegevens gestreamd vanuit online bronnen met behulp van API's

2. Voorbereiding

Gegevens kunnen veel inconsistenties bevatten, zoals ontbrekende waarden, lege kolommen en een onjuist gegevensformaat, die allemaal moeten worden opgeschoond. Je moet gegevens verwerken, onderzoeken en voorbereiden voordat je een model gaat maken. Hoe schoner je gegevens, hoe beter je voorspellingen.

3. Modelplanning

In deze fase moet u de methode en techniek bepalen om de relatie tussen invoervariabelen te tekenen. De planning voor een model wordt uitgevoerd met behulp van verschillende statistische formules visualisatie toolsSQL-analyseservices, R en SAS/ACCESS zijn enkele van de tools die hiervoor worden gebruikt.

4. Modelbouw

In deze stap begint het eigenlijke modelbouwproces. De data scientist splitst de dataset op in een trainings- en een testdataset. Technieken zoals associatie, classificatie en clustering worden toegepast op de trainingsdataset. Het model wordt vervolgens getest op de testdataset.

5. Operarationaliseren

In deze fase levert u het definitieve basismodel aan, inclusief rapporten, code en technische documentatie. Na grondige tests wordt het model in een realtime productieomgeving geïmplementeerd.

6. Communiceer resultaten

In deze fase worden de belangrijkste bevindingen aan alle belanghebbenden gecommuniceerd. Dit helpt u te beslissen of de projectresultaten een succes of een mislukking zijn op basis van de input uit het model.

GERELATEERDE ARTIKELEN

Data Science-banenrollen

De meest prominente functietitels van Data Scientist zijn:

  • Gegevens Scientist
  • Data Engineer
  • Data Analyst
  • Statisticus
  • Data ArchiTect
  • Gegevensbeheerder
  • Bedrijfsanalist
  • Gegevens-/analysemanager

Laten we eens nader bekijken wat elke rol inhoudt:

Gegevens Scientist

Rol: Een datawetenschapper is een professional die enorme hoeveelheden data beheert om overtuigende bedrijfsvisies te ontwikkelen. Hiervoor gebruikt hij diverse hulpmiddelen, technieken, methodologieën, algoritmen, etc.

Talen: R, SAS, PythonSQL, Hive, MATLAB, Pig, Spark

Data Engineer

Rol: De rol van een data engineer Ze werken met grote hoeveelheden data. Ze ontwikkelen, bouwen, testen en onderhouden architecturen zoals grootschalige verwerkingssystemen en databases.

Talen: SQL, Hive, R, SAS, MATLAB, Python, Java, Robijn, C++en Perl

Data Analyst

RolEen data-analist is verantwoordelijk voor het analyseren van enorme hoeveelheden data. Hij of zij zoekt naar verbanden, patronen en trends in de data. Later Ze zullen overtuigende rapportages en visualisaties leveren voor het analyseren van de gegevens, zodat de meest haalbare zakelijke beslissingen kunnen worden genomen.

Talen: R, Python, HTML, JS, C, C++SQL

Statisticus

Rol: De statisticus verzamelt, analyseert en begrijpt kwalitatieve en kwantitatieve gegevens met behulp van statistische theorieën en methoden.

Talen: SQL, R, MATLAB, Tableau, Python, Perl, Spark, en Hive

Gegevensbeheerder

Rol: Gegevensbeheerder moet ervoor zorgen dat de databank is toegankelijk voor alle relevante gebruikers. Ze zorgen er ook voor dat het correct functioneert en dat het veilig is voor hacking.

Talen: Ruby op rails, SQL, Java, C# en Python

Bedrijfsanalist

Rol: Deze professional moet bedrijfsprocessen verbeteren. Hij/zij is een intermediair tussen het business executive team en de IT-afdeling.

Talen: SQL, Tableau, Power BI, en Python

Lees ook onze Vragen en antwoorden voor een sollicitatiegesprek in de data science Om te oefenen voor een sollicitatiegesprek.

Tools voor data science

De gereedschappen zijn onderverdeeld in vier groepen, zoals hieronder weergegeven.

Categorieën van data science-tools voor analyse, datawarehousing, visualisatie en machine learning.

Data-analyse Data opslagplaats Data visualisatie Machine leren
R, Spark, Python en SAS Hadoop, SQL-, Bijenkorf R, Tableau, Rauw Spark, Azure ML Studio, Mahout

Verschil tussen datawetenschap met BI (Business Intelligence)

De tabel hieronder laat zien hoe de twee van elkaar verschillen.

Kenmerken Business Intelligence data Science
Perceptie Achteruit kijken We zien je graag
Data bronnen Gestructureerde data, meestal SQL, en soms een datawarehouse. Gestructureerde en ongestructureerde gegevens.
Zoals logs, SQL, NoSQL of tekst
Aanpak Statistiek en visualisatie Statistieken, machinaal leren en grafieken
nadruk Verleden en heden Analyse en natuurlijke taalverwerking
Tools Pentaho, Microsoft BI, QlikView R, TensorFlow

Lees ook het verschil tussen Gegevenswetenschap en machinaal leren.

Toepassingen van Data Science

Enkele toepassingen van datawetenschap zijn:

Internet zoekopdracht

Google De zoekfunctie maakt gebruik van datawetenschapstechnologie om binnen een fractie van een seconde een specifiek resultaat te vinden.

Aanbevelingssystemen

Om een ​​aanbevelingssysteem te creëren. Bijvoorbeeld 'voorgestelde vrienden' op Facebook of 'voorgestelde video's' op... YouTube, alles gebeurt met behulp van Data Science.

Beeld- en spraakherkenning

Spraakherkenningssystemen zoals Siri, Google Assistent en Alexa maken gebruik van datawetenschapstechnieken. Bovendien herkent Facebook je vriend wanneer je een foto met hem of haar uploadt, eveneens met behulp van datawetenschap.

Gaming wereld

EA Sports, Sony en Nintendo gebruiken datawetenschapstechnologie. Dit verbetert uw game-ervaring. Games worden nu ontwikkeld met behulp van Machine Learning-technieken, en ze kunnen zichzelf updaten wanneer je naar een hoger niveau gaat.

Online prijsvergelijking

PriceRunner, Junglee en Shopzilla werken aan het Data Science-mechanisme. Hierbij worden met behulp van API’s gegevens van de betreffende websites opgehaald.

Uitdagingen van datawetenschapstechnologie

  • Voor een nauwkeurige analyse is een grote verscheidenheid aan informatie en gegevens vereist
  • Er is geen adequate talentenpool op het gebied van data science beschikbaar.
  • Het management biedt geen financiële steun aan een data science-team
  • Onbeschikbaarheid van, of moeilijke toegang tot, gegevens
  • Besluitvormers in het bedrijfsleven maken onvoldoende gebruik van de resultaten van datawetenschap.
  • Data science aan anderen uitleggen is lastig
  • Priveproblemen
  • Gebrek aan een belangrijke domeinexpert
  • Als een organisatie erg klein is, kan ze geen data science-team hebben.

Veelgestelde vragen

Data-analyse onderzoekt bestaande gegevens om te verklaren wat er is gebeurd en waarom, meestal door middel van rapportages en dashboards. Datawetenschap bouwt modellen die voorspellen wat er vervolgens zal gebeuren en leunt sterker op programmeren, statistiek en machine learning.

Werkgevers zoeken naar een kwantitatieve opleiding of een gelijkwaardig portfolio, en vloeiende beheersing van de taal. Python Of R, SQL en statistiek. Vakkennis is vaak net zo belangrijk als de kwalificaties.

Python is de veiligere eerste keuze omdat het ook engineering, implementatie en deep learning omvat. R blijft sterker voor klassieke statistiek en academisch onderzoek. De meeste onderzoeksteams lezen beide.

Je hebt beschrijvende statistiek, kansrekening, hypothesetoetsing en lineaire algebra nodig. Wiskunde en differentiaalrekening zijn vooral belangrijk bij het ontwerpen of afstemmen van modellen. Bewijzen zijn zeldzaam, maar formules moeten voor jou wel begrijpelijk zijn.

De ruwe gegevens bevatten ontbrekende velden, duplicaten, inconsistente eenheden en verkeerde gegevenstypen. Elke fout sijpelt door in het model, waardoor teams een groot deel van hun tijd besteden aan het eerst corrigeren ervan.

Een data scientist formuleert de vraag, onderzoekt data en valideert modellen in een onderzoeksomgeving. Een machine learning engineer neemt het gevalideerde model en zorgt ervoor dat het betrouwbaar in productie draait, met aandacht voor monitoring, hertraining en schaalbaarheid.

Generatieve AI schrijft verkennende code, vat datasets samen en suggereert kenmerken, waardoor routinematige analyses worden gecomprimeerd. Het oordeel over welke vraag gesteld moet worden en of een resultaat betrouwbaar is, blijft echter menselijk.

GitHub-copiloot vult automatisch pandas-, scikit-learn- en plotcode aan. Jupyter en VS CodeEn het legt onbekende functies uit. Controleer elke suggestie aan de hand van uw eigen gegevens; het programma kan uw kolommen en hun betekenis niet zien.

Vat dit bericht samen met: