Data Mining Tutorial: Hvad er Data Mining? Teknikker, proces

Hvad er Data Mining?

Data Mining er en proces med at finde potentielt nyttige mønstre fra enorme datasæt. Det er en tværfaglig færdighed, der bruger machine learning, statistik og AI til f.eks.tracInformation til at evaluere sandsynligheden for fremtidige begivenheder. Indsigten fra data mining bruges til markedsføring, afsløring af svindel, videnskabelig opdagelse osv.

Data mining handler om at opdage skjulte, uanede og tidligere ukendte, men gyldige relationer mellem data. Data mining kaldes også Knowledge Discovery in Data (KDD), Knowledge extraction, data-/mønsteranalyse, informationshøstning osv.

Typer af data

Data mining kan udføres på følgende typer data

• Relationsdatabaser
• Datavarehuse
• Avanceret DB og informationslagre
• Objektorienterede og objektrelationelle databaser
• Transaktionelle og rumlige databaser
• Heterogene og ældre databaser
• Multimedie- og streamingdatabase
• Tekstdatabaser
• Tekstmining og webmining

Uanset kilden, forvandler den samme disciplinerede rækkefølge af faser de rådata til en brugbar model.

Implementeringsproces for Data Mining

Lad os studere Data Mining implementeringsprocessen i detaljer

Forretningsforståelse

I denne fase etableres forretnings- og data-mining-mål.

• Først skal du forstå forretnings- og klientmål. Du skal definere, hvad din klient ønsker (som mange gange selv de ikke ved selv)
• Gør status over det aktuelle data mining-scenarie. Inddrag ressourcer, antagelser, begrænsninger og andre væsentlige faktorer i din vurdering.
• Brug forretningsmål og nuværende scenarie til at definere dine data mining-mål.
• En god dataminingplan er meget detaljeret og bør udvikles til at nå både forretnings- og dataminingmål.

Dataforståelse

I denne fase udføres et sundhedstjek af dataene for at kontrollere, om de er passende til dataminingsmålene.

• For det første indsamles data fra flere datakilder, der er tilgængelige i organisationen.
• Disse datakilder kan omfatte flere databaser, flade filer eller datakuber. Der kan opstå problemer som objektmatchning og skemaintegration under dataintegrationsprocessen. Det er en ret kompleks og vanskelig proces, da data fra forskellige kilder sandsynligvis ikke let matcher. For eksempel indeholder tabel A en enhed med navnet cust_no, mens en anden tabel B indeholder en enhed med navnet cust-id.
• Derfor er det ret svært at sikre, at begge disse givne objekter refererer til den samme værdi eller ej. Her bør Metadata bruges til at reducere fejl i dataintegrationsprocessen.
• Dernæst er trinnet at søge efter egenskaber for erhvervede data. En god måde at udforske dataene på er at besvare data mining-spørgsmålene (afgjort i forretningsfasen) ved hjælp af forespørgsels-, rapporterings- og visualiseringsværktøjerne.
• Baseret på resultaterne af forespørgslen bør datakvaliteten fastslås. Manglende data, hvis nogen, bør indhentes.

Forberedelse af data

I denne fase gøres data produktionsklar.

Dataforberedelse er normalt den længste fase og angives almindeligvis at udgøre 60 % til 80 % af den samlede indsats.

Data fra forskellige kilder bør udvælges, renses, transformeres, formateres, anonymiseres og konstrueres (hvis nødvendigt).

Datarensning er en proces til at "rense" dataene ved at udjævne støjende data og udfylde manglende værdier.

For en kundedemografisk profil mangler der f.eks. aldersdata. Dataene er ufuldstændige og skal udfyldes. I nogle tilfælde kan der være dataudlignere. For eksempel har alder en værdi på 300. Data kan være inkonsistente. For eksempel er navnet på kunden forskelligt i forskellige tabeller.

Datatransformationsoperationer ændrer dataene for at gøre dem nyttige i data mining. Følgende transformationer kan anvendes.

Datatransformation

Datatransformationsoperationer vil bidrage til minedriftsprocessens succes.

Udjævning: Det hjælper med at fjerne støj fra dataene.

Aggregation: Opsummerings- eller aggregeringsoperationer anvendes på dataene. Dvs. de ugentlige salgsdata aggregeres for at beregne den månedlige og årlige total.

Generalisering: I dette trin erstattes data på lavt niveau af koncepter på højere niveau ved hjælp af koncepthierarkier. For eksempel erstattes byen af ​​staten eller landet.

Normalisering: Normalisering udføres, når attributdata skaleres op eller ned. Eksempel: Data skal ligge i intervallet -2.0 til 2.0 efter normalisering.

AttributkonstruktionDisse attributter er konstrueret og inkluderer det givne sæt af attributter, der er nyttige til data mining.

Resultatet af denne proces er et endeligt datasæt, der kan bruges i modellering.

Modeling

I denne fase bruges matematiske modeller til at bestemme datamønstre.

• Baseret på forretningsmålene bør egnede modelleringsteknikker vælges til det forberedte datasæt.
• Opret et scenarie for at teste kvaliteten og validiteten af ​​modellen.
• Kør modellen på det forberedte datasæt.
• Resultaterne bør vurderes af alle interessenter for at sikre, at modellen kan opfylde data mining-målene.

Evaluering

I denne fase evalueres identificerede mønstre i forhold til forretningsmålene.

• Resultater genereret af datamining-modellen bør evalueres i forhold til forretningsmålene.
• At opnå forretningsforståelse er en iterativ proces. Faktisk, mens du forstår, kan nye forretningskrav blive rejst på grund af data mining.
• Der tages en go eller no-go beslutning om at flytte modellen i implementeringsfasen.

Deployment

I implementeringsfasen sender du dine data mining-opdagelser til daglige forretningsdrift.

• Den viden eller information, der opdages under data mining-processen, bør gøres let at forstå for ikke-tekniske interessenter.
• En detaljeret udrulningsplan for skibeping, vedligeholdelse og overvågning af datamining-opdagelser oprettes.
• Der laves en afsluttende projektrapport med erfaringer og nøgleerfaringer i løbet af projektet. Dette er med til at forbedre organisationens forretningspolitik.

Modelleringsfasen ovenfor trækker på et defineret sæt af teknikker, der hver især er egnet til en forskellig type spørgsmål.

Data Mining Techniques

1. Klassificering

Denne analyse bruges til at hente vigtig og relevant information om data og metadata. Denne data mining-metode hjælper med at klassificere data i forskellige klasser.

2. ClusterING

Clustering-analyse er en data mining-teknik til at identificere data, der ligner hinanden. Denne proces hjælper med at forstå forskellene og lighederne mellem dataene.

3. Regression

Regressionsanalyse er data mining-metoden til at identificere og analysere sammenhængen mellem variabler. Det bruges til at identificere sandsynligheden for en specifik variabel, givet tilstedeværelsen af ​​andre variabler.

4. Foreningens regler

Denne data mining-teknik hjælper med at finde sammenhængen mellem to eller flere elementer. Den opdager et skjult mønster i datasættet.

5. Detektion af outliers

Denne type data mining-teknik refererer til observation af dataelementer i datasættet, som ikke matcher et forventet mønster eller forventet adfærd. Denne teknik kan bruges inden for en række forskellige områder, såsom indtrængningsdetektion, svindel- eller fejldetektion osv. Outlier-detektion kaldes også Outlier-analyse eller Outlier-mining.

6. Sekventielle mønstre

Denne dataminingteknik hjælper med at opdage eller identificere lignende mønstre eller tendenser i transaktionsdata for en bestemt periode.

7. Forudsigelse

Forudsigelse har brugt en kombination af de andre teknikker inden for datamining som trends, sekventielle mønstre, clustering, klassificering osv. Den analyserer tidligere hændelser eller tilfælde i den rigtige rækkefølge for at forudsige en fremtidig hændelse.

Descriptive vs. prædiktiv data mining

De syv ovenstående teknikker falder i to familier, og det er vigtigt at vide, hvilken familie et spørgsmål tilhører, der afgør, hvordan resultatet skal læses.

Descriptiv data mining opsummerer, hvad der allerede er sket. Den leder efter struktur i de eksisterende data uden noget mål at sigte mod, hvilket er grunden til, at den undertiden kaldes uovervåget. Clustering, associationsregler og sekventielle mønstre hører hjemme her. Et supermarked, der lærer, at bleer og øl ofte købes sammen, er en beskrivende opdagelse: det forklarer fortiden, og et menneske beslutter, hvad det skal gøre ved det.

Prædiktiv data mining estimerer, hvad der vil ske derefter. Den lærer fra historiske optegnelser, hvor svaret allerede er kendt, og anvender derefter denne læring på nye optegnelser, hvilket er grunden til, at den kaldes overvåget. Klassificering, regression og forudsigelse hører hjemme her. At score en låneansøger som sandsynlig eller usandsynlig i misligholdelse er et prædiktivt fund.

To praktiske konsekvenser følger af sondringen.

• Valideringen er forskellig: En prædiktiv model kan scores for nøjagtighed i forhold til kendte udfald. Et beskrivende resultat kan ikke, så det bedømmes ud fra, om det er interessant og brugbart.
• Datakravene er forskellige: Prædiktivt arbejde har brug for en mærket kolonne med historiske resultater. DescriptLivet arbejde gør det ikke, hvilket gør det til det sædvanlige udgangspunkt, når en virksomhed har data, men endnu ikke noget klart mål.

Udfordringer ved implementering af data mining

• Dygtige eksperter er nødvendige for at formulere datamining-forespørgslerne.
• Overfitting: På grund af en lille træningsdatabase passer en model muligvis ikke til fremtidige tilstande.
• Data mining kræver store databaser, som nogle gange er svære at administrere
• Forretningspraksis skal muligvis ændres for at beslutte at bruge de afslørede oplysninger.
• Hvis datasættet ikke er forskelligartet, er data mining-resultaterne muligvis ikke nøjagtige.
• Integrationsoplysninger, der er nødvendige fra heterogene databaser og globale informationssystemer, kan være komplekse

Eksempler på data mining

Lad os nu i dette Data Mining-kursus lære om Data Mining med eksempler:

Eksempel 1:

Forestil dig en marketingchef for telekommunikationstjenester, der ønsker at øge omsætningen fra langdistanceopkald. For at opnå et højt ROI på salgs- og marketingindsatsen er kundeprofilering vigtig. Han har en enorm datapulje af kundeoplysninger såsom alder, køn, indkomst, kredithistorik osv. Men det er umuligt at bestemme karakteristika for personer, der foretrækker langdistanceopkald, med manuel analyse. Ved hjælp af data mining-teknikker kan han afdække mønstre mellem brugere af mange langdistanceopkald og deres karakteristika.

For eksempel kan han lære, at hans bedste kunder er gifte kvinder mellem 45 og 54 år, som tjener mere end $80,000 om året. Marketingindsatsen kan målrettes mod sådanne demografiske.

Eksempel 2:

En bank ønsker at finde nye måder at øge indtægterne fra sine kreditkortoperationer. De vil undersøge, om brugen ville fordobles, hvis gebyrerne blev halveret.

Banken har flere års erfaring med gennemsnitlige kreditkortsaldi, betalingsbeløb, kreditgrænseforbrug og andre nøgleparametre. De har skabt en model for at kontrollere effekten af ​​den foreslåede nye forretningspolitik. Dataresultaterne viser, at en halvering af gebyrer for en målrettet kundebase kan øge omsætningen med 10 millioner dollars.

Data Mining vs. Maskinlæring

De to begreber overlapper hinanden meget og bruges ofte i flæng, men de besvarer forskellige spørgsmål. Data mining har til formål at opdage et mønster, som en person ikke tidligere kendte til. Maskinlæring har til formål at opbygge et system, der forbedrer sine egne forudsigelser, efterhånden som flere data ankommer.

Forskelspunkt	Data Mining	Maskinelæring
Hovedmål	Opdag ukendte mønstre i eksisterende data	Byg en model, der forudsiger på baggrund af nye data
Menneskelig involvering	En analytiker fortolker og handler ud fra resultatet	Algoritmen anvender reglen automatisk
datamængde	Arbejder på et defineret, historisk datasæt	Forbedres, efterhånden som der leveres flere data over tid
Typisk output	En regel, klynge eller association, som en person kan læse	En trænet model, der returnerer en score eller klasse
Relationship	Data mining bruger ofte maskinlæringsalgoritmer som sin motor

Kort sagt er maskinlæring et af de værktøjer, data mining trækker på, og simpel data mining kan udføres udelukkende med statistik.

Data Mining værktøjer

Følgende er 2 populære Data Mining værktøjer meget brugt i industrien

R-sprog:

R sprog er et open source-værktøj til statistisk databehandling og grafik. R har en bred vifte af statistiske, klassiske statistiske test, tidsserieanalyse, klassifikation og grafiske teknikker. Det tilbyder effektiv datahåndtering og lagringsfacilitet.

Få mere at vide her

Oracle Data mining:

Oracle Data Mining, populært kendt som ODM, er et modul i Oracle Avanceret analysedatabase og leveres nu som en del af Oracle Maskinlæring. Dette data mining-værktøj giver dataanalytikere mulighed for at generere detaljerede indsigter og lave forudsigelser. Det hjælper med at forudsige kundeadfærd, udvikle kundeprofiler og identificere krydssalgsmuligheder.

Få mere at vide her

Fordele ved Data Mining

• Data mining-teknik hjælper virksomheder med at få videnbaseret information.
• Data mining hjælper organisationer med at foretage de rentable tilpasninger i drift og produktion.
• Data mining er en omkostningseffektiv og effektiv løsning sammenlignet med andre statistiske dataapplikationer.
• Data mining hjælper med beslutningsprocessen.
• Faciliterer automatiseret forudsigelse af trends og adfærd samt automatiseret opdagelse af skjulte mønstre.
• Det kan implementeres i nye systemer såvel som eksisterende platforme
• Det er den hurtige proces, der gør det nemt for brugerne at analysere enorme mængder data på kortere tid.

Ulemper ved Data Mining

• Der er risiko for, at virksomheder sælger nyttige oplysninger om deres kunder til andre organisationer, hvilket giver anledning til betydelige bekymringer om privatlivets fred.
• Mange data mining-analysesoftware er vanskelige at betjene og kræver forudgående uddannelse at arbejde på.
• Forskellige data mining-værktøjer fungerer på forskellige måder på grund af forskellige algoritmer, der anvendes i deres design. Derfor er udvælgelsen af ​​korrekt data mining-værktøj en meget vanskelig opgave.
• Data mining-teknikkerne er ikke nøjagtige, og det kan derfor have alvorlige konsekvenser under visse forhold.

Data Mining-applikationer

Applikationer	Brug
Kommunikation	Data mining-teknikker bruges i kommunikationssektoren til at forudsige kundeadfærd for at kunne tilbyde meget målrettede og relevante kampagner.
Forsikring	Data mining hjælper forsikringsselskaber med at prissætte deres produkter rentable og fremme nye tilbud til deres nye eller eksisterende kunder.
Uddannelse	Data mining gavner undervisere til at få adgang til elevdata, forudsige præstationsniveauer og finde elever eller grupper af elever, som har brug for ekstra opmærksomhed. For eksempel elever, der er svage i matematikfaget.
Manufacturing	Med hjælp fra data mining kan producenter forudsige slid på produktionsaktiver. De kan forudse vedligeholdelse, hvilket hjælper dem med at minimere nedetid.
Bank	Data mining hjælper finanssektoren med at få overblik over markedsrisici og styre overholdelse af lovgivningen. Det hjælper banker med at identificere sandsynlige misligholdere for at beslutte, om de vil udstede kreditkort, lån osv.
Retail	Data mining-teknikker hjælper detailbutikker og dagligvarebutikker med at identificere og arrangere de mest salgbare varer på de mest opmærksomme steder. Det hjælper butiksejere med at komme med tilbud, der opfordrer kunderne til at øge deres forbrug.
Service Providers	Tjenesteudbydere som mobiltelefoner og forsyningsvirksomheder bruger Data Mining til at forudsige årsagerne til, at en kunde forlader deres virksomhed. De analyserer faktureringsoplysninger, kundeserviceinteraktioner, klager til virksomheden for at tildele hver kunde en sandsynlighedsscore og tilbyder incitamenter.
E-Commerce	E-handelswebsteder bruger Data Mining til at tilbyde krydssalg og opsalg gennem deres websteder. Et af de mest kendte navne er Amazon, der bruger Data mining-teknikker til at få flere kunder ind i deres e-handelsbutik.
Supermarkeder	Data Mining gør det muligt for supermarkeder at udvikle regler for at forudsige, om deres kunder sandsynligvis var gravide. Ved at evaluere deres købsmønster kan de finde kvindelige kunder, der højst sandsynligt er gravide. De kan begynde at målrette produkter som babypudder, babysæbe, bleer og så videre.
Efterforskning af kriminalitet	Data Mining hjælper kriminalitetsefterforskningsbureauer med at indsætte politipersonale (hvor er det mest sandsynligt, at en forbrydelse finder sted, og hvornår?), hvem skal søge ved en grænseovergang osv.
Bioinformatik	Data Mining hjælper med at mine biologiske data fra massive datasæt indsamlet inden for biologi og medicin.

Ofte Stillede Spørgsmål