Tutorial Data Mining: Ce este Data Mining? Tehnici, proces

Ce este Data Mining?

Data Mining este un proces de găsire a modelelor potențial utile din seturi uriașe de date. Este o abilitate multidisciplinară care folosește masina de învățare, statistici și inteligență artificială pentru a extracinformații pentru a evalua probabilitatea evenimentelor viitoare. Informațiile obținute din Data Mining sunt utilizate pentru marketing, detectarea fraudelor, descoperiri științifice etc.

Data Mining se referă la descoperirea unor relații ascunse, nebănuite și anterior necunoscute, dar valide, între date. Data Mining este numită și Knowledge Discovery in Data (KDD), Knowledge Extracțiune, analiza datelor/modelelor, colectarea informațiilor etc.

Tipuri de date

Exploatarea datelor poate fi efectuată pe următoarele tipuri de date

• Baze de date relaționale
• Depozite de date
• DB avansate și depozite de informații
• Baze de date orientate pe obiecte și obiect-relaționale
• Baze de date tranzacționale și spațiale
• Baze de date eterogene și vechi
• Baza de date multimedia și streaming
• Baze de date text
• Exploatarea textului și extragerea web

Indiferent de sursă, aceeași secvență disciplinată de faze transformă datele brute într-un model utilizabil.

Procesul de implementare a Data Mining

Să studiem în detaliu procesul de implementare a Data Mining

Înțelegerea afacerilor

În această fază, sunt stabilite obiectivele de afaceri și de data mining.

• În primul rând, trebuie să înțelegeți obiectivele afacerii și ale clienților. Trebuie să definiți ce dorește clientul dvs. (pe care de multe ori nici măcar ei nu se cunosc)
• Faceți un bilanț al scenariului actual de data mining. Luați în considerare resurse, presupuneri, constrângeri și alți factori importanți în evaluarea dvs.
• Folosind obiectivele de afaceri și scenariul actual, definiți-vă obiectivele de data mining.
• Un plan bun de data mining este foarte detaliat și ar trebui dezvoltat pentru a îndeplini atât obiectivele de afaceri, cât și de data mining.

Înțelegerea datelor

În această fază, se efectuează o verificare a integrității datelor pentru a verifica dacă acestea sunt adecvate obiectivelor de data mining.

• În primul rând, datele sunt colectate din mai multe surse de date disponibile în cadrul organizației.
• Aceste surse de date pot include mai multe baze de date, fișiere plate sau cuburi de date. În timpul procesului de integrare a datelor pot apărea probleme precum potrivirea obiectelor și integrarea schemelor. Este un proces destul de complex și dificil, deoarece datele din diverse surse sunt puțin probabil să se potrivească ușor. De exemplu, tabelul A conține o entitate numită cust_no, în timp ce un alt tabel B conține o entitate numită cust-id.
• Prin urmare, este destul de dificil să ne asigurăm că ambele aceste obiecte date se referă la aceeași valoare sau nu. Aici, metadatele ar trebui folosite pentru a reduce erorile în procesul de integrare a datelor.
• În continuare, pasul este să căutați proprietățile datelor achiziționate. O modalitate bună de a explora datele este să răspunzi la întrebările de extragere a datelor (decise în faza de afaceri) folosind instrumentele de interogare, raportare și vizualizare.
• Pe baza rezultatelor interogării, trebuie verificată calitatea datelor. Datele lipsă, dacă există, trebuie achiziționate.

Pregătirea datelor

În această fază, datele sunt pregătite pentru producție.

Pregătirea datelor este în mod normal cea mai lungă fază, fiind frecvent citată ca reprezentând 60% până la 80% din efortul total.

Datele din diferite surse ar trebui selectate, curățate, transformate, formatate, anonimizate și construite (dacă este necesar).

Curățarea datelor este un proces de „curățare” a datelor prin netezirea datelor zgomotoase și completând valorile lipsă.

De exemplu, pentru un profil demografic al clientului, lipsesc datele privind vârsta. Datele sunt incomplete și trebuie completate. În unele cazuri, pot exista valori aberante ale datelor. De exemplu, vârsta are o valoare 300. Datele ar putea fi inconsecvente. De exemplu, numele clientului este diferit în diferite tabele.

Operațiunile de transformare a datelor modifică datele pentru a le face utile în data mining. Se pot aplica următoarele transformări.

Transformarea datelor

Operațiunile de transformare a datelor ar contribui la succesul procesului de minerit.

Netezire: Ajută la eliminarea zgomotului din date.

Agregare: Datelor sunt aplicate operațiuni de rezumat sau de agregare. Adică, datele de vânzări săptămânale sunt agregate pentru a calcula totalul lunar și anual.

Generalizare: În această etapă, datele de nivel scăzut sunt înlocuite cu concepte de nivel superior cu ajutorul ierarhiilor de concepte. De exemplu, orașul este înlocuit cu statul sau țara.

Normalizare: Normalizarea se efectuează atunci când datele atributelor sunt scalate în sus sau în jos. Exemplu: Datele ar trebui să se încadreze în intervalul -2.0 până la 2.0 după normalizare.

Construcția atributelorAceste atribute sunt construite și includ setul dat de atribute utile pentru data mining.

Rezultatul acestui proces este un set final de date care poate fi utilizat în modelare.

Modelare

În această fază, modelele matematice sunt utilizate pentru a determina modelele de date.

• Pe baza obiectivelor de afaceri, trebuie selectate tehnici de modelare adecvate pentru setul de date pregătit.
• Creați un scenariu pentru a testa verificarea calității și validității modelului.
• Rulați modelul pe setul de date pregătit.
• Rezultatele ar trebui să fie evaluate de toate părțile interesate pentru a se asigura că modelul poate îndeplini obiectivele de extragere a datelor.

Evaluare

În această fază, modelele identificate sunt evaluate în raport cu obiectivele de afaceri.

• Rezultatele generate de modelul de data mining ar trebui evaluate în raport cu obiectivele de afaceri.
• Obținerea înțelegerii afacerii este un proces iterativ. De fapt, în timp ce înțelegem, noi cerințe de afaceri pot fi ridicate din cauza minării de date.
• Se ia o decizie de a merge sau de a nu trece pentru a muta modelul în faza de implementare.

Implementare

În faza de implementare, trimiteți descoperirile de extragere a datelor către operațiunile de afaceri de zi cu zi.

• Cunoștințele sau informațiile descoperite în timpul procesului de extragere a datelor ar trebui să fie ușor de înțeles pentru părțile interesate non-tehnice.
• Un plan detaliat de desfășurare pentru navăping, întreținerea și monitorizarea descoperirilor din domeniul data mining-ului este creată.
• Un raport final al proiectului este creat cu lecțiile învățate și experiențele cheie în timpul proiectului. Acest lucru ajută la îmbunătățirea politicii de afaceri a organizației.

Faza de modelare de mai sus se bazează pe un set definit de tehnici, fiecare potrivită unui alt tip de întrebare.

Tehnici de exploatare a datelor

1. Clasificare

Această analiză este utilizată pentru a prelua informații importante și relevante despre date și metadate. Această metodă de extragere a datelor ajută la clasificarea datelor în diferite clase.

2. ClusterING

ClusterAnaliza ing este o tehnică de extragere a datelor pentru a identifica datele care se aseamănă între ele. Acest proces ajută la înțelegerea diferențelor și asemănărilor dintre date.

3. Regresie

Analiza regresiei este metoda de extragere a datelor de identificare și analiză a relației dintre variabile. Este folosit pentru a identifica probabilitatea unei anumite variabile, având în vedere prezența altor variabile.

4. Regulile de asociere

Această tehnică de extragere a datelor ajută la găsirea asocierii dintre două sau mai multe articole. Descoperă un model ascuns în setul de date.

5. Detectarea valorilor aberante

Acest tip de tehnică de data mining se referă la observarea elementelor de date din setul de date care nu corespund unui model sau unui comportament așteptat. Această tehnică poate fi utilizată într-o varietate de domenii, cum ar fi detectarea intruziunilor, detectarea fraudelor sau a erorilor etc. Detectarea valorilor aberante este numită și Analiza valorilor aberante sau miningul valorilor aberante.

6. Modele secvențiale

Această tehnică de extragere a datelor ajută la descoperirea sau identificarea unor modele sau tendințe similare în datele tranzacțiilor pentru o anumită perioadă.

7. Previziune

Predicția a folosit o combinație a celorlalte tehnici de extragere a datelor, cum ar fi tendințele, modelele secvențiale, gruparea, clasificarea etc. Analizează evenimentele sau cazurile trecute într-o secvență corectă pentru a prezice un eveniment viitor.

DescriptMinerit de date predictiv vs. iv

Cele șapte tehnici de mai sus se împart în două familii, iar cunoașterea familiei din care face parte o întrebare decide cum ar trebui interpretat rezultatul.

Descriptextragerea de date active rezumă ceea ce s-a întâmplat deja. Caută structura în interiorul datelor existente fără a avea vreo țintă spre care să se orienteze, motiv pentru care uneori este numită nesupervizată. ClusterRegulile de asociere și modelele secvențiale își au locul aici. Un supermarket care învață că scutecele și berea sunt frecvent cumpărate împreună este o descoperire descriptivă: explică trecutul, iar un om decide ce să facă în legătură cu asta.

Exploatarea predictivă a datelor estimează ce se va întâmpla în continuare. Învață din înregistrările istorice unde răspunsul este deja cunoscut, apoi aplică această învățare la înregistrări noi, motiv pentru care se numește supravegheat. Clasificarea, regresia și predicția aparțin acestei metode. Evaluarea unui solicitant de împrumut ca fiind probabil sau improbabil să intre în incapacitate de plată este o constatare predictivă.

Două consecințe practice decurg din această distincție.

• Validarea diferă: Un model predictiv poate fi evaluat pentru acuratețea sa în raport cu rezultatele cunoscute. Un rezultat descriptiv nu poate fi evaluat, așa că este evaluat în funcție de interesul și utilitatea sa.
• Cerințele privind datele diferă: Munca predictivă necesită o coloană etichetată cu rezultatele istorice. DescriptMunca activă nu o face, ceea ce o face punctul de plecare obișnuit atunci când o afacere are date, dar încă nu are o țintă clară.

Provocările implementării Data Mining

• Sunt necesari experți calificați pentru a formula interogările de data mining.
• Supraajustare: din cauza bazei de date de antrenament de dimensiuni mici, un model poate să nu se potrivească stărilor viitoare.
• Exploatarea datelor are nevoie de baze de date mari, care uneori sunt dificil de gestionat
• Practicile de afaceri ar putea trebui modificate pentru a determina utilizarea informațiilor descoperite.
• Dacă setul de date nu este divers, este posibil ca rezultatele extragerii de date să nu fie exacte.
• Integrarea informațiilor necesare din baze de date eterogene și sisteme de informații globale ar putea fi complexă

Exemple de data mining

Acum, în acest curs de data mining, să învățăm despre data mining cu exemple:

Exemplu 1:

Să luăm în considerare un șef de marketing al unei companii de servicii de telecomunicații care dorește să crească veniturile din serviciile la distanță. Pentru un ROI ridicat al eforturilor sale de vânzări și marketing, profilarea clienților este importantă. El are o vastă bază de date cu informații despre clienți, cum ar fi vârsta, sexul, venitul, istoricul de credit etc. Dar este imposibil să se determine caracteristicile persoanelor care preferă apelurile la distanță cu ajutorul analizei manuale. Folosind tehnici de data mining, acesta poate descoperi tipare între utilizatorii care efectuează multe apeluri la distanță și caracteristicile acestora.

De exemplu, ar putea afla că cei mai buni clienți ai săi sunt femei căsătorite cu vârsta cuprinsă între 45 și 54 de ani, care câștigă mai mult de 80,000 USD pe an. Eforturile de marketing pot fi direcționate către o astfel de populație.

Exemplu 2:

O bancă dorește să caute noi modalități de a crește veniturile din operațiunile sale cu cardul de credit. Vrea să verifice dacă utilizarea s-ar dubla dacă taxele ar fi înjumătățite.

Banca are evidențe pe mai mulți ani privind soldurile medii ale cardurilor de credit, sumele plăților, utilizarea limitei de credit și alți parametri cheie. Aceștia creează un model pentru a verifica impactul noii politici comerciale propuse. Rezultatele datelor arată că reducerea la jumătate a comisioanelor pentru o bază de clienți țintă ar putea crește veniturile cu 10 milioane de dolari.

Mineritul de date vs. învățarea automată

Cei doi termeni se suprapun foarte mult și sunt adesea folosiți interschimbabil, dar răspund la întrebări diferite. Explorarea datelor își propune să descopere un model despre care o persoană nu știa anterior. Învățarea automată își propune să construiască un sistem care să își îmbunătățească propriile predicții pe măsură ce sosesc mai multe date.

Punct de diferență	Data Mining	Invatare mecanica
Scopul principal	Descoperiți modele necunoscute în datele existente	Construiți un model care face predicții pe baza datelor noi
Implicarea umană	Un analist interpretează și acționează pe baza constatărilor	Algoritmul aplică regula automat
volumul de date	Lucrează pe un set de date istorice definite	Se îmbunătățește pe măsură ce sunt furnizate mai multe date în timp
Ieșire tipică	O regulă, un grup sau o asociere pe care o persoană o poate citi	Un model antrenat care returnează un scor sau o clasă
Relaţie	Minarea datelor folosește frecvent algoritmi de învățare automată ca motor

Pe scurt, învățarea automată este unul dintre seturile de instrumente pe care se bazează data mining-ul, iar data mining-ul simplu se poate face doar cu statistici.

Instrumente de extragere a datelor

Următoarele sunt 2 populare Instrumente de extragere a datelor utilizat pe scară largă în industrie

Limba R:

limbajul R este un instrument open source pentru calcul statistic și grafică. R are o mare varietate de teste statistice, statistice clasice, analize de serii temporale, tehnici de clasificare și grafice. Oferă o facilitate eficientă de manipulare și stocare a datelor.

Află mai multe detalii aici

Oracle Exploatarea datelor:

Oracle Data Mining, cunoscut popular sub numele de ODM, este un modul al Oracle Bază de date Advanced Analytics și este acum livrată ca parte a Oracle Învățare automată. Acest instrument de data mining permite analiștilor de date să genereze informații detaliate și să facă predicții. Ajută la prezicerea comportamentului clienților, dezvoltă profiluri de clienți și identifică oportunități de cross-selling.

Află mai multe detalii aici

Beneficiile Data Mining

• Tehnica de extragere a datelor ajută companiile să obțină informații bazate pe cunoștințe.
• Exploatarea datelor ajută organizațiile să facă ajustări profitabile în operare și producție.
• Miningul de date este o soluție rentabilă și eficientă în comparație cu alte aplicații de date statistice.
• Exploatarea datelor ajută la procesul de luare a deciziilor.
• Facilitează predicția automată a tendințelor și comportamentelor, precum și descoperirea automată a tiparelor ascunse.
• Poate fi implementat în sisteme noi, precum și în platformele existente
• Procesul rapid face ca utilizatorii să analizeze cu ușurință cantități uriașe de date în mai puțin timp.

Dezavantajele minării de date

• Există riscul ca firmele să vândă informații utile despre clienții lor către alte organizații, ceea ce ridică preocupări semnificative legate de confidențialitate.
• Multe software-uri de analiză pentru extragerea datelor sunt dificil de operat și necesită pregătire avansată pentru a lucra.
• Diferite instrumente de extragere a datelor funcționează în moduri diferite, datorită diferiților algoritmi folosiți în proiectarea lor. Prin urmare, selectarea instrumentului corect de extragere a datelor este o sarcină foarte dificilă.
• Tehnicile de extragere a datelor nu sunt precise și, prin urmare, pot provoca consecințe grave în anumite condiții.

Aplicații de extragere a datelor

Aplicatii	Folosire
Comunicații	Tehnicile de data mining sunt utilizate în sectorul comunicării pentru a prezice comportamentul clienților și a oferi campanii extrem de direcționate și relevante.
Asigurări	Exploatarea datelor ajută companiile de asigurări să-și stabilească prețurile profitabile pentru produsele și să promoveze noi oferte pentru clienții lor noi sau existenți.
Educaţie	Exploatarea datelor aduce beneficii educatorilor pentru a accesa datele studenților, a prezice nivelurile de performanță și a găsi studenți sau grupuri de studenți care necesită o atenție suplimentară. De exemplu, elevii care sunt slabi la materia matematică.
Producție	Cu ajutorul Data Mining, producătorii pot prezice uzura activelor de producție. Aceștia pot anticipa întreținerea, ceea ce îi ajută să minimizeze timpii de nefuncționare.
Bancar	Exploatarea datelor ajută sectorul financiar să obțină o perspectivă asupra riscurilor de piață și să gestioneze conformitatea cu reglementările. Ajută băncile să identifice probabili debitori pentru a decide dacă emit carduri de credit, împrumuturi etc.
Comerț	Tehnicile de data mining ajută centrele comerciale și magazinele alimentare să identifice și să aranjeze articolele cele mai vandabile în pozițiile cele mai atente. Acestea îi ajută pe proprietarii de magazine să vină cu oferte care să încurajeze clienții să își mărească cheltuielile.
Furnizori de servicii	Furnizorii de servicii precum telefoanele mobile și industriile de utilități folosesc Data Mining pentru a prezice motivele când un client își părăsește compania. Ei analizează detaliile de facturare, interacțiunile cu serviciul clienți, reclamațiile adresate companiei pentru a atribui fiecărui client un scor de probabilitate și oferă stimulente.
E-commerce	Site-urile de comerț electronic utilizează Data Mining pentru a oferi vânzări încrucișate și up-sells prin intermediul site-urilor lor. Unul dintre cele mai cunoscute nume este Amazon, care folosesc tehnici de extragere a datelor pentru a atrage mai mulți clienți în magazinul lor de comerț electronic.
Super piețe	Explorarea datelor permite supermarketurilor să dezvolte reguli pentru a prezice dacă este probabil ca cumpărătorii lor să fie însărcinați. Prin evaluarea tiparelor de cumpărare, acestea ar putea găsi cliente care sunt cel mai probabil însărcinate. Pot începe să vizeze produse precum pudra de bebeluși, săpunul pentru bebeluși, scutecele și așa mai departe.
Investigarea Criminalității	Data Mining ajută agențiile de investigare a criminalității să desfășoare forță de muncă de poliție (unde este cel mai probabil să se întâmple o crimă și când?), pe cine să caute la un punct de trecere a frontierei etc.
bioinformatica	Data Mining ajută la extragerea datelor biologice din seturi masive de date adunate în biologie și medicină.

Întrebări frecvente