Tiedonlouhinnan opetusohjelma: Mitä tiedonlouhinta on? Tekniikat, prosessit

Mikä on tiedonlouhinta?

Data Mining on prosessi, jossa etsitään mahdollisesti hyödyllisiä malleja valtavista tietojoukoista. Se on monialainen taito, jota käytetään koneoppiminen, tilastoja ja tekoälyä esimerkiksitractietoa tulevien tapahtumien todennäköisyyden arvioimiseksi. Tiedonlouhinnasta saatuja näkemyksiä käytetään markkinoinnissa, petosten havaitsemisessa, tieteellisissä löytöissä jne.

Tiedonlouhinnassa on kyse piilotettujen, odottamattomien ja aiemmin tuntemattomien, mutta pätevien yhteyksien löytämisestä datan välillä. Tiedonlouhintaa kutsutaan myös tiedon löytämiseksi datasta (KDD), tiedonlouhinnaksi (Knowledge Discovery in Data) tai tiedonlouhinnaksi (Knowledge ex).tractiedonkeruu jne.

Tietotyypit

Tiedonlouhinta voidaan suorittaa seuraavan tyyppisille tiedoille

• Relaatiotietokannat
• Tietovarastot
• Kehittynyt tietokanta ja tietovarastot
• Olio- ja oliorelaatiotietokannat
• Tapahtuma- ja tilatietokannat
• Heterogeeniset ja vanhat tietokannat
• Multimedia- ja suoratoistotietokanta
• Tekstitietokannat
• Tekstin louhinta ja verkkolouhinta

Olipa lähde mikä tahansa, sama kurinalainen vaihejärjestys muuttaa raakadatan käyttökelpoiseksi malliksi.

Tietojen louhinnan toteutusprosessi

Tutkitaan tiedon louhinnan toteutusprosessia yksityiskohtaisesti

Liiketoiminnan ymmärtäminen

Tässä vaiheessa asetetaan liiketoiminnan ja tiedon louhinnan tavoitteet.

• Ensinnäkin sinun on ymmärrettävä liiketoiminnan ja asiakkaiden tavoitteet. Sinun on määriteltävä, mitä asiakkaasi haluaa (mitä usein edes hän ei itse tiedä)
• Tutustu nykyiseen tiedon louhintaskenaarioon. Ota arvioosi huomioon resurssit, olettamukset, rajoitteet ja muut tärkeät tekijät.
• Määritä tiedonlouhintatavoitteesi liiketoimintatavoitteiden ja nykyisen skenaarion avulla.
• Hyvä tiedonlouhintasuunnitelma on hyvin yksityiskohtainen, ja se tulisi kehittää sekä liiketoiminnan että tiedon louhintatavoitteiden saavuttamiseksi.

Tietojen ymmärtäminen

Tässä vaiheessa datalle suoritetaan eheystarkistus sen varmistamiseksi, että se on sopivaa tiedonlouhinnan tavoitteisiin.

• Ensinnäkin dataa kerätään useista organisaatiossa käytettävissä olevista tietolähteistä.
• Nämä tietolähteet voivat sisältää useita tietokantoja, yksitasoisia tiedostoja tai datakuutioita. Tietojen integrointiprosessin aikana voi ilmetä ongelmia, kuten objektien yhteensovittaminen ja skeemaintegraatio. Se on melko monimutkainen ja hankala prosessi, koska eri lähteistä peräisin olevat tiedot eivät todennäköisesti täsmää helposti. Esimerkiksi taulukko A sisältää entiteetin nimeltä asiakasnumero, kun taas toinen taulukko B sisältää entiteetin nimeltä asiakastunnus.
• Siksi on melko vaikeaa varmistaa, viittaavatko nämä molemmat objektit samaan arvoon vai eivät. Tässä metatietoja tulisi käyttää vähentämään virheitä tietojen integrointiprosessissa.
• Seuraavaksi etsitään hankittujen tietojen ominaisuuksia. Hyvä tapa tutkia dataa on vastata tiedon louhintakysymyksiin (jotka päätettiin liiketoimintavaiheessa) kysely-, raportointi- ja visualisointityökalujen avulla.
• Kyselyn tulosten perusteella datan laatu tulisi varmistaa. Mahdollisesti puuttuvat tiedot tulisi hankkia.

Tietojen valmistelu

Tässä vaiheessa data saatetaan tuotantovalmiiksi.

Datan valmistelu on yleensä pisin vaihe, jonka sanotaan vievän yleisesti 60–80 % kokonaistyöstä.

Eri lähteistä peräisin oleva data tulee valita, puhdisttaa, muuntaa, muotoilla, anonymisoida ja tarvittaessa rakentaa.

Tietojen puhdistus on prosessi, jolla tiedot "puhdistetaan" tasoittamalla kohinaisia ​​tietoja ja täyttämällä puuttuvia arvoja.

Esimerkiksi asiakkaan demografisesta profiilista puuttuu ikätietoja. Tiedot ovat epätäydellisiä ja ne on täytettävä. Joissakin tapauksissa tiedoissa voi olla poikkeavuuksia. Esimerkiksi iän arvo on 300. Tiedot voivat olla epäjohdonmukaisia. Esimerkiksi asiakkaan nimi on erilainen eri taulukoissa.

Datamuunnosoperaatiot muuttavat dataa hyödylliseksi tiedonlouhinnassa. Seuraavia muunnoksia voidaan soveltaa.

Tietojen muuntaminen

Datan muunnosoperaatiot edistäisivät kaivosprosessin onnistumista.

Tasoitus: Se auttaa poistamaan kohinaa tiedoista.

Yhdistäminen: Tietoihin sovelletaan yhteenveto- tai koontioperaatioita. Eli viikoittaiset myyntitiedot yhdistetään kuukausittaisen ja vuosittaisen kokonaissumman laskemiseksi.

Yleistys: Tässä vaiheessa matalan tason data korvataan korkeamman tason käsitteillä käsitehierarkioiden avulla. Esimerkiksi kaupunki korvataan osavaltiolla tai maalla.

normalisointi: Normalisointi suoritetaan, kun ominaisuustietoja skaalataan ylös- tai alaspäin. Esimerkki: Datan tulisi olla normalisoinnin jälkeen välillä -2.0 - 2.0.

Ominaisuuden rakentaminenNämä attribuutit on rakennettu ja ne sisältävät annetun joukon attribuutteja, jotka ovat hyödyllisiä tiedonlouhinnassa.

Tämän prosessin tuloksena saadaan lopullinen tietojoukko, jota voidaan käyttää mallintamisessa.

Modeling

Tässä vaiheessa matemaattisia malleja käytetään datakuvioiden määrittämiseen.

• Valmistetulle tietojoukolle tulisi valita sopivat mallinnustekniikat liiketoimintatavoitteiden perusteella.
• Luo skenaario mallin laadun ja kelpoisuuden testaamiseksi.
• Suorita malli valmiissa tietojoukossa.
• Kaikkien sidosryhmien tulee arvioida tuloksia varmistaakseen, että malli voi täyttää tiedon louhinnan tavoitteet.

Arviointi

Tässä vaiheessa tunnistettuja malleja arvioidaan suhteessa liiketoiminnan tavoitteisiin.

• Tiedonlouhintamallin tuottamia tuloksia tulee arvioida suhteessa liiketoiminnan tavoitteisiin.
• Liiketoiminnan ymmärtäminen on iteratiivinen prosessi. Itse asiassa, vaikka ymmärrätkin, tiedon louhinta voi nostaa uusia liiketoimintavaatimuksia.
• Päätös mallin siirtämisestä käyttöönottovaiheessa tehdään tai ei.

Käyttöönotto

Käyttöönottovaiheessa lähetät tiedonlouhintalöytösi jokapäiväiseen liiketoimintaan.

• Tiedonlouhintaprosessin aikana löydetyt tiedot tulee tehdä helposti ymmärrettäväksi ei-teknisille sidosryhmille.
• Yksityiskohtainen käyttöönottosuunnitelma aluksellepingTiedonlouhintaan liittyvien löytöjen ylläpito ja seuranta luodaan.
• Projektin loppuraportti luodaan, joka sisältää hankkeen aikana saadut opetukset ja keskeiset kokemukset. Tämä auttaa parantamaan organisaation liiketoimintapolitiikkaa.

Yllä oleva mallinnusvaihe hyödyntää määriteltyä joukkoa tekniikoita, joista jokainen soveltuu erityyppisiin kysymyksiin.

Data Mining Techniques

1. Luokittelu

Tätä analyysiä käytetään tärkeän ja merkityksellisen tiedon hakemiseen tiedoista ja metatiedoista. Tämä tiedonlouhintamenetelmä auttaa luokittelemaan tiedot eri luokkiin.

2. Clusterta

ClusterAnalyysi on tiedonlouhintatekniikka toistensa kaltaisten tietojen tunnistamiseksi. Tämä prosessi auttaa ymmärtämään tietojen eroja ja yhtäläisyyksiä.

3. Regressio

Regressioanalyysi on tiedon louhintamenetelmä muuttujien välisten suhteiden tunnistamiseksi ja analysoimiseksi. Sitä käytetään määrittämään tietyn muuttujan todennäköisyys, kun otetaan huomioon muiden muuttujien läsnäolo.

4. Yhdistyksen säännöt

Tämä tiedonlouhintatekniikka auttaa löytämään yhteyden kahden tai useamman kohteen välillä. Se löytää piilotetun kuvion tietojoukosta.

5. Poikkeavien arvojen havaitseminen

Tämän tyyppinen tiedonlouhintatekniikka viittaa sellaisten dataelementtien havaitsemiseen tietojoukossa, jotka eivät vastaa odotettua kaavaa tai odotettua käyttäytymistä. Tätä tekniikkaa voidaan käyttää useilla eri aloilla, kuten tunkeutumisen havaitsemisessa, petosten tai virheiden havaitsemisessa jne. Poikkeavien arvojen havaitsemista kutsutaan myös poikkeavien arvojen analyysiksi tai poikkeavien arvojen louhinnaksi.

6. Peräkkäiset kuviot

Tämä tiedonlouhintatekniikka auttaa löytämään tai tunnistamaan samanlaisia ​​​​malleja tai trendejä tapahtumatiedoissa tietyltä ajanjaksolta.

7. Ennustus

Ennuste on käyttänyt yhdistelmää muita tiedon louhintatekniikoita, kuten trendejä, peräkkäisiä kuvioita, klusterointia, luokittelua jne. Se analysoi menneitä tapahtumia tai tapauksia oikeassa järjestyksessä tulevan tapahtuman ennustamiseksi.

Descriptive vs. ennustava tiedonlouhinta

Yllä olevat seitsemän tekniikkaa kuuluvat kahteen ryhmään, ja kysymyksen kuuluminen ratkaisee, miten tulos tulisi lukea.

Descriptive-tiedonlouhinta tiivistää jo tapahtuneen. Se etsii rakennetta olemassa olevasta datasta ilman mitään tavoitetta, minkä vuoksi sitä joskus kutsutaan ohjaamattomaksi. Clusterassosiaatiosäännöt ja peräkkäiset kaavat kuuluvat tähän. Supermarketin oppima, että vaipat ja olut ostetaan usein yhdessä, on kuvaileva havainto: se selittää menneisyyden, ja ihminen päättää, mitä tehdä asialle.

Ennakoiva tiedonlouhinta arvioi, mitä seuraavaksi tapahtuu. Se oppii historiallisista tiedoista, joissa vastaus on jo tiedossa, ja soveltaa sitten oppimaansa uusiin tietoihin, minkä vuoksi sitä kutsutaan valvotuksi menetelmäksi. Luokittelu, regressio ja ennustaminen kuuluvat tähän. Lainanhakijan pisteyttäminen maksukyvyttömyyden todennäköiseksi tai epätodennäköiseksi on ennustava löydös.

Erosta seuraa kaksi käytännön seurausta.

• Validointi eroaa: Ennustavaa mallia voidaan pisteyttää tarkkuuden suhteen tunnettuihin tuloksiin verrattuna. Kuvailevaa tulosta ei voida, joten sitä arvioidaan sen perusteella, onko se kiinnostava ja toiminnallisesti toteutettava.
• Tietovaatimukset vaihtelevat: Ennustava työ tarvitsee merkityn historiallisten tulosten sarakkeen. DescriptIve-työssä ei, minkä vuoksi se on tavanomainen lähtökohta, kun yrityksellä on dataa, mutta ei vielä selkeää tavoitetta.

Tiedonlouhinnan toteuttamisen haasteet

• Tiedonlouhintakyselyjen muotoiluun tarvitaan taitavia asiantuntijoita.
• Ylisovitus: Pienen koulutustietokannan vuoksi malli ei välttämättä sovi tuleviin tiloihin.
• Tiedonlouhinta vaatii suuria tietokantoja, joita on joskus vaikea hallita
• Liiketoimintakäytäntöjä on ehkä muutettava, jotta paljastettuja tietoja voidaan käyttää.
• Jos tietojoukko ei ole monipuolinen, tiedon louhinnan tulokset eivät välttämättä ole tarkkoja.
• Heterogeenisista tietokannoista ja globaaleista tietojärjestelmistä tarvittava integrointitieto voi olla monimutkaista

Tiedonlouhinnan esimerkkejä

Nyt tällä tiedonlouhintakurssilla opitaan tiedon louhinnasta esimerkkien avulla:

Esimerkki 1:

Ajatellaanpa televiestintäpalveluyrityksen markkinointipäällikköä, joka haluaa kasvattaa kaukopuheluiden tuloja. Asiakasprofilointi on tärkeää myynti- ja markkinointitoimiensa korkean ROI:n saavuttamiseksi. Hänellä on laaja tietokanta asiakastiedoista, kuten ikä, sukupuoli, tulot, luottotiedot jne. Mutta kaukopuheluita suosivien ihmisten ominaisuuksia on mahdotonta määrittää manuaalisella analyysillä. Tiedonlouhintatekniikoiden avulla hän voi paljastaa malleja paljon kaukopuheluita soittavien käyttäjien ja heidän ominaisuuksiensa välillä.

Hän saattaa esimerkiksi oppia, että hänen parhaat asiakkaat ovat naimisissa olevia 45–54-vuotiaita naisia, jotka tienaavat yli 80,000 XNUMX dollaria vuodessa. Markkinointiponnistelut voidaan kohdistaa sellaisiin väestöryhmiin.

Esimerkki 2:

Pankki haluaa etsiä uusia tapoja lisätä luottokorttitoimintojensa tuloja. He haluavat selvittää, kaksinkertaistuisiko käyttö, jos maksut puolitettaisiin.

Pankilla on useiden vuosien tiedot luottokorttien keskimääräisistä saldoista, maksusummista, luottolimiitin käytöstä ja muista keskeisistä parametreista. He luovat mallin ehdotetun uuden liiketoimintapolitiikan vaikutusten tarkistamiseksi. Datatulokset osoittavat, että kohdennetun asiakaskunnan maksujen puolittaminen voisi lisätä tuloja 10 miljoonalla dollarilla.

Tiedonlouhinta vs. koneoppiminen

Nämä kaksi termiä menevät osittain päällekkäin ja niitä käytetään usein keskenään, mutta ne vastaavat eri kysymyksiin. Tiedonlouhinnan tavoitteena on löytää kaava, josta henkilö ei aiemmin tiennyt. Koneoppimisen tavoitteena on rakentaa järjestelmä, joka parantaa omia ennusteitaan datan lisääntyessä.

Eron kohta	Data Mining	Koneen oppiminen
Päätavoite	Löydä tuntemattomia malleja olemassa olevasta datasta	Rakenna malli, joka ennustaa uutta dataa
Ihmisen osallistuminen	Analyytikko tulkitsee löydöksen ja toimii sen pohjalta	Algoritmi soveltaa sääntöä automaattisesti
datamäärä	Toimii määritellyn, historiallisen tietojoukon parissa	Paranee ajan myötä, kun dataa toimitetaan enemmän
Tyypillinen teho	Sääntö, klusteri tai assosiaatio, jonka henkilö voi lukea	Koulutettu malli, joka palauttaa pistemäärän tai luokan
Yhteys	Tiedonlouhinta käyttää usein koneoppimisalgoritmeja moottorinaan

Lyhyesti sanottuna koneoppiminen on yksi työkaluista, joita tiedonlouhinta hyödyntää, ja yksinkertainen tiedonlouhinta voidaan tehdä pelkästään tilastojen avulla.

Tiedonlouhintatyökalut

Seuraavat ovat 2 suosittua Tiedonlouhintatyökalut käytetään laajasti teollisuudessa

R-kieli:

R -kieli on avoimen lähdekoodin työkalu tilastolaskentaan ja grafiikkaan. R:llä on laaja valikoima tilastollisia, klassisia tilastollisia testejä, aikasarjaanalyysiä, luokittelua ja graafisia tekniikoita. Se tarjoaa tehokkaan tiedonkäsittelyn ja varastoinnin.

Lue lisää täältä

Oracle Tiedonlouhinta:

Oracle Data Mining, joka tunnetaan yleisesti nimellä ODM, on moduuli Oracle Edistynyt analytiikkatietokanta ja se toimitetaan nyt osana Oracle Koneoppiminen. Tämä tiedonlouhintatyökalu antaa data-analyytikoille mahdollisuuden luoda yksityiskohtaisia ​​​​näkemyksiä ja tehdä ennusteita. Se auttaa ennustamaan asiakkaiden käyttäytymistä, kehittämään asiakasprofiileja ja tunnistamaan ristiinmyyntimahdollisuuksia.

Lue lisää täältä

Tiedonlouhinnan edut

• Tiedonlouhintatekniikka auttaa yrityksiä saamaan tietoon perustuvaa tietoa.
• Tiedonlouhinta auttaa organisaatioita tekemään kannattavia muutoksia toiminnassa ja tuotannossa.
• Tiedonlouhinta on kustannustehokas ja tehokas ratkaisu verrattuna muihin tilastotietosovelluksiin.
• Tiedonlouhinta auttaa päätöksenteossa.
• Helpottaa trendien ja käyttäytymisen automaattista ennustamista sekä piilotettujen kuvioiden automaattista havaitsemista.
• Se voidaan toteuttaa sekä uusissa järjestelmissä että olemassa olevissa alustoissa
• Se on nopea prosessi, jonka ansiosta käyttäjien on helppo analysoida valtava määrä tietoa lyhyemmässä ajassa.

Tiedonlouhinnan haitat

• On olemassa riski, että yritykset myyvät asiakkaistaan ​​hyödyllisiä tietoja muille organisaatioille, mikä herättää merkittäviä yksityisyyden suojaan liittyviä huolenaiheita.
• Monet tiedon louhintaanalytiikkaohjelmistot ovat vaikeita käyttää ja vaativat ennakkokoulutusta.
• Eri tiedonlouhintatyökalut toimivat eri tavoin niiden suunnittelussa käytettyjen eri algoritmien vuoksi. Siksi oikean tiedon louhintatyökalun valinta on erittäin vaikea tehtävä.
• Tiedonlouhintatekniikat eivät ole tarkkoja, joten se voi aiheuttaa vakavia seurauksia tietyissä olosuhteissa.

Tiedonlouhintasovellukset

Sovellukset	Käyttö
Yhteydenpito	Tiedonlouhintatekniikoita käytetään viestintäalalla asiakkaiden käyttäytymisen ennustamiseen ja erittäin kohdennettujen ja relevanttien kampanjoiden tarjoamiseen.
Vakuutus	Tiedonlouhinta auttaa vakuutusyhtiöitä hinnoittelemaan tuotteensa kannattavasti ja edistämään uusia tarjouksia uusille tai nykyisille asiakkailleen.
Oppilaitokset	Tiedonlouhinta auttaa opettajia pääsemään käsiksi oppilastietoihin, ennustamaan saavutustasoja ja löytämään opiskelijat tai opiskelijaryhmät, jotka tarvitsevat erityistä huomiota. Esimerkiksi opiskelijat, jotka ovat heikkoja matematiikan aineissa.
valmistus	Tiedonlouhinnan avulla valmistajat voivat ennustaa tuotantolaitteiden kulumista ja huoltoa. He voivat ennakoida huoltoa, mikä auttaa heitä minimoimaan seisokkiajat.
Pankkitoiminta	Tiedonlouhinta auttaa rahoitusalaa saamaan kuvan markkinariskeistä ja hallitsemaan säännösten noudattamista. Se auttaa pankkeja tunnistamaan todennäköiset laiminlyönnit päättääkseen, myöntävätkö ne luottokortteja, lainoja jne.
Vähittäiskauppa	Tiedonlouhintatekniikat auttavat vähittäiskaupan ostoskeskuksia ja ruokakauppoja tunnistamaan ja järjestämään myydyimmät tuotteet parhaiten harkituille paikoille. Se auttaa kauppiaita keksimään tarjouksia, jotka kannustavat asiakkaita lisäämään ostoksiaan.
Palveluntarjoajat	Palveluntarjoajat, kuten matkapuhelin- ja sähköteollisuus, käyttävät Data Miningiä ennustaakseen syitä, miksi asiakas lähtee yrityksestään. He analysoivat laskutustietoja, asiakaspalvelun vuorovaikutusta, yritykselle tehtyjä valituksia määrittääkseen jokaiselle asiakkaalle todennäköisyyspisteet ja tarjoavat kannustimia.
E-Commerce	Verkkokauppasivustot käyttävät Data Mining -palvelua tarjotakseen ristiin- ja lisämyyntiä verkkosivustojensa kautta. Yksi tunnetuimmista nimistä on Amazon, jotka käyttävät tiedonlouhintatekniikoita saadakseen lisää asiakkaita verkkokauppaansa.
Super Marketit	Tiedonlouhinnan avulla supermarketit voivat kehittää sääntöjä ennustaakseen, ovatko heidän ostajansa todennäköisesti raskaana. Arvioimalla heidän ostotottumuksiaan he voivat löytää naisasiakkaita, jotka ovat todennäköisimmin raskaana. He voivat alkaa kohdistaa mainoksiaan tuotteisiin, kuten vauvanpuuteriin, vauvasaippuaan, vaippoihin ja niin edelleen.
Rikostutkinta	Tiedonlouhinta auttaa rikostutkintavirastoja käyttämään poliisivoimaa (missä rikos todennäköisimmin tapahtuu ja milloin?), ketä etsimään rajanylityspaikalta jne.
bioinformatiikka	Data Mining auttaa louhimaan biologisia tietoja massiivisista biologian ja lääketieteen aineistoista.

UKK