Adatbányászati oktatóanyag: Mi az adatbányászat? Technikák, folyamat
⚡ Okos összefoglaló
Az adatbányászat a potenciálisan hasznos minták megtalálásának folyamata nagy adathalmazokban. Ez az oldal ismerteti a hatfázisú megvalósítási folyamatot, a hét alapvető technikát, az azokat támogató eszközöket, a valós üzleti példákat, valamint az egyes megközelítések előnyeit és korlátait.

Mi az adatbányászat?
Data Mining egy olyan folyamat, amely potenciálisan hasznos mintákat keres hatalmas adatkészletekből. Ez egy multidiszciplináris készség, amelyet használ gépi tanulás, statisztikák és mesterséges intelligencia a példáhoztracinformációk a jövőbeli események valószínűségének értékeléséhez. Az adatbányászatból származó információkat marketingre, csalásfelderítésre, tudományos felfedezésekre stb. használják.
Az adatbányászat lényege a rejtett, nem gyanított és korábban ismeretlen, mégis érvényes kapcsolatok felfedezése az adatok között. Az adatbányászatot tudásfeltárásnak (KDD), tudásfeltárásnak is nevezik.tracció, adat-/mintaelemzés, információgyűjtés stb.
Adattípusok
Az adatbányászat a következő típusú adatokon hajtható végre
- Relációs adatbázisok
- Adatraktárak
- Fejlett DB és információs tárhelyek
- Objektumorientált és objektum-relációs adatbázisok
- Tranzakciós és térbeli adatbázisok
- Heterogén és örökölt adatbázisok
- Multimédiás és streaming adatbázis
- Szöveges adatbázisok
- Szövegbányászat és webbányászat
Bármi legyen is a forrás, ugyanaz a fegyelmezett fázissorozat alakítja a nyers adatokat használható modellé.
Az adatbányászat megvalósítási folyamata

Tanulmányozzuk részletesen az adatbányászat megvalósítási folyamatát
Üzleti megértés
Ebben a fázisban az üzleti és adatbányászati célokat határozzák meg.
- Először is meg kell értenie az üzleti és az ügyfelek céljait. Meg kell határoznia, hogy az ügyfele mit akar (amit sokszor még ők maguk sem tudnak)
- Vegyük számba a jelenlegi adatbányászati forgatókönyvet. Az értékelésben vegye figyelembe az erőforrásokat, a feltételezéseket, a korlátokat és más jelentős tényezőket.
- Az üzleti célok és a jelenlegi forgatókönyv alapján határozza meg adatbányászati céljait.
- A jó adatbányászati terv nagyon részletes, és ki kell dolgozni az üzleti és az adatbányászati célok elérése érdekében.
Adatok megértése
Ebben a fázisban az adatok épségét ellenőrzik, hogy megfelelnek-e az adatbányászati céloknak.
- Először is, az adatokat a szervezetben elérhető több adatforrásból gyűjtik.
- Ezek az adatforrások tartalmazhatnak több adatbázist, egyszerű fájlokat vagy adatkockákat. Az adatintegrációs folyamat során felmerülhetnek olyan problémák, mint az objektumillesztés és a sémaintegráció. Ez egy meglehetősen összetett és trükkös folyamat, mivel a különböző forrásokból származó adatok valószínűleg nem egyeznek könnyen. Például az A tábla egy cust_no nevű entitást tartalmaz, míg egy másik, a B tábla egy cust-id nevű entitást.
- Ezért meglehetősen nehéz meggyőződni arról, hogy mindkét adott objektum ugyanarra az értékre vonatkozik-e vagy sem. Itt a metaadatokat kell használni az adatintegrációs folyamat hibáinak csökkentése érdekében.
- Ezután a lépés a megszerzett adatok tulajdonságainak keresése. Az adatok feltárásának jó módja az adatbányászati kérdések megválaszolása (amelyek az üzleti fázisban döntöttek) a lekérdezési, jelentéskészítő és vizualizációs eszközök segítségével.
- A lekérdezés eredményei alapján meg kell állapítani az adatok minőségét. Az esetleges hiányzó adatokat be kell szerezni.
Adatok előkészítése
Ebben a fázisban az adatok készen állnak a gyártásra.
Az adatelőkészítés általában a leghosszabb fázis, amelyet általában a teljes ráfordítás 60-80%-ának tekintenek.
A különböző forrásokból származó adatokat ki kell választani, meg kell tisztítani, transzformálni, formázni, anonimizálni és (ha szükséges) konstruálni kell.
Az adattisztítás az adatok „megtisztítására” szolgáló folyamat a zajos adatok simításával és a hiányzó értékek kitöltésével.
Például egy ügyfél demográfiai profiljához hiányoznak a koradatok. Az adatok hiányosak, ki kell tölteni. Egyes esetekben előfordulhatnak kiugró adatok. Például az életkor értéke 300. Az adatok inkonzisztensek lehetnek. Például a vevő neve eltérő a különböző táblákban.
Az adattranszformációs műveletek úgy módosítják az adatokat, hogy azok hasznosak legyenek az adatbányászatban. A következő transzformációk alkalmazhatók.
Adatátalakítás
Az adatátalakítási műveletek hozzájárulnának a bányászati folyamat sikeréhez.
Simítás: Segít eltávolítani a zajt az adatokból.
Összesítés: Az adatokra összesítő vagy összesítő műveleteket alkalmaznak. Azaz a heti értékesítési adatok összesítése a havi és az éves végösszeg kiszámításához.
Általánosítás: Ebben a lépésben az alacsony szintű adatokat magasabb szintű fogalmakkal helyettesítjük fogalomhierarchiák segítségével. Például a várost az állam vagy az ország helyettesíti.
Normalizálás: A normalizálás akkor történik, amikor az attribútumadatokat fel- vagy leskálázzák. Példa: Az adatoknak a normalizálás utáni -2.0 és 2.0 közötti tartományba kell esniük.
Attribútum felépítése: ezek az attribútumok létrejöttek és tartalmazzák az adatbányászathoz hasznos adott attribútumkészletet.
Ennek a folyamatnak az eredménye egy végső adathalmaz, amely felhasználható a modellezésben.
Modellezés
Ebben a fázisban matematikai modelleket használnak az adatminták meghatározására.
- Az elkészített adatállományhoz az üzleti célok alapján megfelelő modellezési technikákat kell kiválasztani.
- Hozzon létre egy forgatókönyvet a modell minőségének és érvényességének teszteléséhez.
- Futtassa a modellt az előkészített adatkészleten.
- Az eredményeket minden érdekelt félnek értékelnie kell, hogy megbizonyosodjon arról, hogy a modell megfelel az adatbányászati céloknak.
Értékelés
Ebben a fázisban az azonosított mintákat az üzleti célokhoz képest értékelik.
- Az adatbányászati modell által generált eredményeket az üzleti célokhoz képest kell értékelni.
- Az üzleti megértés megszerzése iteratív folyamat. Valójában, miközben megértjük, az adatbányászat miatt új üzleti követelmények is felmerülhetnek.
- A bevezetési szakaszban a modell mozgatása mellett döntenek.
bevetés
A telepítési szakaszban az adatbányászati felfedezéseket a mindennapi üzleti műveletekbe szállítja.
- Az adatbányászati folyamat során feltárt ismereteket vagy információkat könnyen érthetővé kell tenni a nem műszaki érdekelt felek számára.
- Részletes telepítési terv a hajó számárapingLétrejön az adatbányászati felfedezések karbantartása és monitorozása.
- A projekt zárójelentése készül, amely tartalmazza a projekt során levont tanulságokat és kulcsfontosságú tapasztalatokat. Ez segít a szervezet üzletpolitikájának javításában.
A fenti modellezési fázis egy meghatározott technikák halmazára támaszkodik, amelyek mindegyike más típusú kérdéshez igazodik.
Adatbányászati technikák
1. Osztályozás
Ez az elemzés fontos és releváns információk lekérésére szolgál az adatokról és a metaadatokról. Ez az adatbányászati módszer segít az adatok osztályozásában különböző osztályokba.
2. ClusterING
ClusterAz elemzés az egymáshoz hasonló adatok azonosítására szolgáló adatbányászati technika. Ez a folyamat segít megérteni az adatok közötti különbségeket és hasonlóságokat.
3. Regresszió
A regresszióanalízis a változók közötti kapcsolatok azonosításának és elemzésének adatbányászati módszere. Egy adott változó valószínűségének azonosítására szolgál, tekintettel más változók jelenlétére.
4. Egyesületi szabályzat
Ez az adatbányászati technika segít megtalálni a kapcsolatot két vagy több elem között. Rejtett mintát fedez fel az adatkészletben.
5. Kiugró értékek észlelése
Ez a fajta adatbányászati technika az adathalmazban található olyan adatelemek megfigyelésére utal, amelyek nem felelnek meg a várt mintázatnak vagy viselkedésnek. Ez a technika számos területen alkalmazható, például behatolásérzékelésben, csalás- vagy hibaészlelésben stb. A kiugróérték-észlelést kiugróérték-elemzésnek vagy kiugróérték-bányászatnak is nevezik.
6. Szekvenciális minták
Ez az adatbányászati technika segít felfedezni vagy azonosítani a hasonló mintákat vagy trendeket a tranzakciós adatokban bizonyos időszakra vonatkozóan.
7. Jóslás
Az előrejelzés az adatbányászat egyéb technikáinak kombinációját használta, például trendeket, szekvenciális mintákat, klaszterezést, osztályozást stb. A múltbeli eseményeket vagy példányokat megfelelő sorrendben elemzi a jövőbeli események előrejelzéséhez.
Descriptive vs. prediktív adatbányászat
A fenti hét technika két családba tartozik, és annak ismerete, hogy egy kérdés melyik családba tartozik, meghatározza, hogyan kell értelmezni az eredményt.
Descriptive adatbányászat összefoglalja a már megtörtént eseményeket. A meglévő adatokban keres struktúrát anélkül, hogy bármilyen célt kitűzne magára, ezért néha felügyelet nélkülinek is nevezik. ClusterAz asszociációs szabályok és a szekvenciális mintázatok ide tartoznak. Az, hogy egy szupermarket megtudja, hogy a pelenkát és a sört gyakran együtt vásárolják, leíró jellegű felfedezés: megmagyarázza a múltat, és az ember eldönti, mit tegyen ezzel kapcsolatban.
Prediktív adatbányászat Becsli, hogy mi fog történni ezután. Tanul olyan történelmi feljegyzésekből, ahol a válasz már ismert, majd ezt a tudást új feljegyzésekre alkalmazza, ezért nevezik felügyeltnek. Az osztályozás, a regresszió és az előrejelzés ide tartozik. Egy hitelkérelmező fizetésképtelenségi valószínűségének vagy valószínűségének besorolása egy prediktív megállapítás.
A megkülönböztetésből két gyakorlati következmény fakad.
- Az érvényesítés eltérő: Egy prediktív modellt az ismert eredményekhez viszonyítva lehet pontosság szempontjából pontozni. Egy leíró eredményt nem, ezért az alapján ítélik meg, hogy érdekes és gyakorlatias-e.
- Az adatkövetelmények eltérőek: A prediktív munkához címkézett historikus eredmény oszlopra van szükség. DescriptAz ive munka nem, ami a szokásos kiindulóponttá teszi, amikor egy vállalkozás rendelkezik adatokkal, de még nincs egyértelmű célja.
Az adatbányászat megvalósításának kihívásai
- Az adatbányászati lekérdezések megfogalmazásához képzett szakértőkre van szükség.
- Túlillesztés: A kis méretű oktatási adatbázis miatt előfordulhat, hogy egy modell nem illeszkedik a jövőbeli állapotokhoz.
- Az adatbányászat nagy adatbázisokat igényel, amelyeket néha nehéz kezelni
- Előfordulhat, hogy az üzleti gyakorlatokat módosítani kell a feltárt információk felhasználásának eldöntéséhez.
- Ha az adatkészlet nem változatos, előfordulhat, hogy az adatbányászati eredmények nem pontosak.
- A heterogén adatbázisokból és globális információs rendszerekből származó integrációs információk összetettek lehetnek
Adatbányászati példák
Most ezen az adatbányászati tanfolyamon példákkal ismerkedjünk meg az adatbányászattal:
Példa 1:
Vegyünk egy telekommunikációs szolgáltató marketingvezetőjét, aki növelni szeretné a távolsági hívások bevételeit. Az értékesítési és marketingtevékenységeinek magas megtérülése érdekében fontos az ügyfélprofilozás. Hatalmas ügyfélinformáció-készlettel rendelkezik, mint például az életkor, nem, jövedelem, hiteltörténet stb. Manuális elemzéssel azonban lehetetlen meghatározni a távolsági hívásokat preferáló emberek jellemzőit. Adatbányászati technikák segítségével mintákat tárhat fel a sok távolsági hívással foglalkozó felhasználók és jellemzőik között.
Például megtudhatja, hogy legjobb vásárlói 45 és 54 év közötti házas nők, akik évente több mint 80,000 XNUMX dollárt keresnek. A marketing erőfeszítések az ilyen demográfiai csoportokra irányulhatnak.
Példa 2:
Egy bank új módszereket keres a hitelkártya-műveletekből származó bevételek növelésére. Azt szeretnék ellenőrizni, hogy a díjak felére csökkentése megduplázná-e a kártyahasználatot.
A bank több éves múltra visszatekintő adatokkal rendelkezik az átlagos hitelkártya-egyenlegekről, a kifizetések összegéről, a hitelkeret-felhasználásról és más kulcsfontosságú paraméterekről. Létrehoztak egy modellt a javasolt új üzletpolitika hatásának ellenőrzésére. Az adatok azt mutatják, hogy egy célzott ügyfélkör díjainak felére csökkentése 10 millió dollárral növelheti a bevételeket.
Adatbányászat vs. gépi tanulás
A két kifejezés erősen átfedésben van, és gyakran felcserélhetően használják őket, de különböző kérdésekre adnak választ. Az adatbányászat olyan mintázatok felfedezésére törekszik, amelyekről egy személy korábban nem tudott. A gépi tanulás egy olyan rendszer létrehozására törekszik, amely a beérkező adatok számával javítja saját előrejelzéseit.
| A különbség pontja | Data Mining | Gépi tanulás |
|---|---|---|
| Fő cél | Ismeretlen minták felfedezése a meglévő adatokban | Készítsen egy modellt, amely új adatok alapján előrejelzi a helyzetet |
| Emberi részvétel | Az elemző értelmezi a megállapításokat és cselekszik azok alapján | Az algoritmus automatikusan alkalmazza a szabályt |
| adatmennyiség | Egy meghatározott, historikus adathalmazon dolgozik | Idővel javul, ahogy egyre több adat érkezik be |
| Tipikus teljesítmény | Egy szabály, klaszter vagy asszociáció, amelyet egy személy el tud olvasni | Egy betanított modell, amely pontszámot vagy osztályt ad vissza |
| Kapcsolat | Az adatbányászat gyakran gépi tanulási algoritmusokat használ motorként | |
Röviden, a gépi tanulás az egyik eszköztár, amelyre az adatbányászat támaszkodik, és az egyszerű adatbányászat elvégezhető pusztán statisztikákkal.
Adatbányászati eszközök
Az alábbiakban 2 népszerű Adatbányászati eszközök széles körben használják az iparban
R-nyelv:
R nyelv egy nyílt forráskódú eszköz statisztikai számításokhoz és grafikákhoz. Az R számos statisztikai, klasszikus statisztikai teszttel, idősoros elemzéssel, osztályozással és grafikus technikákkal rendelkezik. Hatékony adatkezelési és tárolási lehetőséget kínál.
Oracle Adatbányászat:
Oracle Data Mining, közismertebb nevén ODM, a Oracle Speciális analitikai adatbázis, és mostantól a következő részeként kerül szállításra: Oracle Gépi tanulás. Ez az adatbányászati eszköz lehetővé teszi az adatelemzők számára, hogy részletes elemzéseket generáljanak és előrejelzéseket tegyenek. Segít előre jelezni az ügyfelek viselkedését, ügyfélprofilokat fejleszteni és keresztértékesítési lehetőségeket azonosítani.
Az adatbányászat előnyei
- Az adatbányászati technika segít a vállalatoknak tudásalapú információkhoz jutni.
- Az adatbányászat segíti a szervezeteket a működés és a termelés jövedelmező kiigazításában.
- Az adatbányászat költséghatékony és hatékony megoldás a többi statisztikai adatalkalmazáshoz képest.
- Az adatbányászat segíti a döntéshozatali folyamatot.
- Lehetővé teszi a trendek és viselkedések automatikus előrejelzését, valamint a rejtett minták automatikus felfedezését.
- Új rendszerekben és már meglévő platformokon is megvalósítható
- Ez a gyors folyamat, amely megkönnyíti a felhasználók számára hatalmas mennyiségű adat elemzését rövidebb idő alatt.
Az adatbányászat hátrányai
- Fennáll annak a veszélye, hogy a vállalatok hasznos információkat adnak el ügyfeleikről más szervezeteknek, ami jelentős adatvédelmi aggályokat vet fel.
- Sok adatbányászati elemző szoftvert nehéz működtetni, és előzetes képzést igényel.
- A különböző adatbányászati eszközök eltérő módon működnek a tervezésükben alkalmazott eltérő algoritmusok miatt. Ezért a megfelelő adatbányászati eszköz kiválasztása nagyon nehéz feladat.
- Az adatbányászati technikák nem pontosak, így bizonyos körülmények között súlyos következményekkel járhat.
Adatbányászati alkalmazások
| Alkalmazási területek | Használat |
|---|---|
| távközlés | Az adatbányászati technikákat a kommunikációs szektorban használják az ügyfelek viselkedésének előrejelzésére, hogy célzott és releváns kampányokat kínálhassanak. |
| Biztosítás | Az adatbányászat segíti a biztosítótársaságokat abban, hogy termékeiket nyereségesen árazzák, és új ajánlatokat hirdessenek új vagy meglévő ügyfeleik számára. |
| Végzettség | Az adatbányászat révén az oktatók hozzáférhetnek a tanulói adatokhoz, megjósolhatják a teljesítményszinteket, és megtalálhatják azokat a tanulókat vagy tanulócsoportokat, amelyekre külön figyelmet kell fordítani. Például olyan diákok, akik gyengék a matematika tantárgyból. |
| Gyártás | Az adatbányászat segítségével a gyártók előre jelezhetik a termelési eszközök kopását és elhasználódását. Előre láthatják a karbantartást, ami segít minimalizálni az állásidőt. |
| Banking | Az adatbányászat segíti a pénzügyi szektort a piaci kockázatok áttekintésében és a szabályozási megfelelés kezelésében. Segít a bankoknak azonosítani a valószínűsíthető nemteljesítőket, hogy eldöntsék, kibocsássanak-e hitelkártyát, kölcsönt stb. |
| Kiskereskedelem | Az adatbányászati technikák segítenek a bevásárlóközpontoknak és az élelmiszerboltoknak azonosítani és a legmegfelelőbb pozíciókban elhelyezni a legkelendőbb termékeket. Segítenek az üzlettulajdonosoknak olyan ajánlatokkal előállni, amelyek arra ösztönzik a vásárlókat, hogy növeljék a vásárlásaikat. |
| Szolgáltatók | Az olyan szolgáltatók, mint a mobiltelefon- és közüzemi iparágak, az adatbányászatot használják annak előrejelzésére, hogy az ügyfél miért hagyja el a céget. Elemezik a számlázási részleteket, az ügyfélszolgálati interakciókat, a vállalathoz intézett panaszokat, hogy minden ügyfélhez hozzárendeljenek egy valószínűségi pontszámot, és ösztönzőket kínálnak. |
| E-commerce | Az e-kereskedelmi webhelyek az adatbányászatot használják arra, hogy keresztértékesítést és felárértékesítést kínáljanak webhelyeiken keresztül. Az egyik leghíresebb név az Amazon, akik adatbányászati technikákat alkalmaznak, hogy több ügyfelet vonzanak be e-kereskedelmi üzletükbe. |
| Szuper piacok | Az adatbányászat lehetővé teszi a szupermarketek számára, hogy szabályokat dolgozzanak ki annak előrejelzésére, hogy a vásárlóik valószínűleg terhesek-e. A vásárlási szokások kiértékelésével olyan női vásárlókat találhatnak, akik a legnagyobb valószínűséggel terhesek. Olyan termékeket kezdhetnek el célzottan vásárolni, mint a babahintőpor, babaszappan, pelenkák és így tovább. |
| Bűnügyi nyomozás | Az adatbányászat segít a bűnügyi nyomozó ügynökségeknek rendőri munkaerő bevetésében (hol és mikor történik a legvalószínűbb a bűncselekmény), kit kereshetnek a határátkelőhelyen stb. |
| bioinformatikai | Az adatbányászat segít bányászni a biológiai adatokat a biológiában és az orvostudományban összegyűjtött hatalmas adatkészletekből. |
