Adatbányászati ​​oktatóanyag: Mi az adatbányászat? Technikák, folyamat

⚡ Okos összefoglaló

Az adatbányászat a potenciálisan hasznos minták megtalálásának folyamata nagy adathalmazokban. Ez az oldal ismerteti a hatfázisú megvalósítási folyamatot, a hét alapvető technikát, az azokat támogató eszközöket, a valós üzleti példákat, valamint az egyes megközelítések előnyeit és korlátait.

  • 🔍 Meghatározás: Az adatbányászat gépi tanulást, statisztikát és mesterséges intelligenciát használ a kutatáshoztracrejtett kapcsolatok nagy adathalmazokból.
  • 🗂️ Adatforrások: A relációs adatbázisok, adattárházak, tranzakciós, térbeli, multimédiás és szöveges adattárak mind támogatják az adatbányászatot.
  • 🔄 Megvalósítási folyamat: Üzleti ismeretek, adatelemzés, adatelőkészítés, modellezés, értékelés és telepítés.
  • 🧩 Alapvető technikák: Osztályozás, klaszterezés, regresszió, asszociációs szabályok, kiugró értékek észlelése, szekvenciális mintázatok és predikció.
  • 🇧🇷 Eszközök: R és Oracle A gépi tanulás statisztikai számítástechnikát és adatbázison belüli prediktív modellezést biztosít.
  • 🏢 Alkalmazások: A banki, kiskereskedelmi, biztosítási, oktatási, gyártási és bűnügyi nyomozási szektorok a bányászatot a mindennapi döntéseikben alkalmazzák.
  • ⚠️ Korlátozások: A túlzott illeszkedés, a szakemberhiány és az adatvédelmi aggályok korlátozzák, hogy mennyire lehet megbízni az eredményekben.

Mi az adatbányászat, technikák és folyamatok

Mi az adatbányászat?

Data Mining egy olyan folyamat, amely potenciálisan hasznos mintákat keres hatalmas adatkészletekből. Ez egy multidiszciplináris készség, amelyet használ gépi tanulás, statisztikák és mesterséges intelligencia a példáhoztracinformációk a jövőbeli események valószínűségének értékeléséhez. Az adatbányászatból származó információkat marketingre, csalásfelderítésre, tudományos felfedezésekre stb. használják.

Az adatbányászat lényege a rejtett, nem gyanított és korábban ismeretlen, mégis érvényes kapcsolatok felfedezése az adatok között. Az adatbányászatot tudásfeltárásnak (KDD), tudásfeltárásnak is nevezik.tracció, adat-/mintaelemzés, információgyűjtés stb.

Adattípusok

Az adatbányászat a következő típusú adatokon hajtható végre

  • Relációs adatbázisok
  • Adatraktárak
  • Fejlett DB és információs tárhelyek
  • Objektumorientált és objektum-relációs adatbázisok
  • Tranzakciós és térbeli adatbázisok
  • Heterogén és örökölt adatbázisok
  • Multimédiás és streaming adatbázis
  • Szöveges adatbázisok
  • Szövegbányászat és webbányászat

Bármi legyen is a forrás, ugyanaz a fegyelmezett fázissorozat alakítja a nyers adatokat használható modellé.

Az adatbányászat megvalósítási folyamata

Adatbányászat megvalósítási folyamata
Adatbányászat megvalósítási folyamata

Tanulmányozzuk részletesen az adatbányászat megvalósítási folyamatát

Üzleti megértés

Ebben a fázisban az üzleti és adatbányászati ​​célokat határozzák meg.

  • Először is meg kell értenie az üzleti és az ügyfelek céljait. Meg kell határoznia, hogy az ügyfele mit akar (amit sokszor még ők maguk sem tudnak)
  • Vegyük számba a jelenlegi adatbányászati ​​forgatókönyvet. Az értékelésben vegye figyelembe az erőforrásokat, a feltételezéseket, a korlátokat és más jelentős tényezőket.
  • Az üzleti célok és a jelenlegi forgatókönyv alapján határozza meg adatbányászati ​​céljait.
  • A jó adatbányászati ​​terv nagyon részletes, és ki kell dolgozni az üzleti és az adatbányászati ​​célok elérése érdekében.

Adatok megértése

Ebben a fázisban az adatok épségét ellenőrzik, hogy megfelelnek-e az adatbányászati ​​​​céloknak.

  • Először is, az adatokat a szervezetben elérhető több adatforrásból gyűjtik.
  • Ezek az adatforrások tartalmazhatnak több adatbázist, egyszerű fájlokat vagy adatkockákat. Az adatintegrációs folyamat során felmerülhetnek olyan problémák, mint az objektumillesztés és a sémaintegráció. Ez egy meglehetősen összetett és trükkös folyamat, mivel a különböző forrásokból származó adatok valószínűleg nem egyeznek könnyen. Például az A tábla egy cust_no nevű entitást tartalmaz, míg egy másik, a B tábla egy cust-id nevű entitást.
  • Ezért meglehetősen nehéz meggyőződni arról, hogy mindkét adott objektum ugyanarra az értékre vonatkozik-e vagy sem. Itt a metaadatokat kell használni az adatintegrációs folyamat hibáinak csökkentése érdekében.
  • Ezután a lépés a megszerzett adatok tulajdonságainak keresése. Az adatok feltárásának jó módja az adatbányászati ​​kérdések megválaszolása (amelyek az üzleti fázisban döntöttek) a lekérdezési, jelentéskészítő és vizualizációs eszközök segítségével.
  • A lekérdezés eredményei alapján meg kell állapítani az adatok minőségét. Az esetleges hiányzó adatokat be kell szerezni.

Adatok előkészítése

Ebben a fázisban az adatok készen állnak a gyártásra.

Az adatelőkészítés általában a leghosszabb fázis, amelyet általában a teljes ráfordítás 60-80%-ának tekintenek.

A különböző forrásokból származó adatokat ki kell választani, meg kell tisztítani, transzformálni, formázni, anonimizálni és (ha szükséges) konstruálni kell.

Az adattisztítás az adatok „megtisztítására” szolgáló folyamat a zajos adatok simításával és a hiányzó értékek kitöltésével.

Például egy ügyfél demográfiai profiljához hiányoznak a koradatok. Az adatok hiányosak, ki kell tölteni. Egyes esetekben előfordulhatnak kiugró adatok. Például az életkor értéke 300. Az adatok inkonzisztensek lehetnek. Például a vevő neve eltérő a különböző táblákban.

Az adattranszformációs műveletek úgy módosítják az adatokat, hogy azok hasznosak legyenek az adatbányászatban. A következő transzformációk alkalmazhatók.

Adatátalakítás

Az adatátalakítási műveletek hozzájárulnának a bányászati ​​folyamat sikeréhez.

Simítás: Segít eltávolítani a zajt az adatokból.

Összesítés: Az adatokra összesítő vagy összesítő műveleteket alkalmaznak. Azaz a heti értékesítési adatok összesítése a havi és az éves végösszeg kiszámításához.

Általánosítás: Ebben a lépésben az alacsony szintű adatokat magasabb szintű fogalmakkal helyettesítjük fogalomhierarchiák segítségével. Például a várost az állam vagy az ország helyettesíti.

Normalizálás: A normalizálás akkor történik, amikor az attribútumadatokat fel- vagy leskálázzák. Példa: Az adatoknak a normalizálás utáni -2.0 és 2.0 közötti tartományba kell esniük.

Attribútum felépítése: ezek az attribútumok létrejöttek és tartalmazzák az adatbányászathoz hasznos adott attribútumkészletet.

Ennek a folyamatnak az eredménye egy végső adathalmaz, amely felhasználható a modellezésben.

Modellezés

Ebben a fázisban matematikai modelleket használnak az adatminták meghatározására.

  • Az elkészített adatállományhoz az üzleti célok alapján megfelelő modellezési technikákat kell kiválasztani.
  • Hozzon létre egy forgatókönyvet a modell minőségének és érvényességének teszteléséhez.
  • Futtassa a modellt az előkészített adatkészleten.
  • Az eredményeket minden érdekelt félnek értékelnie kell, hogy megbizonyosodjon arról, hogy a modell megfelel az adatbányászati ​​céloknak.

Értékelés

Ebben a fázisban az azonosított mintákat az üzleti célokhoz képest értékelik.

  • Az adatbányászati ​​modell által generált eredményeket az üzleti célokhoz képest kell értékelni.
  • Az üzleti megértés megszerzése iteratív folyamat. Valójában, miközben megértjük, az adatbányászat miatt új üzleti követelmények is felmerülhetnek.
  • A bevezetési szakaszban a modell mozgatása mellett döntenek.

bevetés

A telepítési szakaszban az adatbányászati ​​felfedezéseket a mindennapi üzleti műveletekbe szállítja.

  • Az adatbányászati ​​folyamat során feltárt ismereteket vagy információkat könnyen érthetővé kell tenni a nem műszaki érdekelt felek számára.
  • Részletes telepítési terv a hajó számárapingLétrejön az adatbányászati ​​felfedezések karbantartása és monitorozása.
  • A projekt zárójelentése készül, amely tartalmazza a projekt során levont tanulságokat és kulcsfontosságú tapasztalatokat. Ez segít a szervezet üzletpolitikájának javításában.

A fenti modellezési fázis egy meghatározott technikák halmazára támaszkodik, amelyek mindegyike más típusú kérdéshez igazodik.

Adatbányászati ​​technikák

1. Osztályozás

Ez az elemzés fontos és releváns információk lekérésére szolgál az adatokról és a metaadatokról. Ez az adatbányászati ​​módszer segít az adatok osztályozásában különböző osztályokba.

2. ClusterING

ClusterAz elemzés az egymáshoz hasonló adatok azonosítására szolgáló adatbányászati ​​technika. Ez a folyamat segít megérteni az adatok közötti különbségeket és hasonlóságokat.

3. Regresszió

A regresszióanalízis a változók közötti kapcsolatok azonosításának és elemzésének adatbányászati ​​módszere. Egy adott változó valószínűségének azonosítására szolgál, tekintettel más változók jelenlétére.

4. Egyesületi szabályzat

Ez az adatbányászati ​​technika segít megtalálni a kapcsolatot két vagy több elem között. Rejtett mintát fedez fel az adatkészletben.

5. Kiugró értékek észlelése

Ez a fajta adatbányászati ​​technika az adathalmazban található olyan adatelemek megfigyelésére utal, amelyek nem felelnek meg a várt mintázatnak vagy viselkedésnek. Ez a technika számos területen alkalmazható, például behatolásérzékelésben, csalás- vagy hibaészlelésben stb. A kiugróérték-észlelést kiugróérték-elemzésnek vagy kiugróérték-bányászatnak is nevezik.

6. Szekvenciális minták

Ez az adatbányászati ​​technika segít felfedezni vagy azonosítani a hasonló mintákat vagy trendeket a tranzakciós adatokban bizonyos időszakra vonatkozóan.

7. Jóslás

Az előrejelzés az adatbányászat egyéb technikáinak kombinációját használta, például trendeket, szekvenciális mintákat, klaszterezést, osztályozást stb. A múltbeli eseményeket vagy példányokat megfelelő sorrendben elemzi a jövőbeli események előrejelzéséhez.

Descriptive vs. prediktív adatbányászat

A fenti hét technika két családba tartozik, és annak ismerete, hogy egy kérdés melyik családba tartozik, meghatározza, hogyan kell értelmezni az eredményt.

Descriptive adatbányászat összefoglalja a már megtörtént eseményeket. A meglévő adatokban keres struktúrát anélkül, hogy bármilyen célt kitűzne magára, ezért néha felügyelet nélkülinek is nevezik. ClusterAz asszociációs szabályok és a szekvenciális mintázatok ide tartoznak. Az, hogy egy szupermarket megtudja, hogy a pelenkát és a sört gyakran együtt vásárolják, leíró jellegű felfedezés: megmagyarázza a múltat, és az ember eldönti, mit tegyen ezzel kapcsolatban.

Prediktív adatbányászat Becsli, hogy mi fog történni ezután. Tanul olyan történelmi feljegyzésekből, ahol a válasz már ismert, majd ezt a tudást új feljegyzésekre alkalmazza, ezért nevezik felügyeltnek. Az osztályozás, a regresszió és az előrejelzés ide tartozik. Egy hitelkérelmező fizetésképtelenségi valószínűségének vagy valószínűségének besorolása egy prediktív megállapítás.

A megkülönböztetésből két gyakorlati következmény fakad.

  • Az érvényesítés eltérő: Egy prediktív modellt az ismert eredményekhez viszonyítva lehet pontosság szempontjából pontozni. Egy leíró eredményt nem, ezért az alapján ítélik meg, hogy érdekes és gyakorlatias-e.
  • Az adatkövetelmények eltérőek: A prediktív munkához címkézett historikus eredmény oszlopra van szükség. DescriptAz ive munka nem, ami a szokásos kiindulóponttá teszi, amikor egy vállalkozás rendelkezik adatokkal, de még nincs egyértelmű célja.

Az adatbányászat megvalósításának kihívásai

  • Az adatbányászati ​​lekérdezések megfogalmazásához képzett szakértőkre van szükség.
  • Túlillesztés: A kis méretű oktatási adatbázis miatt előfordulhat, hogy egy modell nem illeszkedik a jövőbeli állapotokhoz.
  • Az adatbányászat nagy adatbázisokat igényel, amelyeket néha nehéz kezelni
  • Előfordulhat, hogy az üzleti gyakorlatokat módosítani kell a feltárt információk felhasználásának eldöntéséhez.
  • Ha az adatkészlet nem változatos, előfordulhat, hogy az adatbányászati ​​eredmények nem pontosak.
  • A heterogén adatbázisokból és globális információs rendszerekből származó integrációs információk összetettek lehetnek

Adatbányászati ​​példák

Most ezen az adatbányászati ​​tanfolyamon példákkal ismerkedjünk meg az adatbányászattal:

Példa 1:

Vegyünk egy telekommunikációs szolgáltató marketingvezetőjét, aki növelni szeretné a távolsági hívások bevételeit. Az értékesítési és marketingtevékenységeinek magas megtérülése érdekében fontos az ügyfélprofilozás. Hatalmas ügyfélinformáció-készlettel rendelkezik, mint például az életkor, nem, jövedelem, hiteltörténet stb. Manuális elemzéssel azonban lehetetlen meghatározni a távolsági hívásokat preferáló emberek jellemzőit. Adatbányászati ​​technikák segítségével mintákat tárhat fel a sok távolsági hívással foglalkozó felhasználók és jellemzőik között.

Például megtudhatja, hogy legjobb vásárlói 45 és 54 év közötti házas nők, akik évente több mint 80,000 XNUMX dollárt keresnek. A marketing erőfeszítések az ilyen demográfiai csoportokra irányulhatnak.

Példa 2:

Egy bank új módszereket keres a hitelkártya-műveletekből származó bevételek növelésére. Azt szeretnék ellenőrizni, hogy a díjak felére csökkentése megduplázná-e a kártyahasználatot.

A bank több éves múltra visszatekintő adatokkal rendelkezik az átlagos hitelkártya-egyenlegekről, a kifizetések összegéről, a hitelkeret-felhasználásról és más kulcsfontosságú paraméterekről. Létrehoztak egy modellt a javasolt új üzletpolitika hatásának ellenőrzésére. Az adatok azt mutatják, hogy egy célzott ügyfélkör díjainak felére csökkentése 10 millió dollárral növelheti a bevételeket.

Adatbányászat vs. gépi tanulás

A két kifejezés erősen átfedésben van, és gyakran felcserélhetően használják őket, de különböző kérdésekre adnak választ. Az adatbányászat olyan mintázatok felfedezésére törekszik, amelyekről egy személy korábban nem tudott. A gépi tanulás egy olyan rendszer létrehozására törekszik, amely a beérkező adatok számával javítja saját előrejelzéseit.

A különbség pontja Data Mining Gépi tanulás
Fő cél Ismeretlen minták felfedezése a meglévő adatokban Készítsen egy modellt, amely új adatok alapján előrejelzi a helyzetet
Emberi részvétel Az elemző értelmezi a megállapításokat és cselekszik azok alapján Az algoritmus automatikusan alkalmazza a szabályt
adatmennyiség Egy meghatározott, historikus adathalmazon dolgozik Idővel javul, ahogy egyre több adat érkezik be
Tipikus teljesítmény Egy szabály, klaszter vagy asszociáció, amelyet egy személy el tud olvasni Egy betanított modell, amely pontszámot vagy osztályt ad vissza
Kapcsolat Az adatbányászat gyakran gépi tanulási algoritmusokat használ motorként

Röviden, a gépi tanulás az egyik eszköztár, amelyre az adatbányászat támaszkodik, és az egyszerű adatbányászat elvégezhető pusztán statisztikákkal.

Adatbányászati ​​eszközök

Az alábbiakban 2 népszerű Adatbányászati ​​eszközök széles körben használják az iparban

R-nyelv:

R nyelv egy nyílt forráskódú eszköz statisztikai számításokhoz és grafikákhoz. Az R számos statisztikai, klasszikus statisztikai teszttel, idősoros elemzéssel, osztályozással és grafikus technikákkal rendelkezik. Hatékony adatkezelési és tárolási lehetőséget kínál.

Tudjon meg többet itt

Oracle Adatbányászat:

Oracle Data Mining, közismertebb nevén ODM, a Oracle Speciális analitikai adatbázis, és mostantól a következő részeként kerül szállításra: Oracle Gépi tanulás. Ez az adatbányászati ​​eszköz lehetővé teszi az adatelemzők számára, hogy részletes elemzéseket generáljanak és előrejelzéseket tegyenek. Segít előre jelezni az ügyfelek viselkedését, ügyfélprofilokat fejleszteni és keresztértékesítési lehetőségeket azonosítani.

Tudjon meg többet itt

Az adatbányászat előnyei

  • Az adatbányászati ​​technika segít a vállalatoknak tudásalapú információkhoz jutni.
  • Az adatbányászat segíti a szervezeteket a működés és a termelés jövedelmező kiigazításában.
  • Az adatbányászat költséghatékony és hatékony megoldás a többi statisztikai adatalkalmazáshoz képest.
  • Az adatbányászat segíti a döntéshozatali folyamatot.
  • Lehetővé teszi a trendek és viselkedések automatikus előrejelzését, valamint a rejtett minták automatikus felfedezését.
  • Új rendszerekben és már meglévő platformokon is megvalósítható
  • Ez a gyors folyamat, amely megkönnyíti a felhasználók számára hatalmas mennyiségű adat elemzését rövidebb idő alatt.

Az adatbányászat hátrányai

  • Fennáll annak a veszélye, hogy a vállalatok hasznos információkat adnak el ügyfeleikről más szervezeteknek, ami jelentős adatvédelmi aggályokat vet fel.
  • Sok adatbányászati ​​elemző szoftvert nehéz működtetni, és előzetes képzést igényel.
  • A különböző adatbányászati ​​eszközök eltérő módon működnek a tervezésükben alkalmazott eltérő algoritmusok miatt. Ezért a megfelelő adatbányászati ​​eszköz kiválasztása nagyon nehéz feladat.
  • Az adatbányászati ​​technikák nem pontosak, így bizonyos körülmények között súlyos következményekkel járhat.

Adatbányászati ​​alkalmazások

Alkalmazási területek Használat
távközlés Az adatbányászati ​​technikákat a kommunikációs szektorban használják az ügyfelek viselkedésének előrejelzésére, hogy célzott és releváns kampányokat kínálhassanak.
Biztosítás Az adatbányászat segíti a biztosítótársaságokat abban, hogy termékeiket nyereségesen árazzák, és új ajánlatokat hirdessenek új vagy meglévő ügyfeleik számára.
Végzettség Az adatbányászat révén az oktatók hozzáférhetnek a tanulói adatokhoz, megjósolhatják a teljesítményszinteket, és megtalálhatják azokat a tanulókat vagy tanulócsoportokat, amelyekre külön figyelmet kell fordítani. Például olyan diákok, akik gyengék a matematika tantárgyból.
Gyártás Az adatbányászat segítségével a gyártók előre jelezhetik a termelési eszközök kopását és elhasználódását. Előre láthatják a karbantartást, ami segít minimalizálni az állásidőt.
Banking Az adatbányászat segíti a pénzügyi szektort a piaci kockázatok áttekintésében és a szabályozási megfelelés kezelésében. Segít a bankoknak azonosítani a valószínűsíthető nemteljesítőket, hogy eldöntsék, kibocsássanak-e hitelkártyát, kölcsönt stb.
Kiskereskedelem Az adatbányászati ​​technikák segítenek a bevásárlóközpontoknak és az élelmiszerboltoknak azonosítani és a legmegfelelőbb pozíciókban elhelyezni a legkelendőbb termékeket. Segítenek az üzlettulajdonosoknak olyan ajánlatokkal előállni, amelyek arra ösztönzik a vásárlókat, hogy növeljék a vásárlásaikat.
Szolgáltatók Az olyan szolgáltatók, mint a mobiltelefon- és közüzemi iparágak, az adatbányászatot használják annak előrejelzésére, hogy az ügyfél miért hagyja el a céget. Elemezik a számlázási részleteket, az ügyfélszolgálati interakciókat, a vállalathoz intézett panaszokat, hogy minden ügyfélhez hozzárendeljenek egy valószínűségi pontszámot, és ösztönzőket kínálnak.
E-commerce Az e-kereskedelmi webhelyek az adatbányászatot használják arra, hogy keresztértékesítést és felárértékesítést kínáljanak webhelyeiken keresztül. Az egyik leghíresebb név az Amazon, akik adatbányászati ​​technikákat alkalmaznak, hogy több ügyfelet vonzanak be e-kereskedelmi üzletükbe.
Szuper piacok Az adatbányászat lehetővé teszi a szupermarketek számára, hogy szabályokat dolgozzanak ki annak előrejelzésére, hogy a vásárlóik valószínűleg terhesek-e. A vásárlási szokások kiértékelésével olyan női vásárlókat találhatnak, akik a legnagyobb valószínűséggel terhesek. Olyan termékeket kezdhetnek el célzottan vásárolni, mint a babahintőpor, babaszappan, pelenkák és így tovább.
Bűnügyi nyomozás Az adatbányászat segít a bűnügyi nyomozó ügynökségeknek rendőri munkaerő bevetésében (hol és mikor történik a legvalószínűbb a bűncselekmény), kit kereshetnek a határátkelőhelyen stb.
bioinformatikai Az adatbányászat segít bányászni a biológiai adatokat a biológiában és az orvostudományban összegyűjtött hatalmas adatkészletekből.

GYIK

Nem egészen. Az adatbázisokban a tudásfeltárás az egész folyamat, a szelekciótól és tisztítástól az értelmezésig. Az adatbányászat a mintakeresési lépés benne, bár a két elnevezést ma már felcserélhetően használják a gyakorlatban.

SQL példáultracadatgyűjtés, statisztikák egy minta valósságának megítélésére, egy nyelv, például az R vagy Python, és az üzleti terület ismeretét. A kommunikáció ugyanilyen fontos, mivel az eredményeknek meg kell győzniük a nem műszaki érdekelt feleket is.

Akkor legális az adatgyűjtés és -felhasználás, ha az jogszerűen történik. Az olyan szabályozások, mint a GDPR, jogalapot, célhoz kötöttséget és gyakran anonimizálást írnak elő, így a személyes azonosítókat általában eltávolítják az adatbányászat megkezdése előtt.

Lerövidíti a leglassabb lépéseket. A mesterséges intelligencia asszisztensei például írnak.traclekérdezéseket, tisztítási szabályokat javasol, és a modell közérthető nyelvű magyarázatait fogalmazza meg az érdekelt felek számára. Az elemző továbbra is megfogalmazza az üzleti kérdést, és validálja az összes eredményt.

Igen, kiindulópontként. Írd le az adatokat és a kérdést, és egy MI-asszisztens osztályozást, klaszterezést vagy regressziót javasol, és elmagyarázza, miért. Erősítsd meg a választást egy kihagyott mintával szemben, mielőtt arra hagyatkoznál.

Foglald össze ezt a bejegyzést a következőképpen: