Veri Madenciliği Eğitimi: Veri Madenciliği Nedir? Teknikler, Süreç

Veri Madenciliği nedir?

Veri Madenciliği büyük veri kümelerinden potansiyel olarak yararlı modeller bulma sürecidir. kullanan multi-disipliner bir beceridir. makine öğrenmeİstatistik ve yapay zekayı kullanaraktracVeri madenciliği, gelecekteki olayların olasılığını değerlendirmek için bilgi sağlar. Veri madenciliğinden elde edilen bilgiler pazarlama, dolandırıcılık tespiti, bilimsel keşifler vb. alanlarda kullanılır.

Veri madenciliği, veriler arasında gizli, beklenmedik ve daha önce bilinmeyen ancak geçerli ilişkileri keşfetmekle ilgilidir. Veri madenciliğine ayrıca Verilerde Bilgi Keşfi (KDD) veya Bilgi Analizi de denir.tracveri/örüntü analizi, bilgi toplama vb.

Veri Türleri

Veri madenciliği aşağıdaki veri türleri üzerinde gerçekleştirilebilir:

• İlişkisel veritabanları
• Veri depoları
• Gelişmiş veritabanı ve bilgi havuzları
• Nesne yönelimli ve nesne ilişkisel veritabanları
• İşlemsel ve Mekansal veritabanları
• Heterojen ve eski veritabanları
• Multimedya ve akış veritabanı
• Metin veritabanları
• Metin madenciliği ve Web madenciliği

Kaynak ne olursa olsun, aynı disiplinli aşamalar dizisi, ham verileri kullanılabilir bir modele dönüştürür.

Veri Madenciliği Uygulama Süreci

Veri Madenciliği uygulama sürecini detaylı olarak inceleyelim

İş anlayışı

Bu aşamada iş ve veri madenciliği hedefleri belirlenir.

• Öncelikle iş ve müşteri hedeflerini anlamanız gerekir. Müşterinizin ne istediğini tanımlamanız gerekir (ki çoğu zaman onlar bile bunu bilmezler)
• Mevcut veri madenciliği senaryosunu değerlendirin. Değerlendirmenizde kaynakları, varsayımları, kısıtlamaları ve diğer önemli faktörleri hesaba katın.
• İş hedeflerini ve mevcut senaryoyu kullanarak veri madenciliği hedeflerinizi tanımlayın.
• İyi bir veri madenciliği planı çok ayrıntılıdır ve hem iş hem de veri madenciliği hedeflerini gerçekleştirmek için geliştirilmelidir.

Veri anlayışı

Bu aşamada, verilerin veri madenciliği hedeflerine uygun olup olmadığını kontrol etmek için bir doğrulama işlemi gerçekleştirilir.

• Öncelikle, kuruluşta bulunan birden fazla veri kaynağından veri toplanır.
• Bu veri kaynakları birden fazla veritabanı, düz dosya veya veri küpü içerebilir. Veri entegrasyonu sürecinde nesne eşleştirme ve şema entegrasyonu gibi sorunlar ortaya çıkabilir. Çeşitli kaynaklardan gelen verilerin kolayca eşleşmesi mümkün olmadığından, bu oldukça karmaşık ve zorlu bir süreçtir. Örneğin, A tablosu cust_no adlı bir varlık içerirken, B tablosu cust-id adlı bir varlık içerir.
• Dolayısıyla verilen bu nesnelerin her ikisinin de aynı değere atıfta bulunup bulunmadığından emin olmak oldukça zordur. Burada veri entegrasyon sürecindeki hataları azaltmak için Meta Veri kullanılmalıdır.
• Sonraki adım, elde edilen verilerin özelliklerini aramaktır. Verileri keşfetmenin iyi bir yolu, veri madenciliği sorularını (iş aşamasında kararlaştırılan) sorgulama, raporlama ve görselleştirme araçlarını kullanarak yanıtlamaktır.
• Sorgu sonuçlarına göre veri kalitesi belirlenmelidir. Varsa eksik veriler tamamlanmalıdır.

Veri Hazırlama

Bu aşamada veriler üretime hazır hale getirilir.

Veri hazırlığı genellikle en uzun aşamadır ve toplam çalışmanın %60 ila %80'ini oluşturduğu sıklıkla belirtilir.

Farklı kaynaklardan elde edilen veriler seçilmeli, temizlenmeli, dönüştürülmeli, biçimlendirilmeli, anonimleştirilmeli ve (gerekirse) oluşturulmalıdır.

Veri temizleme, gürültülü verileri yumuşatarak ve eksik değerleri doldurarak verileri "temizleme" işlemidir.

Örneğin, bir müşteri demografik profili için yaş verileri eksik. Veriler eksik ve doldurulması gerekiyor. Bazı durumlarda verilerde aykırı değerler olabilir. Örneğin, yaş 300 değerine sahiptir. Veriler tutarsız olabilir. Örneğin farklı tablolarda müşterinin adı farklı.

Veri dönüştürme işlemleri, veriyi veri madenciliğinde kullanılabilir hale getirmek için değiştirir. Aşağıdaki dönüşümler uygulanabilir.

Veri dönüşümü

Veri dönüştürme işlemleri madencilik sürecinin başarısına katkıda bulunacaktır.

yumuşatma: Verilerdeki gürültüyü gidermeye yardımcı olur.

Toplama: Verilere özetleme veya toplama işlemleri uygulanır. Yani haftalık satış verileri toplanarak aylık ve yıllık toplam hesaplanır.

genelleme: Bu adımda, kavram hiyerarşileri yardımıyla düşük seviyeli veriler daha yüksek seviyeli kavramlarla değiştirilir. Örneğin, şehir yerine eyalet veya ülke kullanılır.

normalleştirme: Nitelik verileri ölçeklendirildiğinde veya küçültüldüğünde normalizasyon işlemi gerçekleştirilir. Örnek: Normalizasyon sonrasında verilerin -2.0 ile 2.0 aralığında olması gerekir.

Özellik yapısıBu özellikler, veri madenciliği için faydalı olan belirli özellik kümesini içerecek şekilde oluşturulmuştur.

Bu sürecin sonucunda modellemede kullanılabilecek nihai bir veri seti elde edilir.

Modelleme

Bu aşamada veri örüntülerini belirlemek için matematiksel modeller kullanılır.

• İş hedeflerine göre hazırlanan veri seti için uygun modelleme teknikleri seçilmelidir.
• Modelin kalitesini ve geçerliliğini test etmek için bir senaryo oluşturun.
• Modeli hazırlanan veri kümesi üzerinde çalıştırın.
• Modelin veri madenciliği hedeflerini karşılayabildiğinden emin olmak için sonuçlar tüm paydaşlar tarafından değerlendirilmelidir.

Değerlendirme

Bu aşamada belirlenen modeller iş hedeflerine göre değerlendirilir.

• Veri madenciliği modelinin ürettiği sonuçlar iş hedeflerine göre değerlendirilmelidir.
• İş anlayışını kazanmak yinelenen bir süreçtir. Aslında anlarken veri madenciliği nedeniyle yeni iş gereksinimleri ortaya çıkabilir.
• Dağıtım aşamasında modeli taşımak için git veya gitme kararı alınır.

açılma

Dağıtım aşamasında, veri madenciliği keşiflerinizi günlük iş operasyonlarına gönderirsiniz.

• Veri madenciliği süreci sırasında keşfedilen bilgi veya bilgilerin teknik olmayan paydaşlar için anlaşılması kolay hale getirilmelidir.
• Gemi için detaylı bir konuşlandırma planı.pingVeri madenciliği keşiflerinin bakımı ve izlenmesi için bir sistem oluşturulmuştur.
• Proje sırasında öğrenilen dersler ve önemli deneyimler ile nihai bir proje raporu oluşturulur. Bu, kuruluşun iş politikasının geliştirilmesine yardımcı olur.

Yukarıdaki modelleme aşaması, her biri farklı bir soru türüne uygun olan tanımlanmış bir dizi tekniğe dayanmaktadır.

Veri Madenciliği Teknikleri

1. Sınıflandırma

Bu analiz, veriler ve meta veriler hakkında önemli ve ilgili bilgileri almak için kullanılır. Bu veri madenciliği yöntemi, verilerin farklı sınıflarda sınıflandırılmasına yardımcı olur.

2. Clustering

ClusterAnaliz, birbirine benzeyen verileri tanımlamaya yönelik bir veri madenciliği tekniğidir. Bu süreç veriler arasındaki farklılıkların ve benzerliklerin anlaşılmasına yardımcı olur.

3. Regresyon

Regresyon analizi, değişkenler arasındaki ilişkinin belirlenmesi ve analiz edilmesi için kullanılan veri madenciliği yöntemidir. Başka değişkenlerin varlığı göz önüne alındığında, belirli bir değişkenin olasılığını belirlemek için kullanılır.

4. Birliktelik Kuralları

Bu veri madenciliği tekniği, iki veya daha fazla Öğe arasındaki ilişkiyi bulmaya yardımcı olur. Veri kümesindeki gizli bir modeli keşfeder.

5. Aykırı Değer Tespiti

Bu tür veri madenciliği tekniği, veri kümesindeki beklenen bir kalıba veya beklenen davranışa uymayan veri öğelerinin gözlemlenmesini ifade eder. Bu teknik, sızma tespiti, dolandırıcılık veya hata tespiti gibi çeşitli alanlarda kullanılabilir. Aykırı değer tespiti, Aykırı Değer Analizi veya Aykırı Değer Madenciliği olarak da adlandırılır.

6. Sıralı Desenler

Bu veri madenciliği tekniği, belirli bir süre için işlem verilerindeki benzer kalıpları veya eğilimleri keşfetmeye veya tanımlamaya yardımcı olur.

7. Tahmin

Tahmin, eğilimler, sıralı modeller, kümeleme, sınıflandırma vb. gibi diğer veri madenciliği tekniklerinin bir kombinasyonunu kullanmıştır. Gelecekteki bir olayı tahmin etmek için geçmiş olayları veya örnekleri doğru bir sırayla analiz eder.

DescriptVeri Madenciliği ve Tahmine Dayalı Veri Madenciliği

Yukarıda bahsedilen yedi teknik iki gruba ayrılır ve bir sorunun hangi gruba ait olduğunu bilmek, sonucun nasıl yorumlanması gerektiğine karar verir.

Descriptcanlı veri madenciliği Daha önce olanları özetler. Hedef belirleme amacı gütmeden mevcut veriler içinde yapı arar; bu nedenle bazen denetimsiz öğrenme olarak da adlandırılır. Clusterİlişkilendirme kuralları ve sıralı örüntüler buraya aittir. Bir süpermarketin bebek bezleri ve biranın sıklıkla birlikte satın alındığını öğrenmesi, tanımlayıcı bir bulgudur: geçmişi açıklar ve insan bununla ilgili ne yapacağına karar verir.

Tahmine dayalı veri madenciliği Bir sonraki adımda ne olacağını tahmin eder. Cevabın zaten bilindiği geçmiş kayıtlardan öğrenir, ardından bu öğrenmeyi yeni kayıtlara uygular; bu nedenle denetimli öğrenme olarak adlandırılır. Sınıflandırma, regresyon ve tahmin buraya girer. Bir kredi başvurusunda bulunan kişinin temerrüde düşme olasılığının yüksek veya düşük olduğunu puanlamak, tahmine dayalı bir bulgudur.

Bu ayrımın iki pratik sonucu ortaya çıkmaktadır.

• Doğrulama yöntemleri farklılık gösterir: Tahminleyici bir modelin doğruluğu, bilinen sonuçlara göre puanlanabilir. Tanımlayıcı bir sonuç ise puanlanamaz; bu nedenle ilginç ve uygulanabilir olup olmadığına göre değerlendirilir.
• Veri gereksinimleri farklılık gösterir: Tahminleme çalışmaları, etiketlenmiş bir geçmiş sonuç sütununa ihtiyaç duyar. DescriptVeri analizi böyle değildir; bu nedenle, bir işletmenin verileri olmasına rağmen henüz net bir hedefi olmadığında genellikle başlangıç ​​noktası olarak kullanılır.

Veri Madenciliğinin Uygulanmasındaki Zorluklar

• Veri madenciliği sorgularını formüle etmek için Nitelikli Uzmanlara ihtiyaç vardır.
• Aşırı Uyum: Eğitim veri tabanının küçük olması nedeniyle bir model gelecekteki durumlara uymayabilir.
• Veri madenciliği bazen yönetilmesi zor olan büyük veritabanlarına ihtiyaç duyar
• Ortaya çıkan bilgilerin kullanılmasının belirlenmesi için iş uygulamalarının değiştirilmesi gerekebilir.
• Veri seti çeşitli değilse veri madenciliği sonuçları doğru olmayabilir.
• Heterojen veri tabanlarından ve küresel bilgi sistemlerinden ihtiyaç duyulan entegrasyon bilgileri karmaşık olabilir

Veri Madenciliği Örnekleri

Şimdi bu Veri Madenciliği kursunda Veri madenciliği hakkında örneklerle bilgi edelim:

Örnek 1:

Telekomünikasyon hizmeti sağlayıcısının pazarlama müdürünü ele alalım; uzun mesafeli aramaların gelirini artırmak istiyor. Satış ve pazarlama çabalarında yüksek yatırım getirisi (ROI) elde etmek için müşteri profillemesi önemlidir. Yaş, cinsiyet, gelir, kredi geçmişi vb. gibi geniş bir müşteri bilgisi veri havuzuna sahiptir. Ancak uzun mesafeli aramaları tercih eden kişilerin özelliklerini manuel analizle belirlemek imkansızdır. Veri madenciliği tekniklerini kullanarak, uzun mesafeli aramaları yoğun kullanan kişiler ile özellikleri arasındaki kalıpları ortaya çıkarabilir.

Örneğin, en iyi müşterilerinin yılda 45 dolardan fazla kazanan, 54 ila 80,000 yaş arası evli kadınlar olduğunu öğrenebilir. Pazarlama çabaları bu tür demografiyi hedefleyebilir.

Örnek 2:

Bir banka, kredi kartı işlemlerinden elde ettiği gelirleri artırmanın yeni yollarını arıyor. Ücretlerin yarıya indirilmesi durumunda kullanımın iki katına çıkıp çıkmayacağını kontrol etmek istiyorlar.

Bankanın ortalama kredi kartı bakiyeleri, ödeme tutarları, kredi limiti kullanımı ve diğer önemli parametrelere ilişkin uzun yıllara dayanan kayıtları bulunmaktadır. Önerilen yeni iş politikasının etkisini kontrol etmek için bir model oluşturmuşlardır. Veri sonuçları, hedef müşteri tabanı için ücretlerin yarıya indirilmesinin gelirleri 10 milyon dolar artırabileceğini göstermektedir.

Veri Madenciliği ve Makine Öğrenimi Karşılaştırması

Bu iki terim büyük ölçüde örtüşmekte ve sıklıkla birbirinin yerine kullanılmaktadır, ancak farklı sorulara cevap vermektedirler. Veri madenciliği, bir kişinin daha önce bilmediği bir örüntüyü keşfetmeyi amaçlar. Makine öğrenimi ise, daha fazla veri geldikçe kendi tahminlerini geliştiren bir sistem oluşturmayı amaçlar.

Fark noktası	Veri Madenciliği	Makine öğrenmesi
Ana hedef	Mevcut verilerdeki bilinmeyen kalıpları keşfedin	Yeni verilere dayanarak tahmin yapabilen bir model oluşturun.
İnsan katılımı	Analist, bulguyu yorumlar ve buna göre hareket eder.	Algoritma kuralı otomatik olarak uygular.
veri hacmi	Belirli, tarihsel bir veri kümesi üzerinde çalışır.	Zamanla daha fazla veri sağlandıkça iyileşme gösterir.
Tipik çıktı	Bir kişinin anlayabileceği bir kural, küme veya ilişki.	Puan veya sınıf döndüren eğitilmiş bir model.
ilişki	Veri madenciliği sıklıkla makine öğrenimi algoritmalarını temel motor olarak kullanır.

Özetle, makine öğrenimi, veri madenciliğinin dayandığı araç setlerinden biridir ve basit veri madenciliği yalnızca istatistiklerle de yapılabilir.

Veri Madenciliği Araçları

Aşağıda 2 popüler Veri Madenciliği Araçları Endüstride yaygın olarak kullanılır

R dili:

R dili istatistiksel hesaplama ve grafikler için açık kaynaklı bir araçtır. R, çok çeşitli istatistiksel, klasik istatistiksel testler, zaman serisi analizi, sınıflandırma ve grafik tekniklerine sahiptir. Etkili veri işleme ve depolama olanağı sunar.

Daha fazlasını öğrenin

Oracle Veri madenciliği:

Oracle Veri MadenciliğiODM olarak bilinen bu modül, Oracle Gelişmiş Analitik Veritabanı artık aşağıdakilerin bir parçası olarak sunulmaktadır: Oracle Makine Öğrenimi. Bu veri madenciliği aracı, veri analistlerinin ayrıntılı bilgiler üretmesine ve tahminlerde bulunmasına olanak tanır. Müşteri davranışlarını tahmin etmeye, müşteri profilleri geliştirmeye ve çapraz satış fırsatlarını belirlemeye yardımcı olur.

Daha fazlasını öğrenin

Veri Madenciliğinin Faydaları

• Veri madenciliği tekniği şirketlerin bilgiye dayalı bilgi edinmelerine yardımcı olur.
• Veri madenciliği, kuruluşların operasyon ve üretimde karlı ayarlamalar yapmasına yardımcı olur.
• Veri madenciliği diğer istatistiksel veri uygulamalarına göre uygun maliyetli ve verimli bir çözümdür.
• Veri madenciliği karar verme sürecine yardımcı olur.
• Trendlerin ve davranışların otomatik olarak tahmin edilmesinin yanı sıra gizli kalıpların otomatik olarak keşfedilmesini de kolaylaştırır.
• Mevcut platformların yanı sıra yeni sistemlerde de uygulanabilmektedir.
• Kullanıcıların büyük miktarda veriyi daha kısa sürede analiz etmesini kolaylaştıran hızlı süreçtir.

Veri Madenciliğinin Dezavantajları

• Şirketlerin müşterileriyle ilgili faydalı bilgileri diğer kuruluşlara satma riski vardır ve bu durum önemli gizlilik endişelerine yol açmaktadır.
• Çoğu veri madenciliği analiz yazılımının çalıştırılması zordur ve üzerinde çalışmak için ileri düzeyde eğitim gerekir.
• Farklı veri madenciliği araçları, tasarımlarında kullanılan farklı algoritmalar nedeniyle farklı şekillerde çalışır. Bu nedenle doğru veri madenciliği aracının seçimi oldukça zor bir iştir.
• Veri madenciliği teknikleri doğru değildir ve bu nedenle bazı durumlarda ciddi sonuçlara neden olabilir.

Veri Madenciliği Uygulamaları

Başvurular	kullanım
İletişim	İletişim sektöründe veri madenciliği teknikleri, müşteri davranışlarını tahmin ederek son derece hedefli ve alakalı kampanyalar sunmak için kullanılır.
Sigorta	Veri madenciliği, sigorta şirketlerinin ürünlerini karlı bir şekilde fiyatlandırmalarına ve yeni veya mevcut müşterilerine yeni teklifler sunmalarına yardımcı olur.
Eğitim	Veri madenciliği eğitimcilere öğrenci verilerine erişme, başarı düzeylerini tahmin etme ve ekstra ilgi gerektiren öğrencileri veya öğrenci gruplarını bulma konusunda fayda sağlar. Örneğin matematik konusunda zayıf olan öğrenciler.
Üretim	Veri madenciliği sayesinde üreticiler, üretim ekipmanlarının aşınma ve yıpranmasını tahmin edebilirler. Bakım ihtiyaçlarını önceden belirleyerek arıza sürelerini en aza indirebilirler.
Bankacılık	Veri madenciliği, finans sektörünün piyasa risklerini görmesine ve mevzuat uyumluluğunu yönetmesine yardımcı olur. Bankaların, kredi kartı, kredi vb. ihraç edip etmeyeceklerine karar vermeleri için olası temerrüde düşenleri tespit etmelerine yardımcı olur.
Perakende	Veri madenciliği teknikleri, perakende alışveriş merkezleri ve marketlerin en çok satılan ürünleri en dikkat çekici yerlere yerleştirmelerine yardımcı olur. Mağaza sahiplerinin, müşterileri harcamalarını artırmaya teşvik eden teklifler geliştirmelerine olanak tanır.
Servis Sağlayıcıları	Mobil telefon ve kamu hizmetleri endüstrileri gibi hizmet sağlayıcılar, bir müşterinin şirketlerinden ayrılma nedenlerini tahmin etmek için Veri Madenciliğini kullanır. Fatura ayrıntılarını, müşteri hizmetleri etkileşimlerini, şirkete yapılan şikayetleri analiz ederek her müşteriye bir olasılık puanı atar ve teşvikler sunar.
E-ticaret	E-ticaret web siteleri, web siteleri aracılığıyla çapraz satış ve üst satış sunmak için Veri Madenciliği'ni kullanır. En ünlü isimlerden biri Amazone-Ticaret mağazalarına daha fazla müşteri çekmek için Veri madenciliği tekniklerini kullananlar.
Süper Marketler	Veri madenciliği, süpermarketlerin müşterilerinin hamile olup olmadığını tahmin etmek için kurallar geliştirmesine olanak tanır. Satın alma alışkanlıklarını değerlendirerek, hamile olma olasılığı en yüksek olan kadın müşterileri bulabilirler. Bebek pudrası, bebek sabunu, bebek bezi vb. ürünleri hedeflemeye başlayabilirler.
Suç Soruşturması	Veri Madenciliği, suç soruşturma kurumlarının polis işgücünü görevlendirmesine (suçun meydana gelme olasılığı en yüksek olan yer ve ne zaman?), sınır geçişinde kimin aranacağı vb. konularda yardımcı olur.
Biyoinformatik	Veri Madenciliği, biyoloji ve tıpta toplanan devasa veri kümelerinden biyolojik verilerin çıkarılmasına yardımcı olur.

SSS