Yeni Başlayanlar İçin Makine Öğrenimi Eğitimi: ML'nin Temelleri Nedir?
Editoryal Takım
⚡ Akıllı Özet
Makine öğrenimi, açıkça kodlanmak yerine örneklerden yola çıkarak gelişen, verileri istatistiksel araçlarla birleştirerek insanların eyleme dönüştürülebilir kararlar alabileceği çıktılar tahmin eden bir bilgisayar algoritmaları ailesidir.
Makine Öğrenmesi Nedir?
Makine öğrenmesi Makine öğrenimi, bir programcı tarafından açıkça kodlanmadan, kendi kendini geliştirerek örneklerden öğrenebilen bir bilgisayar algoritmaları sistemidir. yapay zeka Bu, verileri istatistiksel araçlarla birleştirerek, eyleme dönüştürülebilir içgörüler oluşturmak için kullanılabilecek bir çıktıyı tahmin etmeyi sağlar.
Bu atılım, bir makinenin doğru sonuçlar üretmek için verilerden (yani örneklerden) kendi başına öğrenebileceği fikriyle ortaya çıkmıştır. Makine öğrenimi yakından ilişkilidir. veri madenciliği ve Bayesçi tahmin modellemesi. Makine, girdi olarak veri alır ve yanıtları formüle etmek için bir algoritma kullanır.
Tipik bir makine öğrenimi görevi, öneri sunmaktır. Bu, şu özelliklere sahip olanlar için geçerlidir: Netflix Hesap üzerinden yapılan tüm film veya dizi önerileri, kullanıcının geçmiş verilerine dayanmaktadır. Teknoloji şirketleri bunu kullanır. denetimsiz öğrenme Kullanıcı deneyimini iyileştirmek için önerileri kişiselleştirmek.
Makine öğrenimi ayrıca dolandırıcılık tespiti, öngörücü bakım, portföy optimizasyonu ve görev otomasyonu gibi çeşitli işlerde de kullanılmaktadır.
Makine Öğrenimi ve Geleneksel Programlama
Geleneksel programlama, makine öğreniminden önemli ölçüde farklıdır. Geleneksel programlamada, bir programcı, yazılımın geliştirildiği sektördeki bir uzmanla istişare ederek tüm kuralları kodlar. Her kural mantıksal bir temele dayanır; makine, mantıksal ifadeyi izleyerek bir çıktı üretir. Sistem karmaşıklaştıkça, daha fazla kural yazılması gerekir ve bu durum hızla sürdürülemez hale gelebilir. Aşağıdaki diyagram, verilerin ve elle yazılmış kuralların girdiği ve cevapların çıktığı bu akışı göstermektedir.
Makine öğrenimi bu sorunun üstesinden gelmeyi amaçlar. Makine, girdi ve çıktı verilerinin nasıl ilişkili olduğunu öğrenir ve kuralı kendisi yazar. Programcıların her yeni veri olduğunda yeni kurallar yazmasına gerek kalmaz. Algoritmalar, zaman içinde verimliliği artırmak için yeni verilere ve deneyime yanıt olarak uyum sağlar. İkinci diyagram, birincisinin tersini gösterir: veriler ve bilinen cevaplar girer ve kural çıkar.
Makine Öğrenimi Nasıl Çalışır?
Bu karşıtlık göz önünde bulundurulduğunda, bir sonraki soru öğrenme aşamasında aslında ne olduğudur.
Makine öğrenimi, tüm öğrenmenin gerçekleştiği beyindir. Makinenin öğrenme şekli, bir insanın öğrenme şekline benzer. İnsanlar deneyimden öğrenir: Ne kadar çok şey bilirsek, o kadar kolay tahmin edebiliriz. Benzetme yoluyla, bilinmeyen bir durumla karşılaştığımızda, başarı olasılığı bilinen bir duruma göre daha düşüktür. Makineler de aynı şekilde eğitilir. Doğru bir tahmin yapmak için makine bir örnek görür. Makineye benzer bir örnek verdiğimizde, sonucu anlayabilir. Ancak, tıpkı bir insan gibi, daha önce görülmemiş bir örnekle beslenirse, makine tahmin etmekte zorlanır.
Makine öğreniminin temel amaçları öğrenme ve çıkarımdır. Her şeyden önce, makine kalıpların keşfi yoluyla öğrenir ve bu keşif veriler sayesinde mümkün olur. Veri bilimcisinin işinin en önemli kısımlarından biri, makineye hangi verileri sağlayacağını dikkatlice seçmektir. Bir problemi çözmek için kullanılan özellikler listesine veri kümesi denir. özellik vektörüÖzellik vektörünü, bir problemi çözmek için kullanılan veri kümesinin bir alt kümesi olarak düşünebilirsiniz.
Makine, gerçekliği basitleştirmek ve bu keşfi bir modele dönüştürmek için algoritmalar kullanır. Bu nedenle öğrenme aşaması, aşağıda gösterildiği gibi verileri tanımlamak ve bir modelde özetlemek için kullanılır.
Örneğin, makine bir bireyin maaşı ile lüks bir restorana gitme olasılığı arasındaki ilişkiyi anlamaya çalışıyor. Makine, maaş ile lüks bir restorana gitme arasında pozitif bir ilişki buluyor: bu da modeldir.
Çıkarım yapma
Model oluşturulduktan sonra, daha önce hiç görülmemiş veriler üzerinde ne kadar güçlü olduğunu test etmek mümkündür. Yeni veriler bir özellik vektörüne dönüştürülür, modelden geçirilir ve bir tahmin verir. Makine öğrenmesinin değerli kısmı işte buradadır. Kuralları güncellemeye veya modeli yeniden eğitmeye gerek yoktur; aşağıdaki diyagramda gösterildiği gibi, daha önce eğitilmiş modeli yeni veriler üzerinde çıkarım yapmak için kullanabilirsiniz.
Makine öğrenimi programının yaşam döngüsü basittir ve aşağıdaki noktalarda özetlenebilir:
- Bir soru tanımlayın
- Veri topla
- Verileri görselleştirin
- Tren algoritması
- Algoritmayı test edin
- Geri bildirim toplayın
- Algoritmayı geliştirin
- Sonuçlar tatmin edici olana kadar 4 ila 7 arasındaki adımları tekrarlayın.
- Tahmin yapmak için modeli kullanma
Algoritma doğru sonuçları çıkarmada iyi hale geldiğinde, bu bilgiyi yeni veri kümelerine uygular.
Makine öğrenmesi Algorithms ve Nerede Kullanılırlar?
Aşağıdaki tablo, en yaygın algoritmaları çözdükleri görev türüne göre gruplandırmaktadır.
Makine öğrenimi, iki ana öğrenme görevi altında gruplandırılabilir: denetimli hem de denetimsizBunların arasında ve ötesinde iki farklı öğrenme ailesi daha yer alıyor: küçük bir etiketli veri kümesini büyük bir etiketsiz veri kümesiyle karıştıran yarı denetimli öğrenme ve takviye öğrenmeBurada ajan, etiketlenmiş cevaplardan ziyade ödüllerden öğrenir.
Denetimli öğrenme
Bir algoritma, verilen girdiler ile verilen çıktı arasındaki ilişkiyi öğrenmek için eğitim verilerini ve insanlardan gelen geri bildirimleri kullanır. Örneğin, bir uzman, konserve satışlarını tahmin etmek için pazarlama giderlerini ve hava tahminini girdi verisi olarak kullanabilir.
Sen kullanabilirsiniz denetimli öğrenme Çıktı verileri bilindiğinde algoritma çalışır. Daha sonra yeni veriler üzerinde tahmin yapar.
Denetimli öğrenmenin iki kategorisi vardır:
- Sınıflandırma görevi
- Regresyon görevi
Sınıflandırma
Bir reklam için bir müşterinin cinsiyetini tahmin etmek istediğinizi hayal edin. Müşteri veritabanınızdan boy, kilo, meslek, maaş, alışveriş sepeti vb. verileri toplayarak başlayacaksınız. Her müşterinizin cinsiyetini biliyorsunuz ve bu sadece erkek veya kadın olabilir. Sınıflandırıcının amacı, topladığınız bilgilere (yani özelliklere) dayanarak erkek veya kadın olma olasılığını (yani etiketi) atamaktır. Model erkek veya kadını nasıl tanıyacağını öğrendikten sonra, tahmin yapmak için yeni veriler kullanabilirsiniz. Örneğin, bilinmeyen bir müşteriden yeni bilgiler aldınız ve müşterinin erkek mi yoksa kadın mı olduğunu bilmek istiyorsunuz. Sınıflandırıcı erkek = %70 tahmininde bulunursa, bu algoritmanın bu müşterinin erkek olma olasılığının %70, kadın olma olasılığının ise %30 olduğu anlamına gelir.
Bir etiket iki veya daha fazla sınıfa sahip olabilir. Yukarıdaki makine öğrenimi örneğinde yalnızca iki sınıf var, ancak bir sınıflandırıcının nesneleri tahmin etmesi gerekiyorsa, düzinelerce sınıfa sahip olabilir (örneğin, cam, masa, ayakkabı - her nesne bir sınıfı temsil eder).
Gerileme
Çıktı sürekli bir değer olduğunda, görev bir regresyondur. Örneğin, bir finansal analist, öz sermaye, önceki hisse senedi performansı ve makroekonomik endeksler gibi bir dizi özelliğe dayanarak bir hisse senedinin değerini tahmin etmesi gerekebilir. Sistem, hisse senedinin fiyatını mümkün olan en düşük hata ile tahmin etmek üzere eğitilecektir.
Aşağıdaki tabloda, en sık karşılaşacağınız denetimli öğrenme algoritmaları ve her birinin uygun olduğu görevler listelenmiştir.
| Algoritma | Açıklama | Menşei |
|---|---|---|
| Doğrusal regresyon | Gelecekteki değerleri tahmin etmeye yardımcı olmak için her özelliği çıktıyla ilişkilendirmenin bir yolunu bulur. | Gerileme |
| Lojistik regresyon | Sınıflandırma görevlerinde kullanılan doğrusal regresyonun bir uzantısıdır. Çıktı değişkeni sürekli (örneğin, sonsuz sayıda olası renk listesi) yerine ikili (örneğin, yalnızca siyah veya beyaz) bir değerdir. | Sınıflandırma |
| Karar ağacı | Nihai karar çıktısı alınana kadar veri-özellik değerlerini karar düğümlerinde dallara bölen (örneğin, bir özellik bir renkse, olası her renk yeni bir dal olur) yüksek derecede yorumlanabilir sınıflandırma veya regresyon modeli | Gerileme Sınıflandırma |
| Naif bayanlar | Bayes yöntemi, Bayes teoremini kullanan bir sınıflandırma yöntemidir. Teorem, bir olaya ilişkin ön bilgiyi, olayı etkileyebilecek her özelliğin bağımsız olasılığıyla günceller. | Gerileme Sınıflandırma |
| Destek vektör makinesi | Destek Vektör Makinesi (SVM), genellikle sınıflandırma görevi için kullanılır. SVM algoritması, sınıfları en iyi şekilde bölen bir hiper düzlem bulur. Doğrusal olmayan bir çözücü ile birlikte kullanılması en iyisidir. | Regresyon (çok yaygın değil) Sınıflandırma |
| Rastgele orman | Algoritma, doğruluğu önemli ölçüde artırmak için bir karar ağacı üzerine kurulmuştur. Rastgele orman, birçok basit karar ağacı oluşturur ve hangi etiketi döndüreceğine karar vermek için 'çoğunluk oylaması' yöntemini kullanır. Sınıflandırma görevi için, nihai tahmin en çok oy alan tahmin olacaktır; regresyon görevi için, tüm ağaçların ortalama tahmini nihai tahmindir. | Gerileme Sınıflandırma |
| AdaBoost | Bir karara varmak için çok sayıda model kullanan ancak sonuçları tahmin etmedeki doğruluklarına göre bunları tartan sınıflandırma veya regresyon tekniği | Gerileme Sınıflandırma |
| Gradyan artırıcı ağaçlar | Gradyan artırma ağaçları, son teknoloji ürünü bir sınıflandırma/regresyon tekniğidir. Önceki ağaçların yaptığı hatalara odaklanır ve bunları düzeltmeye çalışır. | Gerileme Sınıflandırma |
Denetimsiz öğrenme
Denetimsiz öğrenmede, bir algoritma açık bir çıktı değişkeni verilmeden girdi verilerini inceler (örneğin, kalıpları belirlemek için müşteri demografik verilerini inceler).
Verileri nasıl sınıflandıracağınızı bilmiyorsanız ve algoritmanın sizin için kalıpları bulmasını ve verileri gruplandırmasını istiyorsanız kullanabilirsiniz. Başlıca denetimsiz algoritmalar aşağıda özetlenmiştir.
| Algoritma Adı | Açıklama | Menşei |
|---|---|---|
| K-kümeleme anlamına gelir | Verileri, her biri benzer özelliklere sahip veriler içeren (önceden insanlar tarafından değil, model tarafından belirlenen) bazı gruplara (k) koyar. | Clustering |
| Gauss karışım modeli | Grupların (kümelerin) boyutu ve şekli konusunda daha fazla esneklik sağlayan k-ortalama kümelemenin genelleştirilmesi | Clustering |
| Hiyerarşik kümeleme | Hiyerarşik bir ağaç boyunca kümeleri ayırarak bir sınıflandırma sistemi oluşturur. Sadakat kartı müşterilerini kümelemek için kullanılabilir. | Clustering |
| Tavsiye sistemi | Öneri oluşturmak için ilgili verilerin belirlenmesine yardımcı olur. | Clustering |
| PCA/t-SNE | Çoğunlukla verinin boyutsallığını azaltmak için kullanılır. Algoritmalar, özellik sayısını en yüksek varyansa sahip 3 veya 4 vektöre düşürür. | Boyut Azaltma |
Makine Öğrenimi Algoritması Nasıl Seçilir
Çok sayıda makine öğrenimi algoritması mevcuttur ve algoritma seçimi modaya göre değil, amaca göre belirlenir.
Aşağıdaki makine öğrenimi örneğinde, görev üç çeşit arasından çiçeğin türünü tahmin etmektir. Tahminler, taç yaprağının uzunluğuna ve genişliğine dayanmaktadır. Resim, on farklı algoritmanın sonuçlarını göstermektedir. Sol üstteki resim, verilerin üç kategoriye ayrıldığı veri kümesinin kendisidir: kırmızı, açık mavi ve koyu mavi. Bazı gruplarpingGörünürde farklılıklar var. Örneğin, ikinci resimde, sol üstteki her şey kırmızı kategoriye aitken, orta kısım belirsizlik ve açık mavinin bir karışımını içeriyor, alt kısım ise koyu kategoriye karşılık geliyor. Diğer resimler, farklı algoritmaların aynı veriyi nasıl sınıflandırmaya çalıştığını gösteriyor.
Bir aday seçildikten sonra, kalitesi genellikle daha önce hiç görmediği veriler üzerinden değerlendirilir. karışıklık matrisi ve bundan türetilen doğruluk, hassasiyet ve geri çağırma rakamları.
Makine Öğreniminin Zorlukları ve Sınırlamaları
Makine öğreniminin temel zorluğu, veri eksikliği veya veri kümesindeki çeşitlilik eksikliğidir. Veri yoksa makine öğrenemez. Çeşitlilikten yoksun bir veri kümesi de makineye zorluk çıkarır, çünkü bir makinenin anlamlı bir içgörü elde etmek için heterojenliğe ihtiyacı vardır. Bir algoritmanın bunu başarabilmesi nadirdir.tracVaryasyonların az veya hiç olmadığı durumlarda bilgi yetersiz kalır. Makine öğrenimine yardımcı olmak için grup başına en az 20 gözlem olması yaygın bir kuraldır; bunun altında hem değerlendirme hem de tahmin olumsuz etkilenir.
Veri hacmi tek sınırlayıcı faktör değil. Önyargılı geçmiş kayıtlara göre eğitilen modeller bu önyargıyı yeniden üretir, karmaşık modelleri bir düzenleyiciye veya müşteriye açıklamak zordur ve herhangi bir model, eğitildiği dünya değiştikçe performansını kaybeder.
Makine Öğreniminin Uygulanması
Yukarıda bahsedilen teknikler halihazırda çoğu sektörde üretimde kullanılmaktadır. Aşağıdaki örnekler ise genel yardımdan belirli sektörlere yönelik çözümlere geçmektedir.
Büyütme: Makine öğrenimi, çıktının tam kontrolüne sahip olmadan, insanların günlük işlerinde, kişisel veya ticari olarak, onlara yardımcı olur. Bu tür makine öğrenimi, sanal asistanlar, veri analizi ve yazılım çözümleri gibi farklı şekillerde kullanılır. Temel amaç, insan önyargısından kaynaklanan hataları azaltmaktır.
Otomasyon: Makine öğrenimi, insan müdahalesine gerek kalmadan her alanda tamamen otonom olarak çalışır. Örneğin, robotlar üretim tesislerinde temel işlem adımlarını gerçekleştirir.
Finans sektörü: Makine öğrenimi, finans sektöründe giderek daha popüler hale geliyor. Bankalar, makine öğrenimini esas olarak verilerdeki kalıpları bulmak ve aynı zamanda dolandırıcılığı önlemek için kullanıyor.
Devlet kuruluşları: Hükümetler, kamu güvenliğini ve hizmetlerini yönetmek için makine öğreniminden yararlanmaktadır. Çin'in büyük ölçekli yüz tanıma programını örnek olarak ele alalım; yapay zeka uygulamaları Yaya geçidi kurallarına uymayanları tespit etmek için kullanılırlar.
Sağlık Endüstrisi: Sağlık sektörü, görüntü tespitiyle başlayarak makine öğrenimini kullanan ilk sektörlerden biriydi.
Pazarlama: Veriye erişimin bol olması sayesinde yapay zeka pazarlamada yaygın olarak kullanılmaktadır. Kitlesel veri çağından önce, araştırmacılar bir müşterinin değerini tahmin etmek için Bayes analizi gibi gelişmiş matematiksel araçlar geliştirmişlerdir. Veri patlamasıyla birlikte, pazarlama departmanları müşteri ilişkilerini ve pazarlama kampanyalarını optimize etmek için yapay zekaya güvenmektedir.
Tedarik Zincirinde Makine Öğrenimine Örnek
Makine öğrenimi, görsel desen tanıma konusunda güçlü sonuçlar vererek, tüm tedarik zinciri ağında fiziksel denetim ve bakım alanlarında birçok potansiyel uygulama olanağı sunmaktadır.
Denetimsiz öğrenme, çeşitli veri kümelerinde karşılaştırılabilir kalıpları hızla arayabilir. Bunun sonucunda makine, lojistik merkezinde kalite kontrolü yapabilir ve hasarlı veya yıpranmış gönderileri işaretleyebilir.
Örneğin, IBMWatson platformu gemiyi belirleyebilir.ping Konteyner hasarı. Watson, görsel ve sistem tabanlı verileri birleştirerek... track, gerçek zamanlı olarak raporlayın ve önerilerde bulunun.
Geçmişte, stok yöneticileri envanteri değerlendirmek ve tahmin etmek için büyük ölçüde manuel yöntemlere güveniyorlardı. Büyük veri ve makine öğrenimi bir araya geldiğinde, geleneksel tahmin araçlarına kıyasla %20 ila %30 oranında iyileşme sağlayan daha iyi tahmin teknikleri mümkün hale geliyor. Satışlar açısından bu, envanter maliyetlerindeki potansiyel azalma sayesinde %2 ila %3'lük bir artış anlamına geliyor.
Makine öğrenimine bir örnek Google araba
Herkes bilir Google Araba. Arabanın tavanı, çevredeki alana göre konumunu belirleyen lazerlerle kaplı. Ön tarafında ise, etrafındaki tüm arabaların hızını ve hareketini gösteren bir radar bulunuyor. Bu verilerin tamamını, sadece nasıl sürüleceğini belirlemek için değil, aynı zamanda etrafındaki sürücülerin ne yapacağını tahmin etmek için de kullanıyor. Etkileyici olan ise, arabanın saniyede neredeyse bir gigabayt veriyi işleyebilmesi.
Makine Öğrenimi Neden Önemlidir?
Makine öğrenimi, verilerdeki kalıpları analiz etmek, anlamak ve belirlemek için bugüne kadarki en iyi araçtır. Makine öğreniminin temel fikirlerinden biri, bir bilgisayarın insan için yorucu veya imkansız olacak görevleri otomatikleştirmek üzere eğitilebileceğidir. Geleneksel analizden en belirgin ayrım, makine öğreniminin minimum insan müdahalesiyle kararlar alabilmesidir.
Şu örneği ele alalım: Bir emlakçı, kişisel deneyimine ve piyasa bilgisine dayanarak bir evin fiyatını tahmin edebilir.
Bir makine, uzman kişinin bilgisini özelliklere dönüştürmek üzere eğitilebilir. Bu özellikler, bir evin, mahallenin, ekonomik ortamın ve fiyatı farklılaştıran diğer tüm karakteristik özellikleridir. Uzman için, bir evin fiyatını tahmin etme sanatında ustalaşmak muhtemelen yıllar almıştır ve uzmanlık her satıştan sonra daha da gelişir.
Makinenin bu sanatı ustalaşması için milyonlarca veri noktasına (yani örneğe) ihtiyacı vardır. Öğrenmenin en başında, tıpkı deneyimsiz bir satış elemanı gibi, makine hatalar yapar. Makine yeterince örnek gördükten sonra, tahminini yapacak ve bunu yüksek doğrulukla yapacak kadar bilgiye sahip olur. Makine ayrıca yeni satışlar geldikçe hatalarını düzeltebilir.
Çoğu büyük şirket, makine öğreniminin ve veri tutmanın değerini anlamıştır. McKinsey Küresel Enstitüsü, tüm analitik tekniklerin yıllık değerini 9.5 trilyon ila 15.4 trilyon dolar olarak tahmin etmiş ve bunun yaklaşık yüzde 40'ını (yılda yaklaşık 3.5 trilyon ila 5.8 trilyon dolar) derin sinir ağlarına dayalı gelişmiş yapay zeka tekniklerine atfetmiştir. Yapay Zeka Sınırından Notlar Araştırma.
Kuralların bilinmesine rağmen kesin olmadığı, aksine tamamen yok olmadığı durumlarda, kural tabanlı bir yaklaşım şu şekilde olabilir: Bulanık mantık Öğrenilmiş bir modelden daha iyi bir uyum sağlayabilir, bu nedenle iki teknik genellikle bir proje başlamadan önce karşılaştırılır.
