Yeni Başlayanlar İçin Derin Öğrenme Eğitimi: Sinir Ağı Temelleri

⚡ Akıllı Özet

Derin öğrenme, yapay sinir ağları üzerine kurulu bir makine öğrenmesi dalıdır. Bu ağlar birçok gizli katmanı üst üste yığarak, her katmanın bir önceki katmana göre verinin daha zengin bir özelliğini öğrenmesini sağlar.

  • 🔘 Katmanlı mimari: Bir giriş katmanı, iki veya daha fazla gizli katman ve bir çıkış katmanı, bir ağı derin hale getirir.
  • ☑️ Signal güç: Ağırlık, sapma ve aktivasyon fonksiyonu, her nöronun bir sonraki katmana ne aktaracağına karar verir.
  • İki fazlı döngü: Doğrusal olmayan bir dönüşüm bir model üretir, ardından türev tabanlı bir yöntem bu modeli iyileştirir ve doğruluk kabul edilebilir seviyeye ulaşana kadar bu işlem tekrarlanır.
  • 🧪 Dört mimari: İleri beslemeli ağlar, tekrarlayan ağlar, evrimsel ağlar ve pekiştirmeli öğrenme ajanları.
  • Faydalarını gösterdiği yerler: Finansta kredi puanlaması, insan kaynaklarında aday eleme, pazarlamada çağrı merkezi duygu analizi.
  • ⚙️ Gerçek sınırlar: Etiketleme maliyeti, devasa veri kümelerine duyulan ihtiyaç ve sade bir dille açıklanamayan modeller.

Yeni Başlayanlar İçin Derin Öğrenme Eğitimi: Sinir Ağı Temelleri

Derin Öğrenme nedir?

Derin öğrenme, beyindeki nöron ağını taklit eden bilgisayar yazılımıdır. Derin öğrenmenin bir alt kümesidir. makine öğrenme Yapay sinir ağlarına ve temsil öğrenimine dayalıdır. Derin sinir ağlarını kullandığı için derin öğrenme olarak adlandırılır. Bu öğrenme şu şekilde olabilir: denetimliyarı denetimli veya denetimsiz.

Derin öğrenme algoritmaları, aşağıdaki şemada gösterildiği gibi, birbirine bağlı katmanlardan oluşur.

  • İlk katmana Giriş Katmanı adı verilir
  • Son katmana Çıktı Katmanı adı verilir
  • Aradaki tüm katmanlara Gizli Katmanlar denir. Derin kelimesi, ağın nöronları ikiden fazla katman boyunca birleştirdiği anlamına gelir.
Giriş katmanını, iki gizli nöron katmanını ve bir çıkış katmanını gösteren derin sinir ağı diyagramı.
Giriş katmanı, gizli katmanlar ve çıkış katmanı, her bir nöron arasında bağlantılar kuracak şekilde düzenlenmiştir.

Her gizli katman nöronlardan oluşur. Nöronlar birbirine bağlıdır. Bir nöron aldığı giriş sinyalini işler ve sonucu üstündeki katmana iletir. Bir sonraki katmandaki nörona iletilen sinyalin gücü, ağırlığa, sapmaya ve aktivasyon fonksiyonuna bağlıdır.

Ağ, büyük miktarda girdi verisi tüketir ve bu veriler üzerinde birden fazla katman üzerinden işlem yapar; böylece ağ, her katmanda verinin giderek daha karmaşık özelliklerini öğrenebilir.

Derin Öğrenme Süreci

Derin sinir ağları, nesne algılamadan konuşma tanımaya kadar birçok görevde en yüksek doğruluk seviyesini sağlar. Bu tür ağlar, programcılar tarafından açıkça kodlanmış önceden tanımlanmış bilgilere ihtiyaç duymadan otomatik olarak öğrenebilir. Uygulamada, bir derin öğrenme projesi beş aşamadan geçer:

  • Sorunu anlamak
  • Verileri tanımlayın
  • Derin öğrenme algoritması seçin
  • Modeli eğitin
  • Modeli test edin
Sorunu anlamaktan modeli test etmeye kadar beş aşamalı derin öğrenme süreci.

Derin öğrenme projesinin problem tanımlamasından test aşamasına kadar beş aşaması.

Derin öğrenme fikrini kavramak için, bir bebek ve ebeveynlerinden oluşan bir aileyi hayal edin. Bebek, küçük parmağıyla nesneleri işaret eder ve her zaman "kedi" der. Ebeveynleri onun eğitimi konusunda endişeli oldukları için ona sürekli "Evet, bu bir kedi" veya "Hayır, bu bir kedi değil" derler. Bebek nesneleri işaret etmeye devam eder, ancak "kediler" konusunda daha doğru hale gelir. Küçük çocuk, içten içe neden bir şeyin kedi olup olmadığını söyleyebildiğini bilmez. Sadece bir kediyi oluşturan özellikleri bir hiyerarşi halinde düzenlemeyi öğrenmiştir; evcil hayvana genel olarak bakar ve ardından kuyruk veya burun gibi ayrıntılara odaklanarak kararını verir.

Sinir ağları da benzer şekilde çalışır. Her katman daha derin bir bilgi düzeyini, yani bir bilgi hiyerarşisini temsil eder. Dört katmanlı bir sinir ağı, iki katmanlı bir sinir ağından daha karmaşık özellikleri öğrenir.

Öğrenme iki aşamada gerçekleşir:

  • İlk etap: Giriş verilerine doğrusal olmayan bir dönüşüm uygulayarak, çıktı olarak istatistiksel bir model oluşturmak.
  • İkinci aşama: Türevlere dayalı matematiksel bir yöntemle modeli iyileştirme, işte bu şekilde geri yayılım Ağırlıkları ayarlar.

Sinir ağı, kabul edilebilir bir doğruluk seviyesine ulaşana kadar bu iki aşamayı yüzlerce ila binlerce kez tekrarlar. Bu iki aşamanın her tekrarına yineleme denir.

Derin öğrenmeye bir örnek vermek gerekirse, modelin dans etmeyi öğrenmeye çalıştığı aşağıdaki animasyona bir göz atın. 10 dakikalık eğitimden sonra model dans etmeyi bilmiyor ve çıktısı karalama gibi görünüyor.

Derin öğrenme eğitiminin on dakika sonrasında düzensiz hareket eden animasyonlu figür.

İkinci animasyonda da gösterildiği gibi, bilgisayar 48 saatlik öğrenmenin ardından dans etme sanatında ustalaşıyor.

Kırk sekiz saatlik derin öğrenme eğitimi sonrasında animasyonlu figür sorunsuz bir şekilde dans ediyor.

Sinir Ağlarının Sınıflandırılması

Ağlar öncelikle gizli katman sayısına göre gruplandırılır.

Sığ sinir ağı: Sığ sinir ağında giriş ve çıkış arasında yalnızca bir gizli katman bulunur.

Derin sinir ağı: Derin sinir ağları birden fazla gizli katmana sahiptir. Örneğin, görüntü tanıma için kullanılan GoogLeNet modeli 22 katmana sahiptir.

Günümüzde derin öğrenme, sürücüsüz otomobillerde, cep telefonlarında ve daha birçok alanda karşımıza çıkıyor. Google Arama motoru, dolandırıcılık tespiti ve televizyon.

Derin Öğrenme Ağlarının Türleri

Birçok mimari standart hale geldi ve her biri işlediği veri türüne göre şekillendi. Asimov Enstitüsü tarafından yayınlanan aşağıdaki şema, bu geniş aileyi haritalandırıyor.

Perceptron, ileri beslemeli, RBF, RNN, LSTM, GRU ve otoenkoderleri içeren sinir ağı mimarilerinin şeması.

Tekil algılayıcıdan LSTM, GRU ve otoenkoder varyantlarına kadar sinir ağı mimarilerinin şeması.

İleri beslemeli sinir ağları

Bu, yapay sinir ağlarının en basit türüdür. Bu mimari türünde, bilgi akışı yalnızca tek yönde, ileriye doğru gerçekleşir. Yani bilgi akışı giriş katmanından başlar, "gizli" katmanlardan geçer ve çıkış katmanında sona erer. Ağda döngü yoktur ve bilgi çıkış katmanında durur.

Tekrarlayan sinir ağları (RNN'ler)

An RNN Tekrarlayan sinir ağları (RNN), bağlam düğümlerinde bilgi depolayabilen, veri dizilerini öğrenip bir sayı veya başka bir dizi üretebilen çok katmanlı bir sinir ağıdır. Basitçe söylemek gerekirse, nöronlar arasındaki bağlantılar döngüler içeren yapay bir sinir ağıdır. RNN'ler, çıktının ağa bellek olarak geri beslenmesi nedeniyle, girdi dizilerini işlemek için oldukça uygundur.

Çıktının bellek olarak ağa geri döngülendiği tekrarlayan sinir ağı blok diyagramı.

Bir RNN, çıktısını kendisine geri gönderir; bu da ağa hafıza kazandırır.

Örneğin, görev "Bir ... ister misin?" cümlesindeki bir sonraki kelimeyi tahmin etmek ise, ağ şu şekilde ilerler:

  • RNN nöronları, cümlenin başlangıcını gösteren bir sinyal alırlar.
  • Ağ, girdi olarak "Yap" kelimesini alır ve bir sayı vektörü üretir. Bu vektör, ağa hafıza sağlamak için nörona geri beslenir. Bu aşama, ağın "Yap" kelimesini aldığını ve ilk sırada aldığını hatırlamasına yardımcı olur.
  • Ağ, sonraki kelimeler için de benzer şekilde ilerler. Önce "sen" kelimesini, sonra da "istemek" kelimesini alır. Her kelime alındığında nöronların durumu güncellenir.
  • Son aşama, "a" kelimesi alındıktan sonra gerçekleşir. Sinir ağı, cümleyi tamamlayabilecek her İngilizce kelime için bir olasılık sunar. İyi eğitilmiş bir RNN, muhtemelen "café", "drink", "burger" ve benzeri kelimelere yüksek olasılık atar.

RNN'nin yaygın kullanımları

  • Menkul kıymet tüccarlarının analitik raporlar oluşturmasına yardımcı olun
  • Finansal tablolardaki anormallikleri tespit edin
  • Sahte kredi kartı işlemlerini tespit edin
  • Resimler için bir başlık sağlayın
  • Power chatbots
  • RNN'lerin standart kullanım alanları, uzmanların zaman serisi verileri veya dizilerle, örneğin ses kayıtları veya metinlerle çalıştığı durumlardır.

Evrişimli sinir ağları (CNN)

A CNN Benzersiz bir mimariye sahip, çok katmanlı bir sinir ağıdır ve şu amaçla tasarlanmıştır:tracHer katmanda verilerin giderek karmaşıklaşan özelliklerini kullanarak çıktıyı belirler. Evrişimsel sinir ağları (CNN'ler) algısal görevler için oldukça uygundur.

Evrişim, ReLU ve havuzlama özellik öğrenme aşamalarını takiben düzleştirme, tam bağlantılı ve softmax sınıflandırması içeren CNN mimarisi.

Evrişim, ReLU ve havuzlama yoluyla özellik öğrenimi; düzleştirme, tam bağlantılı ve softmax yoluyla sınıflandırma.

CNN, çoğunlukla görüntüler gibi yapılandırılmamış veri kümeleri olduğunda ve uygulayıcıların bunları analiz etmesi gerektiğinde kullanılır.tracOndan bilgi almak.

Örneğin görev bir görselin başlığını tahmin etmekse:

  • CNN, diyelim ki bir kedinin görüntüsünü alıyor. Bilgisayar terimleriyle bu görüntü, genellikle gri tonlamalı bir resim için bir katman ve renkli bir resim için üç katmandan oluşan bir piksel koleksiyonudur.
  • Özellik öğrenme aşamasında, yani gizli katmanlarda, ağ benzersiz özellikleri tanımlar; örneğin kedinin kuyruğu veya kulağı.
  • Ağ, bir resmi tanımayı iyice öğrendikten sonra, bildiği her görüntü sınıfı için bir olasılık değeri verebilir. En yüksek olasılığa sahip etiket, ağın tahmini olur.

Takviye Öğrenme

Takviye öğrenimi Makine öğrenmesinin bir alt alanı olan bu alanda, sistemler sanal "ödüller" veya "cezalar" alarak eğitilir; esasen deneme yanılma yoluyla öğrenirler. Bir ağ yapısından ziyade bir öğrenme paradigmasıdır, ancak modern algoritmaları derin ağlar üzerine kuruludur. GoogleDeepMind, Go oyununda insan bir şampiyonu yenmek için takviyeli öğrenmeyi kullandı. Takviyeli öğrenme, daha akıllı botlar sağlayarak oyun deneyimini geliştirmek için video oyunlarında da kullanılır.

En ünlü algoritmalardan bazıları şunlardır:

  • Q-öğrenme
  • Derin Q ağı
  • Devlet-Eylem-Ödül-Devlet-Eylem (SARSA)
  • Derin Deterministik Politika Değişimi (DDPG)

Aşağıdaki tablo, her mimarinin ne zaman uygun olduğunu özetlemektedir.

Archidoku Veriler buna uygundur Ayırt edici özellik Tipik görev
ileri besleme Sabit uzunlukta tablo girişi Döngü yok; bilgi yalnızca ileriye doğru akıyor. Puanlama ve basit sınıflandırma
Tekrarlayan (RNN) Diziler ve zaman serileri Bağlam düğümleri ona bellek kazandırır. Metin tahmini, ses, tahminleme
Evrişimsel (CNN) Izgara benzeri yapılandırılmamış veri Evrişim ve havuzlama örneğitract özellikleri Görüntü sınıflandırma ve alt yazı oluşturma
Takviye öğrenimi Bir veri kümesi değil, bir ortam. Ödül ve cezadan öğrenir. Oyun ajanları, robotik, kontrol

Derin Öğrenme Uygulamalarına Örnekler

Bu mimariler halihazırda çok farklı sektörlerde üretimde:

Finansta Yapay Zeka

Finansal teknoloji sektörü, zaman tasarrufu sağlamak, maliyetleri düşürmek ve katma değer yaratmak için yapay zekayı kullanmaya çoktan başladı. Derin öğrenme, daha sağlam kredi puanlamasıyla kredi sektörünü değiştiriyor. Kredi karar vericileri, başvuru sahiplerinin karakterini ve kapasitesini hesaba katmak için yapay zekayı kullanarak daha hızlı ve daha doğru risk değerlendirmesi elde etmek için kredi başvurularında yapay zekayı kullanabilirler.

Underwrite, kredi karar vericileri için yapay zeka çözümü sunan bir fintech şirketidir. underwrite.ai, hangi başvuru sahibinin krediyi geri ödeme olasılığının daha yüksek olduğunu tespit etmek için yapay zeka kullanıyor; şirket bu yaklaşımın geleneksel puanlama sistemlerinden daha iyi performans gösterdiğini söylüyor.

İK'da yapay zeka

Under Armour, bir spor giyim şirketi, revolutYapay zekâ yardımıyla işe alım süreçlerini modernize etti ve aday deneyimini geliştirdi. Under Armour, 2012 yılında yoğun bir ilgiyle karşılaştı ve ayda ortalama 30,000'den fazla başvuru alıyordu. Tüm bu başvuruları okumak ve ardından eleme ve mülakat sürecini başlatmak çok uzun sürüyordu. İnsanların işe alınması ve oryantasyonunun uzun sürmesi, Under Armour'ın perakende mağazalarının tam kadroyla çalışmasını, faaliyete geçmesini ve hazır olmasını olumsuz etkiliyordu.

O dönemde Under Armour, işe alım, başvuru gibi süreçlere yönelik işlem tabanlı çözümler de dahil olmak üzere, İK alanında olmazsa olmaz tüm teknolojilere sahipti. tracİşe alım ve oryantasyon süreçleri için kullanılan araçlar tek başına yeterli değildi. Under Armour, hem talep üzerine hem de canlı görüşmeler için yapay zeka tabanlı İK çözümleri sağlayıcısı HireVue'yu seçti. Sonuçlar çarpıcıydı: Şirket, işe alım süresini %35 oranında kısaltırken, işe aldığı personelin kalitesini de artırdığını bildirdi.

Pazarlamada Yapay Zeka

Yapay zekâ, müşteri hizmetleri yönetimi ve kişiselleştirme sorunları için değerli bir araçtır. Yapay zekâ tekniklerinin uygulanması sonucunda çağrı merkezi yönetiminde ve çağrı yönlendirmesinde iyileştirilmiş konuşma tanıma, müşteriler için daha sorunsuz bir deneyim sağlar.

Örneğin, derin öğrenme tabanlı ses analizi, sistemlerin müşterinin duygusal tonunu değerlendirmesine olanak tanır. Eğer müşteri yapay zekâ destekli sohbet robotuna olumsuz yanıt veriyorsa, sistem konuşmayı sorunu devralan gerçek bir insan operatöre yönlendirebilir.

Yukarıdaki üç derin öğrenme örneğinin dışında, yapay zeka diğer sektörlerde ve endüstrilerde de yaygın olarak kullanılmaktadır.

Derin Öğrenme Neden Önemlidir?

Derin öğrenme, tahminleri eyleme dönüştürülebilir sonuçlara çevirmek için güçlü bir araçtır. Derin öğrenme, örüntü keşfi ve bilgiye dayalı tahmin konusunda mükemmeldir. Büyük veri Derin öğrenmenin yakıtıdır. İkisi bir araya geldiğinde, bir kuruluş daha önce ulaşılamayan verimlilik, satış, yönetim ve inovasyon sonuçları elde edebilir.

Derin öğrenme, geleneksel yöntemlerden de daha iyi performans gösterebilir. Özellikle algılama problemlerinde, derin ağlar yıllardır en iyi performansı sergiliyor: Görüntü sınıflandırma, konuşma tanıma ve yüz tanıma, derin mimariler tarafından domine ediliyor ve yüz tanıma modelleri standart kamuya açık kıyaslama testlerinde %99'a yakın doğruluk oranına ulaşıyor. Bu kazanım, ağın elle tasarlanmış özelliklere güvenmek yerine kendi özelliklerini öğrenmesinden kaynaklanıyor.

Derin Öğrenmenin Sınırlamaları

Bu sonuçların gerçek maliyetleri de var.

Veri etiketleme

Günümüzdeki yapay zeka modellerinin çoğu denetimli öğrenme yoluyla eğitiliyor. Bu, insanların temel verileri etiketlemesi ve kategorize etmesi gerektiği anlamına gelir ki bu da oldukça zahmetli ve hataya açık bir iş olabilir. Örneğin, şirketler yapay zeka modelleri geliştirirken...ping Otonom araç teknolojileri, bu sistemleri eğitmek için prototip araçlardan gelen saatlerce süren video kayıtlarını manuel olarak etiketlemek üzere yüzlerce kişiyi işe alıyor.

Büyük eğitim veri kümeleri edinin

CNN gibi derin öğrenme tekniklerinin, bazı durumlarda tıp ve diğer alanlardaki uzmanların bilgilerini taklit edebildiği gösterilmiştir. Ancak bu makine öğrenmesi dalgası, yalnızca etiketlenmiş değil, aynı zamanda yeterince geniş ve evrensel eğitim veri kümeleri gerektirmektedir.

Derin öğrenme yöntemleri, modellerin sınıflandırma görevlerinde nispeten iyi performans göstermesi için binlerce gözlem gerektirir ve bazı durumlarda insan seviyesinde performans göstermesi için milyonlarca gözlem gerekir. Şaşırtıcı olmayan bir şekilde, derin öğrenme en çok büyük veri kullanarak petabaytlarca örnek biriktiren dev teknoloji şirketlerinde yaygındır. Bu ölçek, etkileyici ve son derece doğru derin öğrenme modelleri oluşturmalarına olanak tanır.

Bir sorunu açıklayın

Büyük ve karmaşık modelleri insan dilinde açıklamak zor olabilir; örneğin, belirli bir kararın neden alındığı gibi. Bu, bazı yaklaşımların kabul görmesinin nedenlerinden biridir. yapay zeka Bu araçlar, yorumlanabilirliğin faydalı veya hatta gerekli olduğu uygulama alanlarında yavaştır.

Ayrıca yapay zekanın uygulamaları genişledikçe düzenleyici gereklilikler daha açıklanabilir yapay zeka modellerine olan ihtiyacı da artırabilir.

SSS

Klasik makine öğrenme Elle tasarlanmış özelliklere ihtiyaç duyar ve küçük tablo verileri üzerinde iyi çalışır. Derin öğrenme, ham, yapılandırılmamış verilerden özellikleri kendi kendine öğrenir, ancak çok daha fazla örnek ve işlem gücü ister.

Doğrusal olmayan bir yapı getirdiği için, üst üste yığılmış katmanlar tek bir doğrusal adıma dönüşmek yerine kavisli karar sınırlarını modelleyebilir. Gizli katmanlarda genellikle varsayılan olarak ReLU kullanılır; sigmoid ve softmax ise çıktıyı şekillendirir.

Geri yayılım, her bir ağırlığın hataya ne kadar katkıda bulunduğunu ölçer, ardından bu gradyanı katmanlar arasında geriye doğru ilerleterek her ağırlığı kaybı azaltacak yönde hareket ettirir. Bu, ikinci aşamanın işleyişidir.

Bir epoch, eğitim verileri üzerinde yapılan tam bir geçiş anlamına gelir. Batch boyutu, ağın ağırlıkları güncellemeden önce gördüğü örnek sayısıdır. Öğrenme oranı, bu ağırlık güncellemelerinin her birinin ne kadar büyük olduğunu kontrol eder.

2017'de tanıtılan Transformer ağları, tekrarlamayı dikkat mekanizmasıyla değiştirerek her bir token'ın aynı anda diğer tüm token'lara bakmasını sağlar. Bu paralel çalışma sayesinde, RNN'lerden çok daha iyi ölçeklenebilirler ve şu anda dil ve görüntü işleme alanlarında baskın konumdalar.

Eğitim çoğunlukla büyük matris çarpımlarından oluşur ve GPU'lar bu işlemleri çok yüksek bellek bant genişliğiyle paralel olarak çalıştırır. Bir CNN veya Transformer modelini CPU'dan tek bir eğitim GPU'suna taşımak genellikle birkaç kat hız artışı sağlar.

Sinir ağı mimarisi arama ve AutoML araçları, katman sayılarını, genişliklerini ve hiperparametrelerini dener ve en iyi doğrulamayı sağlayan adayı saklar. Manuel taramayı önemli ölçüde azaltırlar, ancak yine de bir kişi hedefi ve hesaplama bütçesini belirler.

GitHub Yardımcı Pilotu taslaklar TensorFlow ve PyTorch eğitim döngüleri kısa bir komut isteminden gelir. Giriş şekillerini, kayıp fonksiyonunu ve başlangıç ​​değerini kendiniz kontrol edin, çünkü oluşturulan şablon kodlar genellikle bunları yanlış yapar.

Bu yazıyı şu şekilde özetleyin: