Doğal Dil İşleme Eğitimi: NLP Nedir? Örnekler

Doğal Dil İşleme nedir?

Doğal Dil İşleme (NLP) bilgisayarların İngilizce veya Hintçe gibi insan dillerini anlamasına, yorumlamasına ve manipüle ederek anlamını analiz etmesine ve çıkarmasına yardımcı olan bir yapay zeka dalıdır. NLP, geliştiricilerin çeviri, özetleme, adlandırılmış varlık tanıma, ilişki çıkarma, konuşma tanıma, konu bölümlendirme vb. görevleri gerçekleştirmek için bilgiyi organize etmelerine ve yapılandırmalarına yardımcı olur.

NLP'nin Tarihi

İşte Doğal Dil İşleme tarihindeki önemli olaylar:

1950- NLP, Alan Turing'in "Makine ve Zeka" adlı makalesini yayınlamasıyla başladı.

1950- Rusça ve İngilizce arasındaki çeviriyi otomatikleştirme girişimleri

1960- Chomsky ve diğerlerinin biçimsel dil teorisi ve üretken sözdizimi üzerine çalışmaları

1990- Olasılıksal ve veriye dayalı modeller oldukça standart hale geldi

2000- Büyük miktarda sözlü ve yazılı veri kullanılabilir hale gelir

Bu NLP eğitiminde bir sonraki adımda NLP'nin nasıl çalıştığını öğreneceğiz.

NLP Nasıl Çalışır?

NLP'nin nasıl çalıştığını öğrenmeden önce insanların dili nasıl kullandığını anlayalım.

Her gün, başkalarının sayısız şey yapmak için yorumladığı bir kelimeyi söylüyoruz. Biz bunu basit bir iletişim olarak görüyoruz ama kelimelerin bundan çok daha derinlere indiğini hepimiz biliyoruz. Her zaman söylediklerimizden ve bunları nasıl söylediğimizden çıkardığımız bir bağlam vardır. Yapay Zeka asla ses modülasyonuna odaklanmaz; bağlamsal kalıplardan yararlanır.

Örnek:

Man is to woman as king is to __________?
Meaning (king) – meaning (man) + meaning ( woman)=?
The answer is-  queen

Burada kolaylıkla ortak ilişki kurabiliyoruz çünkü erkek cinsiyeti erkek, kadın cinsiyeti ise kadındır. Aynı şekilde kralın cinsiyeti erkeksi, dişi cinsiyeti ise kraliçedir.

Örnek:

Is King to kings as the queen is to_______?
The answer is--- queens 

Burada, birinin tekil, diğerinin çoğul olduğu iki kelime kral ve kralları görebiliriz. Bu nedenle, dünya kraliçesi geldiğinde otomatik olarak kraliçelerle (tekil çoğul) eş ilişki kurar.

Burada en büyük soru şu; kelimelerin ne anlama geldiğini nasıl bileceğiz? Bakalım ona kim kraliçe diyecek?

Cevap şu; düşünmeyi deneyim yoluyla öğreniyoruz. Ancak burada asıl soru, bilgisayarın bunu nasıl bildiğidir?

Makinelerin deneyim yoluyla öğrenmesi için yeterli veri sağlamamız gerekiyor. Aşağıdaki gibi ayrıntıları besleyebiliriz:

• Majesteleri Kraliçe.
• Kraliçe'nin Devlet ziyareti sırasında yaptığı konuşma
• Kraliçe Elizabeth'in tacı
• Kraliçelerin Annesi
• Kraliçe cömerttir.

Yukarıdaki örneklerle makine Kraliçe varlığını anlıyor.

Makine aşağıdaki gibi kelime vektörleri oluşturur. Çevreleyen kelimeler kullanılarak bir kelime vektörü oluşturulur.

Makine bu vektörleri yaratıyor

• Birden fazla veri kümesinden öğrenirken
• Makine öğrenimini kullanın (ör. Derin Öğrenme algoritmaları)
• Çevreleyen kelimeler kullanılarak bir kelime vektörü oluşturulur.

İşte formül:

Anlamı (kral) – anlamı (erkek) + anlamı (kadın)=?

Bu, kelime vektörleri üzerinde basit cebirsel işlemlerin gerçekleştirilmesi anlamına gelir:

Vektör (kral) – vektör (erkek) + vektör (kadın)= vektör(?)

Makine buna kraliçeyi yanıtlıyor.

Bu Doğal dil işleme dersinin bir sonraki bölümünde NLP'nin Bileşenleri hakkında bilgi edineceğiz.

NLP'nin Bileşenleri

Yapay zekada Doğal Dil işlemenin beş ana Bileşeni şunlardır:

• Morfolojik ve Sözcüksel Analiz
• Sözdizimsel Analiz
• Semantik Analiz
• Söylem Entegrasyonu
• Pragmatik Analiz

Morfolojik ve Sözcüksel Analiz

Sözcüksel analiz, sözcüklerini ve ifadelerini içeren bir kelime dağarcığıdır. Kelimelerin yapısının analizini, tanımlanmasını ve tanımlanmasını gösterir. Bir metni paragraflara, kelimelere ve cümlelere bölmeyi içerir.

Tek tek kelimeler bileşenlerine göre analiz edilir ve noktalama işaretleri gibi kelime olmayan belirteçler kelimelerden ayrılır.

Semantik Analiz

Anlamsal Analiz, sözdizimsel analizci tarafından oluşturulan ve anlamları atayan bir yapıdır. Bu bileşen, doğrusal sözcük dizilerini yapılara aktarır. Kelimelerin birbirleriyle nasıl ilişkilendirildiğini gösterir.

Anlambilim yalnızca kelimelerin, deyimlerin ve cümlelerin gerçek anlamlarına odaklanır. Bu yalnızca sözlük anlamını veya gerçek anlamı verilen bağlamdan soyutlar. Sözdizimsel çözümleyici tarafından atanan yapılar her zaman atanmış anlamlara sahiptir

Örneğin. “renksiz yeşil fikir.” Bu, Symantec analizi tarafından renksiz olduğu gerekçesiyle reddedilecektir. Burada; yeşilin hiçbir anlamı yok.

Pragmatik Analiz

Pragmatik Analiz genel iletişimsel ve sosyal içerik ve bunun yorum üzerindeki etkisi ile ilgilenir. Durumlarda dilin anlamlı kullanımını soyutlamak veya türetmek anlamına gelir. Bu analizde asıl odak noktası her zaman söylenenin, kast edilenin yeniden yorumlanmasıdır.

Pragmatik analiz, işbirliğine dayalı diyalogları karakterize eden bir dizi kural uygulayarak kullanıcıların bu amaçlanan etkiyi keşfetmelerine yardımcı olur.

Örneğin, "pencere kapatılsın mı?" emir yerine rica olarak yorumlanmalıdır.

Sözdizimi analizi

Kelimeler genellikle sözdiziminin en küçük birimleri olarak kabul edilir. Sözdizimi, herhangi bir dilin cümle yapısını yöneten ilke ve kuralları ifade eder.

Sözdizimi, anlamını etkileyebilecek kelimelerin doğru sıralanmasıyla ilgilidir. Bu, cümlenin dilbilgisi yapısını takip ederek bir cümledeki kelimelerin analizini içerir. Kelimeler, kelimenin birbirleriyle nasıl ilişkili olduğunu göstermek için yapıya dönüştürülür.

Söylem Entegrasyonu

Bağlam duygusu anlamına gelir. Herhangi bir cümlenin o cümleye bağlı olan anlamı. Ayrıca, takip eden cümlenin anlamını da dikkate alır.

Örneğin, “O bunu istedi” cümlesindeki “bu” kelimesi önceki söylem bağlamına bağlıdır.

Bu NLP eğitiminde bir sonraki adımda NLP ve yazma sistemleri hakkında bilgi edineceğiz.

NLP ve Yazma Sistemleri

Bir dil için kullanılan yazı sisteminin türü, metin ön işleme için en iyi yaklaşımın belirlenmesinde belirleyici faktörlerden biridir. Yazı sistemleri olabilir

1. Logografik: Çok sayıda bireysel sembol kelimeleri temsil eder. Örnek Japonca, Mandarin
2. Hece: Bireysel semboller heceleri temsil eder
3. Alfabetik: Bireysel semboller sesi temsil eder

Yazı sistemlerinin çoğunluğu Hece veya Alfabetik sistemi kullanır. Roma alfabesini temel alan nispeten basit yazı sistemiyle İngilizce bile Arap rakamlarını, Para birimi sembollerini (S, £) ve diğer özel sembolleri içeren logografik sembolleri kullanır.

Bu poz zorlukların ardından gelir

• Bir metinden anlam (semantik) çıkarmak zorlu bir iştir
• Yapay zekadaki NLP, külliyatın kalitesine bağlıdır. Etki alanı genişse bağlamı anlamak zordur.
• Karakter setine ve dile bağımlılık var

NLP Nasıl Uygulanır?

Aşağıda Doğal Öğrenme Süreci için kullanılan popüler yöntemler verilmiştir:

Makine öğrenme: Makine öğrenmesi sırasında kullanılan öğrenme nlp prosedürleri. Otomatik olarak en yaygın durumlara odaklanır. Dolayısıyla kuralları elle yazdığımızda, insan hatalarından endişe duymak çoğu zaman doğru değildir.

İstatiksel sonuç: NLP istatistiksel çıkarım algoritmalarından yararlanabilir. Sağlam modeller üretmenize yardımcı olur. örneğin herkesin bildiği kelimeleri veya yapıları içeren.

NLP Örnekleri

Günümüzde Doğal süreç öğrenme teknolojisi yaygın olarak kullanılan bir teknolojidir.

Yaygın olarak kullanılan Doğal Dil İşleme teknikleri şunlardır:

Bilgi alma ve Web Araması

Google, Yahoo, Bing ve diğerleri arama motorları makine çevirisi teknolojilerini NLP derin öğrenme modellerine dayandırıyorlar. Algoritmaların bir web sayfasındaki metni okumasına, anlamını yorumlamasına ve onu başka bir dile çevirmesine olanak tanır.

Dilbilgisi Düzeltmesi:

NLP tekniği, yazım düzeltme ve dil bilgisi denetimi için MS-word gibi kelime işlemci yazılımları tarafından yaygın olarak kullanılmaktadır.

Soru Yanıtlama

Doğal Dilde Soru sormak için anahtar kelimeleri yazın.

Metin Özetleme

Kısaltılmış bir versiyon oluşturmak için bir kaynaktan gelen önemli bilgilerin özetlenmesi süreci

Makine Çevirisi

Metin veya konuşmayı bir doğal dilden diğerine çevirmek için bilgisayar uygulamalarının kullanılması.

Duygu analizi

NLP, şirketlerin bir ürünle ilgili çok sayıda incelemeyi analiz etmesine yardımcı olur. Ayrıca müşterilerinin belirli bir ürün hakkında yorum yapmasına da olanak tanır.

NLP'nin Geleceği

• İnsan tarafından okunabilen doğal dil işleme en büyük yapay zeka sorunudur. Bu, merkezi yapay zeka sorununu çözmek ve bilgisayarları insanlar kadar akıllı hale getirmekle neredeyse aynı şey.
• Geleceğin bilgisayarları veya makineleri, NLP'nin yardımıyla bilgileri çevrimiçi olarak öğrenip bunları gerçek dünyada uygulayabilecek, ancak bu konuda daha çok çalışma yapılması gerekiyor.
• Doğal dil araç seti veya nltk daha etkili hale geliyor
• Doğal dil üretimiyle birleştiğinde bilgisayarlar, yararlı ve becerikli bilgi veya verileri alma ve verme konusunda daha yetenekli hale gelecektir.

Doğal Dil ve Bilgisayar Dili

Doğal Dil ile Bilgisayar Dili arasındaki temel farklar aşağıdadır:

Parametre	Doğal lisan	Bilgisayar dili
belirsiz	Doğası gereği belirsizdirler.	Açık bir şekilde tasarlanmışlardır.
fazlalık	Doğal diller çok fazla fazlalık kullanır.	Biçimsel diller daha az gereksizdir.
edebilik	Doğal diller deyim ve metaforlardan oluşur	Biçimsel diller tam olarak söylemek istediklerini ifade eder

NLP'nin Avantajları

• Kullanıcılar diledikleri konuyla ilgili soru sorabiliyor ve saniyeler içinde doğrudan yanıt alabiliyor.
• NLP sistemi sorulara doğal dilde yanıtlar veriyor
• NLP sistemi sorulara kesin cevaplar sunar, gereksiz veya istenmeyen bilgiler içermez
• Cevapların doğruluğu, soruda sağlanan ilgili bilgilerin miktarıyla artar.
• NLP süreci, bilgisayarların insanlarla kendi dillerinde iletişim kurmasına yardımcı olur ve dille ilgili diğer görevleri ölçeklendirir
• İnsanoğluna kıyasla daha fazla dil tabanlı veriyi yorulmadan, tarafsız ve tutarlı bir şekilde işlemenize olanak tanır.
• Yüksek düzeyde yapılandırılmamış bir veri kaynağı yapılandırma

NLP'nin dezavantajları

• Karmaşık Sorgu Dili- Sistem, kötü ifade edilmiş veya belirsiz sorulara doğru cevabı veremeyebilir.
• Sistem yalnızca tek ve spesifik bir görev için oluşturulmuştur; sınırlı işlevleri nedeniyle yeni alanlara ve sorunlara uyum sağlayamamaktadır.
• NLP sistemi, kullanıcıların sistemle daha fazla etkileşim kurmasına olanak tanıyan özelliklerden yoksun bir kullanıcı arayüzüne sahip değildir.

ÖZET

• Doğal Dil İşleme, bilgisayarların insan dilini anlamasına, yorumlamasına ve manipüle etmesine yardımcı olan bir yapay zeka dalıdır.
• NLP, Alan Turing'in "Makine ve Zeka" adlı makalesini yayınlamasıyla başladı.
• NLP asla ses modülasyonuna odaklanmaz; bağlamsal kalıplardan yararlanır
• Yapay Zekada Doğal Dil İşlemenin beş temel bileşeni şunlardır: 1) Morfolojik ve Sözcüksel Analiz 2) Sözdizimsel Analiz 3) Semantik Analiz 4) Söylem Entegrasyonu 5) Pragmatik Analiz
• Doğal süreç yazı sisteminin üç türü vardır: 1)Logografik 2) Hecesel 3) Alfabetik
• Makine öğrenimi ve İstatistiksel çıkarım, Doğal Süreç Öğreniminin uygulanmasına yönelik iki yöntemdir
• NLP'nin Temel Uygulamaları Bilgi Erişimi ve Web Araması, Dilbilgisi Düzeltmeli Soru Cevaplama, Metin Özetleme, Makine Çevirisi vb.'dir.
• NLP'nin yardımıyla geleceğin bilgisayarları veya makineleri Veri Bilim İnternetteki bilgilerden öğrenip bunları gerçek dünyada uygulayabilecekler ancak bu konuda daha çok çalışma yapılması gerekiyor
• NLP belirsizdir, açık kaynaklı bilgisayar dili ise belirsizliğe yer vermeyecek şekilde tasarlanmıştır
• Yapay Zeka sisteminde NLP'nin en büyük avantajı sorulara kesin cevaplar sunması, gereksiz veya istenmeyen bilgiler içermemesidir.
• NLP sisteminin en büyük dezavantajı tek ve spesifik bir görev için oluşturulmuş olması, sınırlı işlevlerden dolayı yeni alanlara ve sorunlara uyum sağlayamaması