Node.js NPM Vodič: Kako stvoriti, proširiti, objaviti module

Što je obrada prirodnog jezika?

Obrada prirodnog jezika (NLP) je grana od Umjetna inteligencija koji pomaže računalima da razumiju, interpretiraju i manipuliraju ljudskim jezicima poput engleskog ili hindskog kako bi analizirali i izveli njihovo značenje. NLP pomaže programerima da organiziraju i strukturiraju znanje za obavljanje zadataka poput prevođenja, sažimanja, prepoznavanja imenovanih entiteta, izražavanja odnosatraccija, prepoznavanje govora i segmentacija tema.

Povijest NLP-a

Evo važnih događaja u povijesti obrade prirodnog jezika:

• 1950: NLP je započeo kada je Alan Turing objavio članak pod nazivom „Računalni strojevi i inteligencija“.
• 1950: Učinjeni su prvi pokušaji automatizacije prevođenja između ruskog i engleskog jezika.
• 1960: Rad Chomskyja i drugih na teoriji formalnih jezika i generativnoj sintaksi unaprijedio je to područje.
• 1990: Probabilistički i modeli temeljeni na podacima postali su prilično standardni.
• 2000: Velike količine govornih i tekstualnih podataka postale su dostupne.

Kako NLP funkcionira?

Prije nego što naučimo kako NLP funkcionira, shvatimo kako ljudi koriste jezik. Svakodnevno izgovaramo tisuće riječi koje drugi ljudi interpretiraju kako bi učinili bezbroj stvari. Smatramo to jednostavnom komunikacijom, ali riječi sežu mnogo dublje od toga. Uvijek postoji neki kontekst koji izvlačimo iz onoga što kažemo i kako to kažemo. NLP u umjetnoj inteligenciji nikada se ne fokusira na modulaciju glasa; umjesto toga, crpi iz kontekstualnih obrazaca.

Primjer:

Man is to woman as king is to __________?
Meaning(king) - meaning(man) + meaning(woman) = ?
The answer is: queen

Ovdje možemo lako povezati jer je muškarac muški rod, a žena ženski rod. Na isti način, kralj je muški rod, a njegov ženski ekvivalent je kraljica.

Primjer:

Is king to kings as queen is to _______?
The answer is: queens

Ovdje vidimo dvije riječi, kralj i kraljevi, gdje je jedna u jednini, a druga u množini. Stoga, kada se pojavi riječ kraljica, ona se automatski povezuje s riječju kraljice, opet kao par jednine i množine.

Najveće pitanje je: kako znamo što riječi znače? Odgovor je da to učimo kroz iskustvo. Sljedeće pitanje je kako računalo može znati isto. Moramo osigurati dovoljno podataka kako bi strojevi učili kroz iskustvo. Možemo unijeti detalje poput:

• Njezino Veličanstvo Kraljica.
• Kraljičin govor tijekom državnog posjeta.
• Kruna kraljice Elizabete.
• Kraljičina majka.
• Kraljica je velikodušna.

S gornjim primjerima, stroj razumije entitet Kraljica. Stroj zatim stvara vektore riječi, gdje se vektor riječi gradi korištenjem okolnih riječi.

Stroj stvara ove vektore dok uči iz više skupova podataka, koristeći strojno učenje kao što su algoritmi dubokog učenja i gradeći svaki vektor riječi od okolnih riječi. Formula je:

vector(king) - vector(man) + vector(woman) = vector(?)

To se svodi na izvođenje jednostavnih algebarskih operacija na vektorima riječi, na što stroj odgovara kraljicom.

Komponente NLP-a

Pet glavnih komponenti obrade prirodnog jezika u umjetnoj inteligenciji su:

• Morfološka i leksička analiza
• Sintaktička analiza
• Semantička analiza
• Integracija diskursa
• Pragmatička analiza

Komponente NLP-a

Morfološka i leksička analiza

Leksička analiza obuhvaća vokabular koji uključuje riječi i izraze. Analizira, identificira i opisuje strukturu riječi. Uključuje podjelu teksta na odlomke, rečenice i riječi. Pojedinačne riječi se analiziraju na njihove komponente, a neriječni tokeni poput interpunkcije se odvajaju od riječi.

Sintaktička analiza

Riječi se općenito prihvaćaju kao najmanje jedinice sintakse. Sintaksa se odnosi na načela i pravila koja upravljaju rečeničnom strukturom bilo kojeg pojedinog jezika. Sintaksa se usredotočuje na pravilan redoslijed riječi, što može utjecati na njihovo značenje. To uključuje analizu riječi u rečenici praćenjem njezine gramatičke strukture i pretvaranje riječi u strukturu koja pokazuje kako su međusobno povezane.

Semantička analiza

Semantička analiza je struktura koju stvara sintaktički analizator i koja dodjeljuje značenje. Ova komponenta pretvara linearne nizove riječi u strukture i pokazuje kako su riječi međusobno povezane. Semantika se fokusira samo na doslovno značenje riječi, fraza i rečenica, apstracizvlačenje rječničkog značenja iz danog konteksta. Na primjer, „bezbojna zelena ideja“ bi bila odbačena semantičkom analizom jer opis nema smisla.

Integracija diskursa

Integracija diskursa znači osjećaj konteksta. Značenje bilo koje pojedinačne rečenice ovisi o rečenicama oko nje, a utječe i na značenje sljedeće rečenice. Na primjer, riječ „da“ u rečenici „On je to htio“ ovisi o prethodnom diskursnom kontekstu.

Pragmatička analiza

Pragmatička analiza bavi se cjelokupnim komunikacijskim i društvenim sadržajem i njegovim utjecajem na interpretaciju. To znači izvođenje smislene upotrebe jezika u situacijama. U ovoj analizi glavni fokus je uvijek na onome što je rečeno, reinterpretiranom kao ono što se mislilo. Na primjer, „Zatvoriti prozor?“ treba tumačiti kao zahtjev, a ne kao naredbu. Pragmatička analiza pomaže korisnicima da otkriju taj namjeravani učinak primjenom skupa pravila koja karakteriziraju kooperativne dijaloge.

NLP i sustavi pisanja

Vrsta sustava pisanja koji se koristi za neki jezik jedan je od odlučujućih čimbenika u određivanju najboljeg pristupa za prethodnu obradu teksta. Sustavi pisanja mogu biti:

1. Logografija: Veliki broj pojedinačnih simbola predstavlja riječi, na primjer japanski i mandarinski.
2. Slogovni: Pojedinačni simboli predstavljaju slogove.
3. Abecedno: Pojedinačni simboli predstavljaju zvukove.

Većina sustava pisanja koristi silabički ili abecedni sustav. Čak i engleski jezik, sa svojim relativno jednostavnim sustavom pisanja temeljenim na latinici, koristi logografske simbole, koji uključuju arapske brojeve, simbole valuta ($, £) i druge posebne simbole. To predstavlja sljedeće izazove:

• ExtracIzvlačenje značenja (semantike) iz teksta predstavlja izazov.
• NLP u umjetnoj inteligenciji ovisi o kvaliteti korpusa. Ako je domena opsežna, teško je razumjeti kontekst.
• Postoji ovisnost o skupu znakova i jeziku.

Kako implementirati NLP

U nastavku su navedene popularne metode koje se koriste za obradu prirodnog jezika:

Strojno učenje: Ovi se postupci koriste tijekom strojnog učenja. Model se automatski fokusira na najčešće slučajeve. Kada pravila pišemo ručno, ona često nisu točna zbog ljudskih pogrešaka.

Statistički zaključak: NLP može koristiti algoritme statističkog zaključivanja. Oni vam pomažu u stvaranju modela koji su robusni čak i kada sadrže riječi ili strukture koje su vam nepoznate.

NLP primjeri

Danas se tehnologija obrade prirodnog jezika široko koristi. Evo uobičajenih tehnika obrade prirodnog jezika:

Pronalaženje informacija i pretraživanje weba: Google, Yahoo, Bing i ostali tražilice temelje svoju tehnologiju strojnog prevođenja na NLP modelima dubokog učenja. To omogućuje algoritmima čitanje teksta na web stranici, tumačenje njegovog značenja i prevođenje na drugi jezik.

Gramatički ispravak: NLP tehnika se široko koristi u programima za obradu teksta poput MS Worda za ispravljanje pravopisa i provjeru gramatike.

Odgovaranje na pitanje: Korisnici upisuju ključne riječi kako bi postavljali pitanja na prirodnom jeziku.

Sažetak teksta: Ovo je proces sažimanja važnih informacija iz izvora kako bi se dobila skraćena verzija.

Strojno prevođenje: To je korištenje računalnih aplikacija za prevođenje teksta ili govora s jednog prirodnog jezika na drugi.

Analiza raspoloženja: NLP pomaže tvrtkama analizirati veliki broj recenzija proizvoda i omogućuje kupcima da daju povratne informacije o određenom proizvodu.

Budućnost NLP-a

• Obrada prirodnog jezika čitljivog ljudima najveći je problem umjetne inteligencije. To je gotovo isto kao rješavanje središnjeg problema umjetne inteligencije i stvaranje računala inteligentnih poput ljudi.
• Uz pomoć NLP-a, budući strojevi moći će učiti iz informacija s interneta i primjenjivati ​​ih u stvarnom svijetu, iako je u tom pogledu još uvijek potrebno puno rada.
• Prirodni Language Toolkomplet, ili NLTK, nastavlja postajati sve učinkovitiji.
• U kombinaciji s generiranjem prirodnog jezika, računala će postati sposobnija primati i davati korisne i snalažljive informacije ili podatke.

Prirodni jezik naspram računalnog jezika

U nastavku su navedene glavne razlike između prirodnog jezika i računalnog jezika:

Prednosti NLP-a

• Korisnici mogu postavljati pitanja o bilo kojoj temi i dobiti izravan odgovor u roku od nekoliko sekundi.
• NLP sustav pruža odgovore na pitanja prirodnim jezikom.
• NLP sustav nudi točne odgovore, bez nepotrebnih ili neželjenih informacija.
• Točnost odgovora raste s količinom relevantnih informacija navedenih u pitanju.
• NLP pomaže računalima da komuniciraju s ljudima na njihovom jeziku i prilagođava druge zadatke povezane s jezikom.
• Omogućuje vam da izvršite više jezičnih analiza nego čovjek, bez zamora, na nepristran i dosljedan način.
• Pomaže u strukturiranju vrlo nestrukturiranog izvora podataka.

Nedostaci NLP-a

• Složeni jezik upita: Sustav možda neće moći dati točan odgovor ako je pitanje loše formulirano ili dvosmisleno.
• Sustav je izgrađen samo za jedan, specifičan zadatak; zbog ograničenih funkcija ne može se prilagoditi novim domenama i problemima.
• NLP sustavu može nedostajati korisničko sučelje sa značajkama koje korisnicima omogućuju daljnju interakciju sa sustavom.

Pitanja i odgovori