Sanan upottaminen ja Word2Vec esimerkin avulla

Mikä on Wordin upottaminen?

Sanaan upottaminen on sanojen esitystapa, jonka avulla koneoppimisalgoritmit voivat ymmärtää samankaltaisia ​​sanoja. Se on kielen mallinnus- ja ominaisuuksien oppimistekniikka, jolla sanat voidaan yhdistää reaalilukujen vektoreiksi käyttämällä neuroverkkoja, probabilistisia malleja tai dimensioiden pienentämistä sanojen yhteisesiintymismatriisissa. Joitakin sanojen upotusmalleja ovat Word2vec (Google), GloVe (Stanford) ja fastText (Facebook).

Sanan upottamista kutsutaan myös hajautetuksi semanttiseksi malliksi, hajautetuksi edustetuksi malliksi, semanttiseksi vektoriavaruudeksi tai vektoriavaruusmalliksi. Näitä nimiä lukiessasi törmäät sanaan semanttinen, mikä tarkoittaa samankaltaisten sanojen luokittelua yhteen. Esimerkiksi hedelmät, kuten omena, mango ja banaani, tulisi sijoittaa lähelle toisiaan, kun taas kirjat sijoitetaan kauas näistä sanoista. Laajemmassa merkityksessä sanojen upottaminen luo hedelmistä vektorin, joka sijoitetaan kauas kirjojen vektoriesityksestä.

Missä Word Embeddingia käytetään?

Sanan upottaminen auttaa ominaisuuksien luomisessa, asiakirjojen klusteroinnissa, tekstin luokittelussa ja luonnollisen kielen käsittelytehtävissä. Listataanpa nämä sovellukset ja käsitellään niitä kaikkia.

• Laske samanlaiset sanat: Sanan upottamista käytetään ehdottamaan samankaltaisia ​​sanoja ennustusmallin kohteena olevan sanan kanssa. Sen lisäksi se ehdottaa myös erilaisia ​​sanoja sekä yleisimpiä sanoja.
• Luo ryhmä toisiinsa liittyviä sanoja: Sitä käytetään semanttiseen ryhmittelyynping, joka ryhmittelee samankaltaisia ​​​​ominaisuuksia omaavat asiat yhteen ja työntää erilaiset kauas pois.
• Tekstin luokittelun ominaisuus: Teksti mapataan vektoritaulukoiksi, jotka syötetään mallille koulutusta ja ennustamista varten. Tekstipohjaisia ​​luokittelumalleja ei voida kouluttaa merkkijonoilla, joten tämä muuntaa tekstin koneellisesti opetettavaan muotoon. Sen semanttiset rakennusominaisuudet auttavat edelleen tekstipohjaisessa luokittelussa.
• Asiakirjojen klusterointi: Tämä on toinen sovellus, jossa Word Embeddingiä ja Word2veciä käytetään laajalti.
• Luonnollisen kielen käsittely: On monia sovelluksia, joissa sanojen upottaminen on hyödyllistä ja voittaa ominaisuusesimerkin.traction vaiheet, kuten sanaluokkien merkitseminen, mielipideanalyysi ja syntaktinen analyysi.

Nyt kun ymmärrät, mihin sanojen upottamista käytetään, katsotaanpa suosituinta mallia, jota käytetään näiden upotusten luomiseen.

Mikä on Word2vec?

Word2vec on tekniikka tai malli, joka tuottaa sanojen upotuksia paremman sanojen esitystavan saavuttamiseksi. Se on luonnollisen kielen käsittelymenetelmä, joka tallentaa suuren määrän tarkkoja syntaktisia ja semanttisia sanasuhteita. Se on matala kaksikerroksinen neuroverkko, joka pystyy tunnistamaan synonyymeja ja ehdottamaan lisäsanoja osittaisiin lauseisiin, kun se on koulutettu.

Ennen kuin jatkat, katso ero matalan ja syvän neuroverkon välillä, kuten alla olevasta Word-upotusesimerkkikaaviosta näkyy:

Pintainen neuroverkko koostuu vain yhdestä piilotetusta kerroksesta syötteen ja lähdön välillä, kun taas syvässä neuroverkossa on useita piilotettuja kerroksia syötteen ja lähdön välillä. Syöttö on alttiina solmuille, kun taas piilotettu kerros, samoin kuin lähtökerros, sisältää neuroneja.

Word2vec on kaksikerroksinen verkko, jossa on tulokerros, yksi piilokerros ja lähtökerros.

Word2vecin kehitti Tomas Mikolovin johtama tutkijaryhmä GoogleWord2vec on parempi ja tehokkaampi kuin latentti semanttinen analyysimalli.

Miksi Word2vec?

Word2vec esittää sanoja vektoriavaruuden esityksessä. Sanat esitetään vektorien muodossa, ja sijoittelu tehdään siten, että samanmerkitykseiset sanat esiintyvät yhdessä ja erilaiset sanat sijaitsevat kaukana toisistaan. Tätä kutsutaan myös semanttiseksi suhteeksi. Neuroverkot eivät ymmärrä tekstiä; sen sijaan ne ymmärtävät vain numeroita. Sanan upottaminen tarjoaa tavan muuntaa teksti numeeriseksi vektoriksi.

Word2vec rekonstruoi sanojen kielellisen kontekstin. Ennen kuin jatkamme, ymmärretään, mitä kielellinen konteksti on. Yleisessä tilanteessa, kun puhumme tai kirjoitamme kommunikoidaksemme, muut ihmiset yrittävät selvittää lauseen tarkoituksen. Esimerkiksi: "Mikä on Intian lämpötila?" Tässä kontekstina on, että käyttäjä haluaa tietää "Intian lämpötilan". Lyhyesti sanottuna lauseen päätarkoitus on konteksti. Puhuttua tai kirjoitettua kieltä ympäröivät sanat tai lauseet auttavat määrittämään kontekstin merkityksen. Word2vec oppii sanojen vektoriesityksen näiden kontekstien avulla.

Mitä Word2vec tekee?

Ennen Wordin upottamista

On tärkeää tietää, mitä lähestymistapaa käytettiin ennen sanojen upottamista ja mitkä ovat sen haitat, ja sen jälkeen katsomme, miten nämä haitat korjataan sanojen upottamisella Word2vec-lähestymistapaa käyttäen. Lopuksi siirrymme siihen, miten Word2vec toimii, koska on tärkeää ymmärtää sen toimintaperiaate.

Lähestymistapa piilevään semanttiseen analyysiin

Tätä lähestymistapaa käytettiin ennen sanojen upottamista. Siinä käytettiin sanapussin käsitettä, jossa sanat esitetään koodattujen vektorien muodossa. Se on harva vektoriesitys, jossa dimensio on yhtä suuri kuin sanaston koko. Jos sana esiintyy sanakirjassa, se lasketaan; muuten sitä ei. Lisätietoja on alla olevassa ohjelmassa.

Word2vec esimerkki

from sklearn.feature_extraction.text import CountVectorizer

vectorizer = CountVectorizer()
data_corpus = ["guru99 is the best site for online tutorials. I love to visit guru99."]
vocabulary = vectorizer.fit(data_corpus)
X = vectorizer.transform(data_corpus)

print(X.toarray())
print(vectorizer.get_feature_names_out())

lähtö:

[[1 2 1 1 1 1 1 1 1 1]]
[u'best', u'guru99', u'is', u'love', u'online', u'sitefor', u'the', u'to', u'tutorials', u'visit']

Code Selitys

1. CountVectorizer on moduuli, jota käytetään sanaston tallentamiseen sanojen sopivuuden perusteella. Tämä on tuotu sklearnista.
2. Tee objekti käyttämällä luokkaa CountVectorizer.
3. Kirjoita listaan ​​tiedot, jotka sovitetaan CountVectorizeriin.
4. Data mahtuu luokasta CountVectorizer luotuun objektiin.
5. Käytä sanapussimenetelmää sanojen laskemiseen datassa sanaston avulla. Jos sanaa tai merkkiä ei ole saatavilla sanastossa, sen indeksisijainti asetetaan nollaksi.
6. Rivillä 5 oleva muuttuja, joka on x, muunnetaan taulukoksi (x:lle käytettävissä oleva metodi). Tämä antaa rivillä 3 annetun lauseen tai listan kunkin tunnuksen lukumäärän.
7. Tämä näyttää sanastoon kuuluvat ominaisuudet, kun se sovitetaan rivin 4 tietojen perusteella.

Latenttisemanttisessa lähestymistavassa rivi edustaa yksilöllisiä sanoja, kun taas sarake edustaa sanan esiintymiskertojen lukumäärää dokumentissa. Se on sanojen esitys dokumenttimatriisin muodossa. Termin esiintymistiheys-käänteinen dokumenttifrekvenssi (TF-IDF) -funktiota käytetään sanojen esiintymistiheyden laskemiseen dokumentissa, joka on termin esiintymistiheys dokumentissa jaettuna termin esiintymistiheydellä koko korpuksessa.

Bag of Words -menetelmän puute

• Se jättää sanajärjestyksen huomiotta; esim. Tämä on huono = paha onko tämä.
• Se jättää sanojen kontekstin huomiotta. Oletetaan, että kirjoitamme lauseen ”Hän rakasti kirjoja. Koulutus löytyy parhaiten kirjoista.” Se loisi kaksi vektoria: yhden lauseelle ”Hän rakasti kirjoja” ja toisen lauseelle ”Koulutus löytyy parhaiten kirjoista”. Se käsittelisi molempia ortogonaalisina, mikä tekee niistä itsenäisiä, mutta todellisuudessa ne ovat yhteydessä toisiinsa.

Näiden rajoitusten voittamiseksi kehitettiin sanojen upottaminen, ja Word2vec on yksi sen toteuttamiseen käytetty lähestymistapa.

Miten Word2vec toimii?

Word2vec oppii sanan ennustamalla sen kontekstin. Otetaan esimerkiksi sana ”Hän rakastaa Jalkapallo."

Haluamme laskea sanan Word2vec-muuttujat: rakastaa.

Olettaa:

loves = Vin. P(Vout / Vin) is calculated
where,
Vin is the input word.
P is the probability of likelihood.
Vout is the output word.

sana rakastaa siirtyy jokaisen korpuksen sanan yli. Sanojen väliset syntaktiset ja semanttiset suhteet koodataan. Tämä auttaa löytämään samankaltaisia ​​ja analogisia sanoja.

Kaikki sanan satunnaiset ominaisuudet rakastaa lasketaan. Näitä ominaisuuksia muutetaan tai päivitetään suhteessa naapuri- tai kontekstisanoihin käyttämällä Takaisin leviäminen menetelmällä.

Toinen tapa oppia on, että jos kahden sanan asiayhteydet ovat samankaltaiset tai kahdella sanalla on samankaltaisia ​​piirteitä, niin tällaiset sanat ovat sukua toisilleen.

Word2vec Archirakenne

Word2vec käyttää kahta arkkitehtuuria:

1. Jatkuva sanapussi (CBOW)
2. Ohitusgrammi

Ennen kuin jatkamme, keskustellaanpa siitä, miksi nämä arkkitehtuurit tai mallit ovat tärkeitä sanan esityksen kannalta. Sanan esityksen oppiminen on pohjimmiltaan ohjaamatonta, mutta mallin kouluttamiseen tarvitaan kohteita/tunnisteita. Skip-gram ja CBOW muuntavat ohjaamattoman esityksen valvottuun muotoon mallin kouluttamista varten.

CBOW:ssa nykyinen sana ennustetaan käyttämällä ympäröivien kontekstiikkunoiden ikkunaa. Esimerkiksi jos w_i-1, W_i-2, W_{i + 1}, W_{i + 2} on annettu sanoja tai konteksti, tämä malli tarjoaa w_i.

Skip-Gram toimii CBOW:n vastakkaisella tavalla, mikä tarkoittaa, että se ennustaa annetun sekvenssin tai kontekstin sanasta. Voit kääntää esimerkin päinvastaiseksi ymmärtääksesi sitä. Jos w_i jos annetaan, tämä ennustaa kontekstin eli w_i-1, W_i-2, W_{i + 1}, W_{i + 2}.

Word2vec tarjoaa mahdollisuuden valita CBOW:n (Continuous Bag of Words) ja skip-gramin välillä. Nämä parametrit annetaan mallin koulutuksen aikana. Voidaan käyttää negatiivista näytteenottoa tai hierarkkista softmax-kerrosta.

Jatkuva sanapussi

Piirretään yksinkertainen Word2vec-esimerkkikaavio jatkuvan sanapussiarkkitehtuurin ymmärtämiseksi.

Lasketaan yhtälöt matemaattisesti. Oletetaan, että V on sanaston koko ja N on piilotetun kerroksen koko. Syöte määritellään muodossa { x_i-1, x_i-2, x_{i + 1}, x_{i + 2} }. Saamme painomatriisin kertomalla V * N. Toinen matriisi saadaan kertomalla syöttövektori painomatriisilla. Tämä voidaan ymmärtää myös seuraavasta yhtälöstä.

h = xi^tW

missä xi^t ja W ovat vastaavasti syötevektori ja painomatriisi.

Laske kontekstin ja seuraavan sanan välinen vastaavuus alla olevan yhtälön avulla.

u = ennustettu esitys * h

jossa ennustettu esitys saadaan yllä olevan yhtälön mallista.

Skip-Gram malli

Skip-Gram-lähestymistapaa käytetään lauseen ennustamiseen syötetyn sanan perusteella. Ymmärtääksemme sitä paremmin, piirretään alla olevassa Word2vec-esimerkissä esitetty kaavio.

Sitä voidaan käsitellä käänteisenä versiona jatkuvasta sanasäkistä (Continuous Bag of Words), jossa syöte on sana ja malli tarjoaa kontekstin tai sekvenssin. Voimme myös päätellä, että kohde syötetään syötteeseen ja tulostekerros replikoidaan useita kertoja valitun kontekstisanojen määrän mukauttamiseksi. Kaikkien tulostekerrosten virhevektori summataan painojen säätämiseksi takaisinpropagaatiomenetelmällä.

Mikä malli valita?

CBOW on useita kertoja nopeampi kuin skip-gram ja tarjoaa paremman taajuuden usein esiintyville sanoille, kun taas skip-gram tarvitsee pienen määrän harjoitusdataa ja edustaa jopa harvinaisia ​​sanoja tai lauseita. Alla oleva taulukko vertailee molempia arkkitehtuureja yhdellä silmäyksellä.

Word2vecin ja NLTK:n välinen suhde

NLTK on luonnollinen Language Toolpakkaus. Sitä käytetään tekstin esikäsittelyyn. Sillä voidaan suorittaa erilaisia ​​toimintoja, kuten sanaluokkien merkitsemistä, lemmatisointia, vartalonmuodostusta, stop-sanojen poistamista sekä harvinaisten tai vähiten käytettyjen sanojen poistamista. Se auttaa tekstin puhdistamisessa ja ominaisuuksien valmistelussa tehokkaista sanoista. Toisaalta Word2veciä käytetään semanttiseen (läheisesti toisiinsa liittyvät kohdat) ja syntaktiseen (sekvenssi) yhteensovittamiseen. Word2vecin avulla voidaan löytää samankaltaisia ​​sanoja, erilaisia ​​sanoja, mittojen pienentämistä ja monia muita toimintoja. Toinen tärkeä Word2vecin ominaisuus on muuntaa tekstin korkeamman ulottuvuuden esitys matalamman ulottuvuuden vektoreiksi.

Missä NLTK:ta ja Word2vecia käytetään?

Jos on suoritettava joitakin edellä mainittuja yleiskäyttöisiä tehtäviä, kuten tokenisointi, POS-tunnisteet ja jäsentäminen, on käytettävä NLTK:ta, kun taas sanojen ennustamiseen jonkin kontekstin, aihemallinnuksen tai dokumenttien samankaltaisuuden mukaan on käytettävä Word2vecia.

NLTK:n ja Word2vecin suhde koodin avulla

NLTK:ta ja Word2veciä voidaan käyttää yhdessä samankaltaisten sanaesitysten tai syntaktisten vastaavuuksien löytämiseen. NLTK-työkalupakin avulla voidaan ladata useita NLTK:n mukana tulevia paketteja, ja Word2vecin avulla voidaan luoda malli. Sitä voidaan sitten testata reaaliaikaisilla sanoilla. Katsotaanpa molempien yhdistelmää seuraavassa koodissa. Ennen kuin jatkat käsittelyä, tutustu NLTK:n tarjoamiin korpusiin. Voit ladata sen komennolla:

nltk(nltk.download('all'))

Katso koodi kuvakaappauksesta.

import nltk
import gensim
from nltk.corpus import abc

model = gensim.models.Word2Vec(abc.sents())
X = list(model.wv.vocab)
data = model.most_similar('science')
print(data)

lähtö:

[('law', 0.9415997266769409), ('practice', 0.9276568293571472), ('discussion', 0.9259148836135864), ('agriculture', 0.9257254004478455), ('media', 0.9232194423675537), ('policy', 0.922248125076294), ('general', 0.9166069030761719), ('undertaking', 0.916458249092102), ('tight', 0.9129181504249573), ('board', 0.9107444286346436)]

Selitys Code

1. Nltk-kirjasto tuodaan, josta voit ladata abc-korpuksen, jota käytämme seuraavassa vaiheessa.
2. Gensim on tuotu. Jos Gensim Word2vec ei ole asennettu, asenna se komennolla ”pip3 install gensim”. Katso alla olevaa kuvakaappausta.

3. Tuo abc-korpus, joka on ladattu funktiolla nltk.download('abc').
4. Välitä tiedostot lauseina Word2vec-mallille, joka tuodaan Gensimin avulla.
5. Sanasto tallennetaan muuttujan muodossa.
6. Mallia testataan esimerkkisanalla tiede, koska nämä tiedostot liittyvät tieteeseen.
7. Tässä malli ennustaa samankaltaisen sanan "tiede".

Aktivaattorit ja Word2Vec

Neuronien aktivaatiofunktio määrittelee neuronien tuotoksen tietyllä syötejoukolla. Se on biologisesti inspiroitunut aivojemme toiminnasta, jossa eri neuronit aktivoituvat erilaisten ärsykkeiden vaikutuksesta. Ymmärretään aktivaatiofunktio seuraavan kaavion avulla.

Tässä x1, x2, … x4 ovat neuroverkon solmut.

w1, w2 ja w3 ovat solmujen painot.

Kaikkien painojen ja solmuarvojen summa (Σ) toimii aktivointifunktiona.

Miksi aktivointitoiminto?

Jos aktivointifunktiota ei käytetä, tuloste olisi lineaarinen, mutta lineaarisen funktion toiminnallisuus on rajoitettu. Monimutkaisten toimintojen, kuten objektien tunnistuksen, kuvan luokittelun, saavuttamiseksiping tekstin tuottamiseen äänellä ja moniin muihin epälineaarisiin tulosteisiin tarvitaan aktivointifunktio.

Kuinka aktivointikerros lasketaan sanan upotuksessa (Word2vec)

Softmax-kerros (normalisoitu eksponentiaalifunktio) on lähtökerroksen funktio, joka aktivoi tai laukaisee jokaisen solmun. Toinen käytetty lähestymistapa on hierarkkinen softmax, jossa kompleksisuus lasketaan O(log₂V), kun taas softmaxissa se on O(V), jossa V on sanaston koko. Näiden välinen ero on hierarkkisen softmax-kerroksen monimutkaisuuden vähentäminen. Ymmärtääksesi sen toiminnallisuuden, katso alla olevaa Wordin upotusesimerkkiä:

Oletetaan, että haluamme laskea sanan havaitsemisen todennäköisyyden rakkaus tietyssä kontekstissa. Virta juuresta lehtisolmuun siirtyy ensin solmuun 2 ja sitten solmuun 5. Joten jos sanaston koko on 8, tarvitaan vain kolme laskutoimitusta. Tämä mahdollistaa yhden sanan todennäköisyyden laskennan hajottamisen osiin (rakkaus).

Mitä muita vaihtoehtoja on saatavilla kuin Hierarchical Softmax?

Yleisesti ottaen käytettävissä olevat sanojen upotusvaihtoehdot ovat differentioitu Softmax, CNN-Softmax, tärkeysnäytteenotto, adaptiivinen tärkeysnäytteenotto, kohinan kontrastiivinen estimointi, negatiivinen näytteenotto, itsenormalisointi ja harvinainen normalisointi.

Erityisesti Word2vecin osalta meillä on saatavilla negatiivista näytteenottoa.

Negatiivinen näytteenotto on tapa ottaa näytteitä harjoitusdatasta. Se on jonkin verran kuin stokastinen gradienttilaskeutuminen, mutta sillä on joitakin eroja. Negatiivinen näytteenotto etsii vain negatiivisia harjoitusesimerkkejä. Se perustuu kohinan kontrastiiviseen estimointiin ja ottaa näytteitä satunnaisesti sanoista, jotka eivät ole kontekstissa. Se on nopea harjoitusmenetelmä ja valitsee kontekstin satunnaisesti. Jos ennustettu sana esiintyy satunnaisesti valitussa kontekstissa, molemmat vektorit ovat lähellä toisiaan.

Mitä johtopäätöstä voidaan vetää?

Aktivaattorit laukaisevat neuroneja aivan kuten omat neuronimme laukaistaan ​​ulkoisten ärsykkeiden vaikutuksesta. Softmax-kerros on yksi tulostuskerroksen funktioista, joka laukaisee neuronit sanojen upottamisen tapauksessa. Word2vecissä meillä on vaihtoehtoja, kuten hierarkkinen softmax ja negatiivinen näytteenotto. Aktivaattoreiden avulla voidaan muuntaa lineaarinen funktio epälineaariseksi funktioksi, ja tällaisten funktioiden avulla voidaan toteuttaa monimutkainen koneoppimisalgoritmi.

Mikä on Gensim?

Gensim on avoimen lähdekoodin aihemallinnuksen ja luonnollisen kielen käsittelyn työkalupakki, joka on toteutettu Python ja Cython. Gensim-työkalupakki mahdollistaa Word2vecin tuonnin aiheiden mallintamista varten, jotta voidaan löytää piilotettuja rakenteita tekstistä. Gensim tarjoaa paitsi Word2vecin toteutuksen myös Doc2vecin ja FastTextin.

Tämä osio keskittyy Word2veciin, joten pysymme nykyisessä aiheessa.

Kuinka ottaa Word2vec käyttöön Gensimin avulla

Tähän asti olemme käsitelleet, mitä Word2vec on, sen eri arkkitehtuureja, miksi sanapussista on siirrytty Word2veciin, Word2vecin ja NLTK:n välistä suhdetta reaaliaikaiseen koodiin sekä aktivointifunktioita.

Alla on vaiheittainen menetelmä Word2vecin toteuttamiseksi Gensimin avulla:

Vaihe 1) Tiedonkeruu

Ensimmäinen askel minkä tahansa koneoppimismallin toteuttamisessa tai luonnollisen kielen käsittelyn toteuttamisessa on tiedonkeruu.

Tarkkaile tietoja rakentaaksesi älykkään chatbotin alla olevan Gensim Word2vec -esimerkin mukaisesti.

[{"tag": "welcome",
"patterns": ["Hi", "How are you", "Is any one to talk?", "Hello", "hi are you available"],
"responses": ["Hello, thanks for contacting us", "Good to see you here", "Hi there, how may I assist you?"]
        },
{"tag": "goodbye",
"patterns": ["Bye", "See you later", "Goodbye", "I will come back soon"],
"responses": ["See you later, thanks for visiting", "have a great day ahead", "Wish you Come back again soon."]
        },
{"tag": "thankful",
"patterns": ["Thanks for helping me", "Thank your guidance", "That's helpful and kind from you"],
"responses": ["Happy to help!", "Any time!", "My pleasure", "It is my duty to help you"]
        },
        {"tag": "hoursopening",
"patterns": ["What hours are you open?", "Tell your opening time?", "When are you open?", "Just your timing please"],
"responses": ["We're open every day 8am-7pm", "Our office hours are 8am-7pm every day", "We open office at 8 am and close at 7 pm"]
        },
{"tag": "payments",
"patterns": ["Can I pay using credit card?", "Can I pay using Mastercard?", "Can I pay using cash only?"],
"responses": ["We accept VISA, Mastercard and credit card", "We accept credit card, debit cards and cash. Please don't worry"]
        }
   ]

Tässä on mitä ymmärrämme datasta:

• Tämä data sisältää kolme asiaa: tagin, mallin ja vastaukset. Tagi on tarkoitus (mikä on keskustelun aihe).
• Tiedot ovat JSON-muodossa.
• Kuvio on kysymys, jonka käyttäjät kysyvät botilta.
• Vastaukset ovat vastauksia, jotka chatbot antaa vastaavaan kysymykseen/kuvioon.

Vaihe 2) Tietojen esikäsittely

On erittäin tärkeää käsitellä raakadataa. Jos koneeseen syötetään puhdistettua dataa, malli reagoi tarkemmin ja oppii tiedot tehokkaammin.

Tässä vaiheessa poistetaan pysäytyssanat, rungonmuodostus, tarpeettomat sanat jne. Ennen jatkamista on tärkeää ladata data ja muuntaa se datakehykseksi. Katso alla oleva koodi tästä.

import json
json_file = 'intents.json'
with open('intents.json', 'r') as f:
    data = json.load(f)

Selitys Code:

1. Koska data on JSON-muodossa, json tuodaan.
2. Tiedosto tallennetaan muuttujaan.
3. Tiedosto avataan ja ladataan datamuuttujaan.

Nyt tiedot on tuotu, ja on aika muuntaa ne datakehykseksi. Katso seuraava vaihe alla olevasta koodista.

import pandas as pd
df = pd.DataFrame(data)
df['patterns'] = df['patterns'].apply(', '.join)

Selitys Code:

1. Data muunnetaan datakehykseksi käyttämällä edellä tuotuja pandoja.

2. Se muuntaa sarakekuvioiden luettelon merkkijonoksi.

from nltk.corpus import stopwords
from textblob import Word
stop = stopwords.words('english')
df['patterns'] = df['patterns'].apply(lambda x: ' '.join(x.lower() for x in x.split()))
df['patterns'] = df['patterns'].apply(lambda x: ' '.join(x for x in x.split() if x not in string.punctuation))
df['patterns'] = df['patterns'].str.replace('[^\w\s]', '')
df['patterns'] = df['patterns'].apply(lambda x: ' '.join(x for x in x.split() if not x.isdigit()))
df['patterns'] = df['patterns'].apply(lambda x: ' '.join(x for x in x.split() if x not in stop))
df['patterns'] = df['patterns'].apply(lambda x: " ".join([Word(word).lemmatize() for word in x.split()]))

Code Selitys:

1. Englanninkieliset pysäytyssanat tuodaan nltk-työkalupakin stop-word-moduulilla.

2. Kaikki tekstin sanat muunnetaan pieniksi kirjaimiksi käyttämällä for-ehtoa ja lambda-funktiota. A Lambda toiminto on anonyymi toiminto.

3. Kaikki datakehyksen tekstirivit tarkistetaan merkkijonojen välimerkkien varalta ja ne suodatetaan.

4. Merkit, kuten numerot tai pisteet, poistetaan säännöllisen lausekkeen avulla.

5. Digits poistetaan tekstistä.

6. Stop-sanat poistetaan tässä vaiheessa.

7. Sanat suodatetaan nyt ja saman sanan eri muodot poistetaan lemmatisoinnin avulla. Näillä olemme saattaneet datan esikäsittelyn päätökseen.

lähtö:

, patterns, responses, tag
0,hi one talk hello hi available,"['Hello, thanks for contacting us', 'Good to see you here', ' Hi there, how may I assist you?']",welcome
1,bye see later goodbye come back soon,"['See you later, thanks for visiting', 'have a great day ahead', 'Wish you Come back again soon.']",goodbye
2,thanks helping thank guidance thats helpful kind,"['Happy to help!', 'Any time!', 'My pleasure', 'It is my duty to help you']",thankful
3,hour open tell opening time open timing please,"[""We're open every day 8am-7pm"", 'Our office hours are 8am-7pm every day', 'We open office at 8 am and close at 7 pm']",hoursopening
4,pay using credit card pay using mastercard pay using cash,"['We accept VISA, Mastercard and credit card', 'We accept credit card, debit cards and cash. Please dont worry']",payments

Vaihe 3) Neuraaliverkon rakentaminen Word2vecillä

Nyt on aika rakentaa malli Gensim Word2vec -moduulia käyttäen. Meidän on tuotava Word2vec Gensimistä. Tehdään tämä, minkä jälkeen rakennamme mallin ja viimeisessä vaiheessa tarkistamme mallin reaaliaikaisen datan avulla.

from gensim.models import Word2Vec

Nyt voimme onnistuneesti rakentaa mallin Word2Vecillä. Katso seuraavalta koodiriviltä, ​​miten malli luodaan Word2Vecillä. Teksti annetaan mallille luettelon muodossa, joten muunnamme datakehyksen tekstin luetteloksi alla olevan koodin avulla.

Bigger_list = []
for i in df['patterns']:
     li = list(i.split(""))
     Bigger_list.append(li)
Model = Word2Vec(Bigger_list, min_count=1, size=300, workers=4)

Selitys Code:

1. Luotiin bigger_list-lista, johon sisälista liitetään. Tämä on muoto, joka syötetään Word2Vec-mallille.

2. Toteutetaan silmukka ja jokainen datakehyksen kuviosarakkeen merkintä iteroidaan.

3. Sarakekuvioiden jokainen elementti jaetaan ja tallennetaan sisempään listaan ​​li.

4. Sisäiseen luetteloon liitetään ulompi luettelo.

5. Tämä lista on tarkoitettu Word2Vec-mallille. Tarkastellaanpa joitakin tässä annettuja parametreja.

Min_count: Se jättää huomiotta kaikki sanat, joiden kokonaisfrekvenssi on tätä pienempi.

Koko: Se kertoo sanavektorien ulottuvuuden.

työntekijät: Nämä ovat säikeet mallin kouluttamiseen.

Tarjolla on myös muita vaihtoehtoja, ja joitakin tärkeimmistä selitetään alla.

ikkuna: Maksimietäisyys nykyisen ja ennustetun sanan välillä lauseessa.

Sg: Se on harjoitusalgoritmi: 1 skip-grammille ja 0 jatkuvalle sanapussille. Olemme käsitelleet näitä yksityiskohtaisesti edellä.

Hs: Jos tämä on 1, käytämme opetuksessa hierarkkista softmaxia, ja jos 0, käytämme negatiivista näytteenottoa.

alpha: Alkuperäinen oppimisnopeus.

Näytä lopullinen koodi alla:

# list of libraries used by the code
import string
from gensim.models import Word2Vec
import logging
from nltk.corpus import stopwords
from textblob import Word
import json
import pandas as pd
# data in json format
json_file = 'intents.json'
with open('intents.json', 'r') as f:
    data = json.load(f)
# displaying the list of stopwords
stop = stopwords.words('english')
# dataframe
df = pd.DataFrame(data)

df['patterns'] = df['patterns'].apply(', '.join)
# cleaning the data using the NLP approach
print(df)
df['patterns'] = df['patterns'].apply(lambda x: ' '.join(x.lower() for x in x.split()))
df['patterns'] = df['patterns'].apply(lambda x: ' '.join(x for x in x.split() if x not in string.punctuation))
df['patterns'] = df['patterns'].str.replace('[^\w\s]', '')
df['patterns'] = df['patterns'].apply(lambda x: ' '.join(x for x in x.split() if not x.isdigit()))
df['patterns'] = df['patterns'].apply(lambda x: ' '.join(x for x in x.split() if x not in stop))
df['patterns'] = df['patterns'].apply(lambda x: " ".join([Word(word).lemmatize() for word in x.split()]))
# taking the outer list
bigger_list = []
for i in df['patterns']:
    li = list(i.split(" "))
    bigger_list.append(li)
# structure of data to be taken by the model.word2vec
print("Data format for the overall list:", bigger_list)
# custom data is fed to machine for further processing
model = Word2Vec(bigger_list, min_count=1, size=300, workers=4)

Vaihe 4) Mallin tallennus

Malli voidaan tallentaa bin- ja mallitiedostomuotoon. Bin on binäärimuoto. Katso alla olevat rivit mallin tallentamiseksi.

model.save("word2vec.model")
model.save("model.bin")

Yllä olevan koodin selitys

1. Malli tallennetaan .model-tiedostona.

2. Malli tallennetaan .bin-tiedostona.

Käytämme tätä mallia reaaliaikaiseen testaukseen, kuten samankaltaisten sanojen, erilaisten sanojen ja yleisimpien sanojen testaamiseen.

Vaihe 5) Lataa malli ja suorita reaaliaikainen testaus

Malli ladataan alla olevalla koodilla:

model = Word2Vec.load('model.bin')

Jos haluat tulostaa sanaston siitä, se tehdään seuraavalla komennolla:

vocab = list(model.wv.vocab)

Katso tulos:

['see', 'thank', 'back', 'thanks', 'soon', 'open', 'mastercard', 'card', 'time', 'pay', 'talk', 'cash', 'one', 'please', 'goodbye', 'thats', 'helpful', 'hour', 'credit', 'hi', 'later', 'guidance', 'opening', 'timing', 'hello', 'helping', 'bye', 'tell', 'come', 'using', 'kind', 'available']

Vaihe 6) Useimpien samankaltaisten sanojen tarkistus

Toteutetaan asiat käytännössä:

similar_words = model.most_similar('thanks')
print(similar_words)

Katso tulos:

[('kind', 0.16104359924793243), ('using', 0.1352398842573166), ('come', 0.11500970274209976), ('later', 0.09989878535270691), ('helping', 0.04855936020612717), ('credit', 0.04659383371472359), ('pay', 0.0329081267118454), ('thank', 0.02484947443008423), ('hour', 0.0202352125197649), ('opening', 0.018177658319473267)]

Vaihe 7) Ei vastaa sanaa toimitetuista sanoista

dissimlar_words = model.doesnt_match('See you later, thanks for visiting'.split())
print(dissimlar_words)

Olemme toimittaneet sanat Nähdään myöhemmin, kiitos vierailustasi.Tämä tulostaa näistä sanoista toisistaan ​​​​poikkeavimman sanan. Suoritetaan tämä koodi ja etsitään tulos.

Tulos yllä olevan koodin suorittamisen jälkeen:

Thanks

Vaihe 8) Etsi samankaltaisuus kahden sanan välillä

Tämä kertoo tuloksen kahden sanan samankaltaisuuden todennäköisyyden funktiona. Katso alla olevasta koodista ohjeet tämän osion suorittamiseen.

similarity_two_words = model.similarity('please', 'see')
print("Please provide the similarity between these two words:")
print(similarity_two_words)

Yllä olevan koodin tulos on seuraava:

0.13706

Voit löytää lisää samankaltaisia ​​sanoja suorittamalla seuraavan koodin:

similar = model.similar_by_word('kind')
print(similar)

Yllä olevan koodin tuloste:

[('credit', 0.11764447391033173), ('cash', 0.11440904438495636), ('one', 0.11151769757270813), ('hour', 0.0944807156920433), ('using', 0.0705675333738327), ('thats', 0.05206916481256485), ('later', 0.04502468928694725), ('bye', 0.03960943967103958), ('back', 0.03837274760007858), ('thank', 0.0380823090672493)]

UKK