Az NLTK letöltése és telepítése

⚡ Okos összefoglaló

Töltse le és telepítse az NLTK-t a következőre: Windows, Mac vagy Linux rendszeren a telepítéssel Python először, majd adjuk hozzá a természetes Language Toolkit segítségével pip-en vagy Anaconda-n keresztül és a korpusz adatkészletek letöltésével.

  • Követelmény: Telepítés Python az NLTK hozzáadása előtt.
  • 🇧🇷 Telepítés: Használj pip-et, easy_install-t vagy Anaconda-t.
  • ???? Adatkészletek: Futtassa az nltk.download() függvényt a korpuszok lekéréséhez.
  • 🐍 Ellenőrzés: importálja az nltk-t a Python héj.
  • 🤖 MI használata: Tokenizálás és címkézés NLP folyamatokhoz.

Töltse le és telepítse az NLTK-t

NLTK telepítése Windows

Ismerje meg, hogyan állíthatja be az NLTK-t a következőn: Windows a parancssorból. Az alábbi utasítások feltételezik Python még nincs telepítve, ezért az első lépés a telepítés Python.

telepítése Python in Windows

Step 1) Nyissa meg a hivatkozást https://www.python.org/downloads/, és válaszd ki a legújabbat Windows kiadás.

telepítése Python in Windows

MegjegyzésekRégebbi verziókért látogasson el a Letöltések fülre az összes kiadás megtekintéséhez.

telepítése Python in Windows

Step 2) Kattintson a letöltött telepítőfájlra.

telepítése Python in Windows

Step 3) Válassza a Telepítés testreszabása lehetőséget.

telepítése Python in Windows

Step 4) Kattintson a KÖVETKEZŐ gombra.

telepítése Python in Windows

Step 5) A következő képernyőn:

  1. Válassza ki a speciális beállításokat.
  2. Adjon meg egyéni telepítési helyet. Ebben a példában a C meghajtón lévő mappa van kiválasztva a könnyebb hozzáférés érdekében.
  3. Kattintson a Telepítés gombra.

telepítése Python in Windows

Step 6) A telepítés befejezése után kattintson a Bezárás gombra.

telepítése Python in Windows

Step 7) Másolja ki a Scripts mappa elérési útját.

telepítése Python in Windows

Step 8) A Windows parancssor:

  • Navigáljon a pip mappa helyére.
  • Írja be a parancsot az NLTK telepítéséhez:
    pip3 install nltk
  • A telepítésnek sikeresen be kell fejeződnie.

telepítése Python in Windows

JEGYZET: Mert Python 2, használd a parancsot pip2 install nltk.

Step 9) Tól Windows Start menüben keresse meg és nyissa meg a Python Héj.

telepítése Python in Windows

Step 10) A telepítés működését a következő parancs futtatásával ellenőrizheti:

import nltk

telepítése Python in Windows

Ha nem jelenik meg hiba, a telepítés befejeződött.

Az NLTK telepítése Mac/Linux rendszeren

Az NLTK Mac vagy Linux rendszerre történő telepítéséhez a következő szükséges: Python pip csomagkezelő. Ha a pip nincs telepítve, kövesse az alábbi utasításokat a folyamat befejezéséhez.

Step 1) Frissítse a csomagindexet ty általping az alábbi parancs:

sudo apt update

Step 2) Pip telepítése ehhez: Python 3:

sudo apt install python3-pip

A pip-et az easy_install segítségével is telepítheted:

sudo apt-get install python-setuptools  python-dev build-essential

Miután az easy_install telepítve van, futtassa az alábbi parancsot a pip telepítéséhez:

sudo easy_install pip

Step 3) Az NLTK telepítéséhez használja a következő parancsot:

sudo pip install -U nltk
sudo pip3 install -U nltk

Az NLTK telepítése az Anacondán keresztül

Step 1) Az Anaconda telepítéséhez látogasson el a következő weboldalra: https://www.anaconda.com/products/individual és kiválasztja a Python verzió, amire szükséged van.

Az NLTK telepítése az Anacondán keresztül

Megjegyzés: Tekintse meg ezt az oktatóanyagot a részletes lépésekért telepítse az Anacondát.

Step 2) Az Anaconda parancssorban:

  1. Írja be a parancsot:
    conda install -c anaconda nltk
  2. RevTekintse meg a csomag frissítési, visszalépési és telepítési információit, majd írja be az igen értéket.
  3. Az NLTK letöltésre és telepítésre került.

Az NLTK telepítése az Anacondán keresztül

NLTK adatkészlet

Az NLTK modul számos adathalmazt tartalmaz, amelyeket használat előtt le kell tölteni. Technikailag minden adathalmazt egynek nevezünk testGyakori példák többek között stopszavak, Gutenberg, framenet_v15, nagy_nyelvtanok, barnaés szóhálózat.

Az NLTK összes csomagjának letöltése

Step 1) Futtassa a Python tolmács in Windows vagy Linux.

Step 2)

  1. Írd be a parancsokat:
import nltk
nltk.download ()
  1. Megnyílik az NLTK Downloader ablaka. Kattintson a Letöltés gombra az adatkészlet lekéréséhez. Ez a folyamat az internetkapcsolattól függően eltarthat egy ideig.

Töltse le az összes NLTK csomagot

JEGYZET: A letöltési helyet a Fájl > Letöltési könyvtár módosítása menüpontra kattintva módosíthatja.

Töltse le az összes NLTK csomagot

Step 3) A telepített adatok teszteléséhez használja a következő kódot:

>>> from nltk.corpus import brown
>>>brown.words()

["The", "Fulton", "County", "Grand", "Esküdtszék", "mondta", …]

Töltse le az összes NLTK csomagot

Az NLP Script futtatása

Ez a szakasz elmagyarázza, hogyan fut egy NLP szkript egy helyi számítógépen. A megfelelő könyvtár kiválasztása az Ön igényeitől függ. Lásd a hivatalos listát NLP könyvtárak olyan alternatívákhoz, mint a spaCy, a gensim és a TextBlob.

Az NLTK Script futtatása

Step 1) Kedvenc kódszerkesztőjében másolja ki a kódot, és mentse a fájlt másként NLTKsample.py:

from nltk.tokenize import RegexpTokenizer
tokenizer = RegexpTokenizer(r'\w+')
filterdText=tokenizer.tokenize('Hello Guru99, You have build a very good site and I love visiting your site.')
print(filterdText)

Futtassa az NLTK Scriptet

Code Magyarázat:

  1. A program célja, hogy mindenféle írásjelet eltávolítson egy adott szövegből. Importáltuk a „RegexpTokenizer” modult, amely a következő programcsomag része. NLTK amely eltávolítja a kiválasztott kifejezéseket, szimbólumokat, karaktereket vagy numerikus értékeket.
  2. Egy reguláris kifejezés kerül átadásra a „RegexpTokenizer” modulnak.
  3. A szöveget a „tokenize” metódus tokenizálja, a kimenetet pedig a „filterdText” változóban tárolja.
  4. Az eredményt a „print()” függvénnyel nyomtatjuk ki.

Step 2) A parancssorban:

  • Navigáljon arra a helyre, ahová a fájlt mentette.
  • Indítsa el a parancsot python NLTKsample.py.

Futtassa az NLTK Scriptet

A kimenet:

['Szia', 'Guru99', 'te', 'van', 'építesz', 'egy', 'nagyon', 'jó', 'helyszín', 'és', 'én', 'szeretem', 'látogatom', 'a te', 'helyszíned']

GYIK

A pip parancs telepíti magát a függvénykönyvtárat, míg az nltk.download() korpuszokat és betanított modelleket, például stopszavakat, punktumokat és wordneteket kér le. Mindkét lépésre szükség van a szöveg tokenizálása vagy címkézése előtt.

Igen. Az NLTK továbbra is népszerű az LLM-eket tápláló szövegek előfeldolgozásában, beleértve a tokenizálást, a stopszavak eltávolítását, a szótőzéses elemzést és a POS-címkézést. Átlátható API-jának és klasszikus korpuszainak köszönhetően széles körben használják az oktatásban és a kutatásban is.

Az NLTK a legjobb az NLP alapjainak elsajátításához. A spaCy gyorsabb a termelésben, míg Átölelve Face Transformers előre betanított mélytanulási modelleket kínál. Számos MI-projekt ötvözi az NLTK előfeldolgozást a transzformátoros következtetéssel.

Foglald össze ezt a bejegyzést a következőképpen: